Veri Yaşam Döngüsü Yönetimi (DLM) özelliği, PolarStore'dan maliyet etkin OSS depolama alanına soğuk verileri düzenli ve otomatik olarak CSV veya ORC biçiminde arşivlemenize olanak tanır. Bu sayede maliyetler düşer ve verimlilik artar.
Ön koşullar
-
Kümeniz, 8.0.2.2.34.1 veya sonraki bir revizyon sürümüne sahip PolarDB for MySQL 8.0.2 çalıştırıyor olmalıdır.
NotKüme sürümünüzü kontrol etmek için bkz. Motor sürümünü sorgulama.
Kümeniz, 8.0.2.2.11.1 veya sonraki bir revizyon sürümüne sahip PolarDB for MySQL 8.0.2 çalıştırıyorsa DLM özelliği işlemleri ikili günlüklerde (binary logs) kaydetmez.
-
Bir DLM ilkesini kullanmadan önce soğuk veri arşivlemeyi etkinleştirin.
NotSoğuk veri arşivleme etkinleştirilmemişse sistem aşağıdaki hatayı bildirir:
ERROR 8158 (HY000): [Data Lifecycle Management] DLM storage engine is not support. The value of polar_dlm_storage_mode is OFF.
Sınırlamalar
DLM özelliği yalnızca RANGE COLUMN bölümlendirme yöntemini kullanan ve alt bölümler içermeyen bölümlenmiş tabloları destekler.
Genel ikincil dizin (GSI) içeren bir bölümlenmiş tabloda DLM özelliğini kullanamazsınız.
PolarDB for MySQL DLM ilkelerinin değiştirilmesini desteklemez. Değişiklik yapmak için mevcut ilkeyi silip yeni bir tane oluşturmanız gerekir.
Bir tabloda etkin bir DLM ilkesi varsa kaynak ile arşivlenmiş tablolar arasında tutarsızlığa neden olan DDL işlemlerinden (sütun ekleme/silme veya sütun veri türlerini değiştirme gibi) kaçının. Bu tür tutarsızlıklar, sonraki arşivlenen verilerin ayrıştırılamamasına neden olabilir. Bu DDL işlemlerini gerçekleştirmeden önce DLM ilkesini silmelisiniz. Otomatik arşivlemeye devam etmek için yeni bir DLM ilkesi oluşturun ve arşivlenen tablo için yeni bir ad belirtin. Bu ad, daha önce kullanılan herhangi bir arşivlenen tablo adıyla aynı olmamalıdır.
-
Bölümleri otomatik olarak genişletmek ve DLM özelliğini kullanarak nadiren kullanılan bölümlerden gelen verileri OSS'e arşivlemek için INTERVAL RANGE bölümlendirmesini kullanmanızı öneririz.
NotINTERVAL RANGE bölümlendirmesi yalnızca 8.0.2.2.0 veya sonraki bir revizyon sürümüne sahip PolarDB for MySQL 8.0.2 çalıştıran kümeler tarafından desteklenir.
CREATE TABLEveyaALTER TABLEifadesini çalıştırırken bir DLM ilkesi belirtmeniz gerekir.SHOW CREATE TABLEifadesi DLM ilkelerini görüntülemez. Tüm DLM ilkelerini mysql.dlm_policies tablosunda görüntüleyebilirsiniz.
Dikkat edilmesi gerekenler
Soğuk veriler arşivlendikten sonra OSS'teki arşivlenen tablo salt okunur hale gelir ve sorgu performansı düşebilir. Sorgu performansının gereksinimlerinizi karşıladığından emin olmak için önceden test yapmalısınız.
Bir bölümlenmiş tablonun bölümleri OSS'e arşivlendikten sonra arşivlenen bölümlerdeki veriler salt okunur hale gelir.
Hibrit bölümlenmiş tablolar ikincil dizinler oluşturmak veya silmek için Copy DDL ve INPLACE DDL'yi destekler ancak Instant DDL'yi desteklemez.
Yedeklemeler OSS'e arşivlenen verileri içermez. OSS'teki veriler belirli bir zamana geri yüklemeyi desteklemez.
Söz dizimi
DLM ilkesi oluşturma
-
CREATE TABLE ile DLM ilkesi oluşturma
CREATE TABLE [IF NOT EXISTS] tbl_name (create_definition,...) [table_options] [partition_options] [dlm_add_options] dlm_add_options: DLM ADD [(dlm_policy_definition [, dlm_policy_definition] ...)] dlm_policy_definition: POLICY policy_name [TIER TO TABLE/TIER TO PARTITION/TIER TO NONE] [ENGINE [=] engine_name] [STORAGE SCHEMA_NAME [=] storage_schema_name] [STORAGE TABLE_NAME [=] storage_table_name] [STORAGE [=] OSS] [READ ONLY] [COMMENT 'comment_string'] [EXTRA_INFO 'extra_info'] ON [(PARTITIONS OVER num)] -
ALTER TABLE ile DLM ilkesi oluşturma
ALTER TABLE tbl_name [alter_option [, alter_option] ...] [partition_options] [dlm_add_options] dlm_add_options: DLM ADD [(dlm_policy_definition [, dlm_policy_definition] ...)] dlm_policy_definition: POLICY policy_name [TIER TO TABLE/TIER TO PARTITION/TIER TO NONE] [ENGINE [=] engine_name] [STORAGE SCHEMA_NAME [=] storage_schema_name] [STORAGE TABLE_NAME [=] storage_table_name] [STORAGE [=] OSS] [READ ONLY] [COMMENT 'comment_string'] [EXTRA_INFO 'extra_info'] ON [(PARTITIONS OVER num)]
DLM ilke parametreleri
|
Parametre |
Gerekli |
Açıklama |
|
tbl_name |
Evet |
Tablonun adı. |
|
policy_name |
Evet |
İlkenin adı. |
|
TIER TO TABLE |
Evet |
Verileri bir OSS harici tablosuna arşivler. Not
OSS harici tablolarına arşivleme için yalnızca CSV biçimi desteklenir. |
|
TIER TO PARTITION |
Evet |
Bölümleri CSV, ORC veya X-Engine biçiminde arşivler; yani bir hibrit bölümlenmiş tablo oluşturur. Not
|
|
TIER TO NONE |
Evet |
Soğuk verileri arşivlemek yerine siler. |
|
engine_name |
Hayır |
Arşivlenen veriler için depolama motoru. Geçerli değerler: |
|
storage_schema_name |
Hayır |
Bir tabloya arşivleme yapılırken bu parametre tabloyu içeren veritabanını belirtir. Varsayılan olarak kaynak tablonun veritabanı kullanılır. |
|
storage_table_name |
Hayır |
Bir tabloya arşivleme yapılırken bu parametre arşivlenen tablonun adını belirtir. Varsayılan değer |
|
STORAGE [=] OSS |
Hayır |
Arşivlenen veriler OSS motorunda saklanır. Bu varsayılan ayardır. |
|
READ ONLY |
Hayır |
Arşivlenen veriler salt okunurdur. Bu varsayılan ayardır. |
|
comment_string |
Hayır |
DLM ilkesi için açıklama. |
|
extra_info |
Hayır |
Hedef OSS tablosu için OSS_FILE_FILTER bilgisi. Not
|
|
ON (PARTITIONS OVER num) |
Evet |
Bölüm sayısı |
DLM ilkesini yönetme
-
Bir DLM ilkesini etkinleştirin.
ALTER TABLE table_name DLM ENABLE POLICY [(dlm_policy_name [, dlm_policy_name] ...)] -
Bir DLM ilkesini devre dışı bırakın.
ALTER TABLE table_name DLM DISABLE POLICY [(dlm_policy_name [, dlm_policy_name] ...)] -
Bir DLM ilkesini silin.
ALTER TABLE table_name DLM DROP POLICY [(dlm_policy_name [, dlm_policy_name] ...)]
Yukarıdaki ifadelerde table_name tablonun adını, dlm_policy_name ise yönetilecek ilkenin adını belirtir. Birden fazla ilke adı belirtebilirsiniz.
DLM ilkesini yürütme
-
Geçerli kümedeki tüm tablolardaki tüm DLM ilkelerini yürütün.
CALL dbms_dlm.execute_all_dlm_policies(); -
Belirli bir tablodaki DLM ilkelerini yürütün.
CALL dbms_dlm.execute_table_dlm_policies('database_name', 'table_name');Yukarıdaki ifade
database_nameveritabanının adını,table_nameise tablonun adını belirtir.
Kümenizin bakım penceresi sırasında DLM ilkelerini çalıştırmak için mysql event özelliğini kullanabilirsiniz. Bu sayede yoğun saatlerde veritabanı performansı etkilenmez ve depolama maliyetlerini azaltmak amacıyla süresi dolmuş veriler periyodik olarak taşınır. Böyle bir olay oluşturmak için söz dizimi aşağıdaki gibidir:
CREATE
EVENT
[IF NOT EXISTS]
event_name
ON SCHEDULE schedule
[COMMENT 'comment']
DO event_body;
schedule: {
EVERY interval
[STARTS timestamp [+ INTERVAL interval] ...]
}
interval:
quantity {YEAR | QUARTER | MONTH | DAY | HOUR | MINUTE |
WEEK | SECOND | YEAR_MONTH | DAY_HOUR | DAY_MINUTE |
DAY_SECOND | HOUR_MINUTE | HOUR_SECOND | MINUTE_SECOND}
event_body: {
CALL dbms_dlm.execute_all_dlm_policies();
| CALL dbms_dlm.execute_table_dlm_policies('database_name', 'table_name');
}
Aşağıdaki tabloda parametreler açıklanmaktadır.
|
Parametre |
Gerekli |
Açıklama |
|
event_name |
Evet |
Olayın adı. |
|
schedule |
Evet |
Olayın çalışma zamanı ve sıklığı. |
|
comment |
Hayır |
Olay için açıklama. |
|
event_body |
Evet |
Olayın yürüttüğü ifade. Bu bir DLM ilke yürütme ifadesi olmalıdır. Not
|
|
interval |
Evet |
Olayın yürütme aralığı. |
|
timestamp |
Evet |
Olayın çalışmaya başlayacağı zaman. |
|
database_name |
Evet |
Veritabanı adı. |
|
table_name |
Evet |
Tablo adı. |
MySQL EVENT özelliği hakkında daha fazla bilgi için bkz. olaylar için resmi MySQL belgeleri.
Kullanım örnekleri için bkz. Soğuk verileri OSS'e arşivleme.
Örnekler
Verileri bir OSS harici tablosuna arşivleme
Bölümleri OSS'e arşivleme
Soğuk verileri doğrudan silme
İlkeleri ALTER TABLE ile yönetme
Yürütme hatalarını giderme
Yanlış yapılandırmalar bir DLM ilkesi çalıştırıldığında hatalara neden olabilir. Bu hata kayıtları mysql.dlm_progress tablosunda saklanır. Bunları görüntülemek için aşağıdaki komutu çalıştırın:
SELECT * FROM mysql.dlm_progress WHERE Archive_stage = "ARCHIVE_ERROR";
Nedeni belirlemek için hata ayrıntılarını kontrol etmek üzere Extra_info alanını inceleyin. Ardından kaydı silin veya Archive_stage değerini ARCHIVE_COMPLETE olarak değiştirin. Son olarak ilkeyi call dbms_dlm.execute_all_dlm_policies; komutuyla manuel olarak yeniden çalıştırın veya bir sonraki planlanmış yürütmeyi bekleyin.
Veri güvenliği nedeniyle bir ilkenin ARCHIVE_ERROR durumunda bir yürütme kaydı varsa otomatik olarak tekrar çalışmaz. İlkenin yeniden çalışabilmesi için başarısızlığın nedenini belirlemeniz ve kaydı değiştirmeniz gerekir.