Bu konu, soğuk veri arşivlemenin nasıl kullanılacağını açıklar. Başlamadan önce kullanmak istediğiniz arşiv formatını onaylayın ve kümenizin gereksinimleri karşıladığından emin olun. Daha fazla bilgi için bkz. Arşivleme formatı karşılaştırması ve Uygulanabilir kapsam.
Uygulanabilir kapsam
-
CSV formatına arşivleme
-
Küme sürümü Cluster Edition:
-
Standart tablo arşivleme:
MySQL 8.0.1 sürüm revizyonu 8.0.1.1.47 veya üzeri.
MySQL 8.0.2 sürüm revizyonu 8.0.2.2.10 veya üzeri.
-
Bölümlenmiş tablo arşivleme:
MySQL 8.0.2 sürüm revizyonu 8.0.2.2.34.1 veya üzeri.
-
-
Küme sürümü Multi-master Cluster (Limitless) Edition:
MySQL 8.0.1 sürüm revizyonu 8.0.1.0.13 veya üzeri.
-
-
ORC formatına arşivleme
-
Küme sürümü Cluster Edition:
Standart tablo arşivleme: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.30 veya üzeri.
Bölümlenmiş tablo arşivleme: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.34.1 veya üzeri.
Küme sürümü Multi-master Cluster (Limitless) Edition: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.30 veya üzeri.
-
-
IBD formatına arşivleme
Basic Edition: MySQL 8.0.1 sürüm revizyonu 8.0.1.1.51.2 veya üzeri.
Advanced Edition: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.37 veya üzeri. Depolama türü PSL4 veya PSL5 olmalıdır. ESSD cloud diskler desteklenmez.
-
X-Engine formatına arşivleme
-
Standart tablo arşivleme:
MySQL 8.0.1 sürüm revizyonu 8.0.1.1.31 veya üzeri.
MySQL 8.0.2 sürüm revizyonu 8.0.2.2.12 veya üzeri.
Bölümlenmiş tablo arşivleme: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.12 veya üzeri.
X-Engine sütun deposu tablosuna arşivleme: MySQL 8.0.2 sürüm revizyonu 8.0.2.2.34.1 veya üzeri.
-
Parametre açıklaması
Soğuk veri arşivleme özelliğini kullanırken kümenizin Parameters sayfasına giderek iş gereksinimlerinize göre aşağıdaki parametreleri yapılandırabilirsiniz.
Parametre | Düzey | Açıklama |
| Global | Otomatik soğuk veri arşivleme (DLM) özelliğini etkinleştiren anahtar. Geçerli değerler:
Not
|
| Global | InnoDB olmayan motor bölümleri içeren bölümlenmiş tabloların oluşturulup oluşturulamayacağını veya arşivlenip arşivlenemeyeceğini kontrol eden anahtar. Geçerli değerler:
Not
|
| Global / Oturum | OSS tabloları için Object Storage Service (OSS) meta veri (meta) yönetiminin etkin olup olmadığını kontrol eder.
|
| Global / Oturum | OSS tabloları sorgulanırken dosya düzeyinde filtrelemenin (File Filter) etkin olup olmadığını kontrol eder. Bu özellik min/max istatistiklerini ve Bloom filtrelerini kullanarak ilgisiz veri dosyalarını atlar ve taranan OSS veri miktarını azaltır. Bu özellik yalnızca
|
| Global / Oturum | Otomatik soğuk veri arşivleme (DLM) özelliği tarafından otomatik budama için kullanılan anahtar. DML işlemleri (UPDATE/DELETE) yürütüldüğünde sistem OSS'ye (ORC/CSV) arşivlenmekte olan bölümleri ve OSS'ye zaten arşivlenmiş bölümleri otomatik olarak buda. Bu durum işlemlerin arşivleme nedeniyle engellenmesini önler ve DML ile DDL arasındaki çakışmaları çözer. Geçerli değerler:
|
| Global / Oturum | Otomatik sorgu budama için kullanılan anahtar. Bir sorgu (SELECT) yürütüldüğünde sistem OSS (ORC/CSV) bölümlerini otomatik olarak buda. Bu sayede düzenli sorguların soğuk verilere erişirken yavaşlaması önlenir. Geçerli değerler:
|
Soğuk verileri arşivleme
-
OSS'ye arşivleme: Önce soğuk veri arşivlemeyi etkinleştirmeniz gerekir. Soğuk verileri arşivlerken iş gereksinimlerinize göre ortak tabloları veya bölümlenmiş tabloları arşivleyebilirsiniz.
-
Ortak tablolar
-
Bölümlenmiş tablolar
Bölümlenmiş bir tablonun bazı bölümlerini yerinde manuel olarak arşivleyebilir veya bunları bir OSS harici tablosuna arşivleyebilirsiniz. Daha fazla bilgi için bkz. Bölümlenmiş tablo arşivleme veya Bölümlenmiş tabloyu OSS harici tablosuna arşivleme.
Soğuk verileri otomatik olarak arşivlemek için bir DLM ilkesi oluşturun. Daha fazla bilgi için bkz. Soğuk verileri otomatik olarak arşivleme.
-
-
X-Engine'e arşivleme: Önce soğuk veri arşivlemeyi etkinleştirmeniz ve yüksek sıkıştırma motorunu (X-Engine) etkinleştirmeniz gerekir. Soğuk verileri arşivlerken iş gereksinimlerinize göre ortak tabloları veya bölümlenmiş tabloları arşivleyebilirsiniz.
-
Ortak tablolar
-
Bölümlenmiş tablolar
Bölümlenmiş bir tablonun bazı bölümlerini manuel olarak X-Engine bölümlerine arşivleyebilirsiniz. Daha fazla bilgi için bkz. X-Engine formatına arşivleme.
Soğuk verileri otomatik olarak arşivlemek için bir DLM ilkesi oluşturun. Daha fazla bilgi için bkz. Bölümlenmiş tabloları X-Engine'e arşivleme.
-
Soğuk verileri sorgulama
-
Ortak tablolar
Seçtiğiniz arşiv formatından bağımsız olarak tabloya erişim şeklinizi değiştirmeden arşivlenen verileri sorgulayabilirsiniz.
-
Bölümlenmiş tablolar
Bir OSS harici tablosuna arşivleme: Arşivlenen verileri sorgulamak için tabloya erişim şeklinizi değiştirmeniz gerekir; yani belirtilen arşiv tablosunu sorgulamanız gerekir. Daha fazla bilgi için bkz. Bölümlenmiş tabloyu OSS harici tablosuna arşivleme.
-
Bölümleri yerinde arşivleme: Arşivlemeden sonra tablo hibrit bölümlenmiş bir tabloya dönüşür. Daha fazla bilgi için bkz. Hibrit bölüm sorgulama.
Farklı motorlardan gelen bölüm verilerini aşağıdaki üç şekilde sorgulayabilirsiniz:
-
hybrid_partition_query_mix_engine_enabledparametresini ON olarak ayarlayın. Bir sorgu çalıştırdığınızda sonuçlar InnoDB motoru, X-Engine motoru ve OSS'den gelen bölüm verilerini içerir. Örnek:-- t1 is a hybrid partitioned table. SELECT * FROM t1; -
hybrid_partition_query_mix_engine_enabledparametresini OFF olarak ayarlayın. Bir sorgu çalıştırdığınızda sonuçlar yalnızca InnoDB motoru ve X-Engine motorundan gelen bölüm verilerini içerir. Örnek:-- t1 is a hybrid partitioned table. SELECT * FROM t1; -
Bir bölüm adı belirtin: Herhangi bir motor türünden gelen bölüm verilerini alabilirsiniz. Örnek:
-- t1 is a hybrid partitioned table, and p1 is the name of the partition to query. SELECT * FROM t1 partition (p1);
-
Arşivlenen soğuk veriler tek tablo, çoklu dosya formatında depolanır. Soğuk veriler üzerindeki sorguları optimize etmek için paralel sorgu kullanabilirsiniz. Daha fazla bilgi için bkz. Soğuk verilerde paralel sorgu çalıştırma.
Soğuk verileri değiştirme
OSS üzerindeki soğuk verileri nadiren değiştirmeniz gerekiyorsa ALTER ifadesini kullanarak OSS'deki soğuk verileri değişiklik yapmak üzere PolarDB depolama alanına geri taşıyabilirsiniz. Veriler geri taşındığında aynı anda OSS'deki soğuk veriler de silinir. Verileri değiştirdikten sonra değiştirilen tablo verilerini tekrar OSS'ye arşivleyebilirsiniz.
Ortak tablolar
Sözdizimi
ALTER TABLE table_name ENGINE[=]engine_name;
Parametre açıklaması
|
|
|
|
|
|
|
|
|
Kullanım notları
Bir OSS tablosu salt okunur olduğunda değişiklik işlemleri (INSERT, UPDATE ve DELETE) desteklenmez. Arşivlenen soğuk verileri değiştirmek için OSS tablosunu InnoDB tablosu gibi okunabilir ve yazılabilir bir tabloya dönüştürmeniz gerekir. Salt okunur bir OSS tablosunu değiştirdiğinizde aşağıdaki hata döndürülür:
1036 - Table 't' is read only
Örnek
oss_test veritabanında OSS tablosu t öğesini PolarDB depolama alanına geri taşıyın.
ALTER TABLE `oss_test`.`t` ENGINE = InnoDB;
InnoDB tablosu t içindeki verileri değiştirin. Değiştirme işlemi tamamlandıktan sonra t tablosunu InnoDB motorundan tekrar OSS'ye arşivleyin. Örnek:
ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';
veya
ALTER TABLE t ENGINE = CSV STORAGE OSS;
Bölümlenmiş tablolar
Bölümlenmiş bir tablodaki soğuk verileri değiştirmek için kümenizin PolarDB for MySQL 8.0.2 çalıştırması ve küçük motor sürümünün 8.0.2.2.34 veya üzeri olması gerekir.
Sözdizimi
ALTER TABLE table_name REORGANIZE PARTITION part_name INTO (partition_definition);
Parametre açıklaması
|
|
|
|
|
|
|
|
|
|
|
|
Örnek
Veritabanında OSS üzerinde arşivlenen bölümlenmiş tablo t için p1 bölümündeki verileri PolarDB depolama alanına geri taşıyın.
ALTER TABLE t REORGANIZE PARTITION p1 INTO(PARTITION p1 values less than(100));
Soğuk verileri silme
-
Yalnızca aşağıdaki sürüm gereksinimlerini karşılayan PolarDB for MySQL kümeleri OSS'deki ilgili dosyaları silmeyi destekler:
Sürüm 8.0.1 ve küçük motor sürümü 8.0.1.1.42 veya üzeri.
Sürüm 8.0.2 ve küçük motor sürümü 8.0.2.2.23 veya üzeri.
Kümenizin küçük motor sürümü yukarıdaki sürüm gereksinimlerini karşılamıyorsa OSS'deki ilgili dosyaların silinmesi desteklenmez. Kümenizin küçük motor sürümünü yükseltin. Daha fazla bilgi için bkz. Küçük sürüm yönetimi.
OSS'de bir tabloyu sildikten veya PolarDB depolama alanına geri taşıdıktan sonra OSS'deki dosyalar otomatik olarak silinmez. Verilere artık ihtiyaç duyulmadığını onayladıktan sonra OSS'deki ilgili dosyaları silmek için şu adımları izleyebilirsiniz. Daha fazla bilgi için bkz. OSS'deki ilgili dosyaları silme.
-
Ortak tablolar ve OSS harici tabloları
Arşivlenen tabloyu silmek için
DROP TABLEkullanın. Ardından OSS'deki ilgili dosyaları silmek içinCALL dbms_oss.delete_table_file('database_name', 'table_name');komutunu çalıştırın. -
Bölümlenmiş tablolar
OSS'deki ilgili dosyaları silmek için
CALL dbms_oss.delete_table_file('database_name', 'table_name');komutunu çalıştırın.
OSS'deki ilgili dosyalar eşzamansız olarak silinir. Dosyalar kümedeki tüm düğümler artık bunlara bağımlı olmadığında tamamen silinir. Ayrıca trafik yoğun olduğunda bu işlem gecikebilir.
FORCE STORAGE OSS seçeneği
OSS dosyalarını zorla silen FORCE STORAGE OSS seçeneği yalnızca küçük motor sürümü 8.0.2.2.29 veya üzeri olan PolarDB for MySQL 8.0.2 kümelerinde desteklenir.
-
Ortak tablolar ve OSS harici tabloları
DROP TABLE table_name [FORCE STORAGE OSS];NotDROP TABLE komutunun FORCE STORAGE OSS seçeneği tek tıkla temizleme sağlar. Tablo yapısı silindiğinde ilişkili OSS depolama dosyalarını otomatik olarak siler.
-
Bölümlenmiş tablolar
ALTER TABLE table_name DROP PARTITION part_name [FORCE STORAGE OSS];NotALTER TABLE ifadesinin DROP PARTITION yan tümcesi FORCE STORAGE OSS seçeneğiyle birlikte bölümlenmiş bir tablonun meta verilerini ve ilgili OSS depolama dosyalarını eşzamanlı olarak siler.
-
CHANGE PARTITION ENGINE
ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV|ORC [FORCE STORAGE OSS]NotCHANGE PARTITION ENGINE soğuk veri arşivleme özelliği aynı ada sahip dosyaları otomatik olarak değiştiren zorla üzerine yazma mekanizması sağlar.
Arşivleme formatı karşılaştırması
Soğuk verileri arşivlerken aşağıdaki karşılaştırmaya dayanarak uygun formatı değerlendirebilir ve seçebilirsiniz.
Standart tabloları, OSS harici tablolarını ve bölümlenmiş tabloları arşivlemenin belirli sınırlamaları vardır. İşinizi etkilememesi için arşivlemeden önce bu sınırlamaları gözden geçirin.
Soğuk veriler arşivlendikten sonra veriler kendi OSS'nizde değil varsayılan olarak sistem tarafından sağlanan Object Storage Service (OSS) paketinde depolanır. Şu anda arşivlenen veri listesini yalnızca PolarDB konsolunda görüntüleyebilirsiniz.
-
Bölümlenmiş tablo arşivleme yöntemleri:
Bölümlenmiş tablo arşivleme: Bir bölümü yerinde arşivler. Veriler orijinal tabloda kalır ancak o bölümün depolama ortamı PolarDB (sıcak depolama) yerine OSS (soğuk depolama) olarak değişir. Tablo hem sıcak hem de soğuk bölümler içeren hibrit bölümlenmiş bir tabloya dönüşür.
Bir bölümü OSS harici tablosuna arşivleme: Bir bölümün verilerini tablodan çıkarır ve yeni bağımsız bir OSS harici tablosunda depolar. Orijinal bölüm kaynak tablodan silinir.
|
Karşılaştırma öğesi |
CSV |
ORC |
IBD |
X-Engine |
|
Açık kaynak formatı |
Evet |
Evet |
Hayır |
Hayır |
|
Arşivleme yöntemi |
|
Manuel arşivleme: |
Manuel arşivleme:
|
|
|
Arşivleme hızı |
Orta Not
Yalnızca tek iş parçacıklı arşivleme desteklenir. |
Yavaş Not
Yalnızca tek iş parçacıklı arşivleme desteklenir. |
Nispeten hızlı Not
Hem tek iş parçacıklı hem de çok iş parçacıklı paralel arşivleme desteklenir. |
Hızlı Not
Veriler PolarStore depolamaya arşivlenir. |
|
Sorgu hızı |
Not
Hem tek iş parçacıklı hem de çok iş parçacıklı okuma desteklenir. |
Not
Yalnızca tek iş parçacıklı okuma desteklenir. |
Nispeten hızlı Not
Hem tek iş parçacıklı hem de çok iş parçacıklı okuma desteklenir. |
|
|
İşlem desteği |
Hayır |
Hayır |
Evet |
Evet |
|
Dizin oluşturma yeteneği |
Hayır |
Hayır |
Evet |
Evet |
|
Arşivlenen veriler nasıl değiştirilir? |
OSS'deki arşivlenen tablolar salt okunurdur. Verileri değiştirmek için bunları OSS'den PolarDB depolamaya geri aktarmanız gerekir. |
Arşivlenen tablolar DML işlemlerini destekler. |
Arşivlenen tablolar DML işlemlerini destekler. |
|
|
Depolama alanı kullanımı |
İndeks içermeyen bir InnoDB tablosuyla aynıdır. |
Aynı miktarda veri için ORC CSV'nin kullandığı depolama alanının yaklaşık %45'ini kullanır. |
Bir InnoDB IBD dosyasıyla aynıdır. |
Verileri InnoDB boyutunun %10–%50'sine kadar sıkıştırır. Gerçek sıkıştırma oranı veri özelliklerine bağlıdır. |
|
Yedekleme ve kurtarma |
Desteklenmez. Not
|
Desteklenir. |
||
|
Arşivlemeden sonraki etki |
|
|
|
Arşivlemeden sonra erişim yöntemini değiştirmeden arşivlenen verileri sorgulayabilirsiniz. |