Veritabanında nadiren erişilen geçmiş veriler, uzun vadede PolarDB blok depolamayı (Elastic Block Storage, EBS) kaplar ve sürekli depolama maliyetlerine yol açar. IBD biçiminde arşivleme, InnoDB depolama altyapısını değiştirmeden bu soğuk verileri daha düşük maliyetle Object Storage Service (OSS) öğesine taşır. Arşivlenen veriler özgün InnoDB veri biçimini, dizin yapısını ve DML yeteneklerini korur. MySQL 8.0.1 ve MySQL 8.0.2 sürümleri bu özelliği destekler; ancak arşivleme sözdizimi, desteklenen arşivleme hedefleri ve arşivleme sonrası işlemler farklılık gösterir.
Küme sürümünüz için arşivleme yöntemini belirleyin
Basic Edition ve Premium Edition sürümleri, IBD biçiminde soğuk veri arşivlemeyi destekler; ancak alttaki uygulamalar farklıdır. Basic Edition, OSS erişimini InnoDB içinde kapsüller. Premium Edition ise paylaşılan depolama PolarStore üzerine kurulu OSS hibrit depolama yetenekleri sunar. İki sürüm arasındaki arşivleme sözdizimi, desteklenen arşivleme hedefleri ve arşivleme sonrası işlemler farklılık gösterir ve deyimler birbirinin yerine kullanılamaz.
Karşılaştırma öğesi | Basic Edition | Premium Edition |
Uygulama mantığı | OSS erişimini InnoDB depolama altyapısı içinde kapsüller. Veriler InnoDB aracılığıyla doğrudan OSS üzerinden okunur ve yazılır. | Paylaşılan depolama PolarStore üzerine kurulu OSS hibrit depolama yetenekleri sunar. Depolama katmanı sıcak ve soğuk verileri tek bir şekilde yönetir. |
Desteklenen sürümler | MySQL 8.0.1 8.0.1.1.51.2 veya sonraki bir düzeltme ekine sahip olmalıdır. |
|
Desteklenen arşivleme hedefleri | Normal tablolar | Normal tablolar ve bölümlenmiş tablolar. Bölümlenmiş bir tablo tamamen veya belirtilen bölümler halinde arşivlenebilir. |
Arşivleme sözdizimi |
|
|
Arşivlenen veriler üzerinde DDL işlemleri | Desteklenmez | Sütun ekleme, dizin oluşturma ve bölümleri ayarlama gibi yaygın DDL işlemleri desteklenir. |
Arşivlenen verileri sorgulama | Tüm tablo arşivlendikten sonra tabloyu doğrudan sorgulayın | Bölümlenmiş tablolar varsayılan olarak arşivlenen bölümleri atlar. Arşivlenen bölümleri dahil etmek için |
Verileri blok depolamaya geri taşıma | Tüm tabloyu geri taşıyın | Tüm tabloyu, belirtilen bölümleri veya tüm arşivlenen bölümleri geri taşıyın |
Genel uygulama kapsamı
Soğuk veri arşivlemeyi etkinleştir özelliği etkinleştirilmiştir.
İşlem kılavuzu
Basic Edition
Basic Edition, OSS erişimini InnoDB depolama altyapısı içinde kapsüller ve normal bir tablonun tamamını OSS öğesine arşivlemeyi destekler. Bu sürüm ilerleyen dönemde yalnızca hata düzeltmeleri alır, yeni özellik güncellemeleri almaz. Bölüm düzeyinde arşivleme ve arşivleme sonrası DDL işlemleri gibi gelişmiş yetenekler için Premium Edition sürümünü kullanın.
Hazırlıklar
MySQL 8.0.1 8.0.1.1.51.2 veya sonraki bir düzeltme ekine sahip olmalıdır.
IBD biçiminde arşivlemeyi kullanmak için Quota Center adresine gidin, Quota ID
polardb_innodb_oss_enablekota adını bulun ve özelliği etkinleştirmek için İşlemler sütunundaki Request seçeneğini tıklayın.Global Database Network (GDN) içindeki kümeler IBD biçiminde arşivlemeyi desteklemez.
Önemli notlar
-
Okuma/yazma ve işlem sınırlamaları (DML ve DDL)
DML ve işlem desteği: Arşivlenen tablolar normal
INSERT,UPDATEveDELETEişlemlerinin yanı sıra işlemleri destekler.DDL sınırlamaları: DDL işlemleri desteklenmez. Bir tablo OSS öğesine arşivlendikten sonra tablo şemasını değiştiremezsiniz.
-
Arşivleme sırasında kullanılabilirlik
Veri erişimi kesintisi: Varsayılan olarak, soğuk veri arşivleme devam ederken bir tablodaki verilere erişilemez.
Geçici çözüm: Arşivleme sırasında bir tablonun okunabilir kalmasını sağlamak için
polar_oss_ddl_sharedparametresini öncedenONdeğerine ayarlayın.
-
Yedekleme ve veri güvenliği
Standart veri yedeklemelerine dahil değildir: Otomatik yedeklemeler ve manuel yedeklemeler OSS içinde depolanan verileri içermez.
Geri yükleme sınırlamaları: OSS içindeki veriler üzerinde veritabanı veya tablo geri yüklemesi ya da belirli bir zamana göre geri yükleme yapamazsınız.
-
Performans etkisi ve işletim bakımı önerileri
Arşivleme sırasında kaynak tüketimi: Soğuk verilerin arşivlenmesi belirli miktarda ağ ve depolama G/Ç kaynağı tüketir. Bu işlemi yoğun olmayan saatlerde veya etkin olmayan kümelerde gerçekleştirmenizi öneririz.
Yüksek gecikme süresi riski: Object Storage Service (OSS) G/Ç gecikme süresi, EBS gecikme süresinden 100 kat daha fazladır. Ortaya çıkan gecikme süresinin uzun süre çalışan SQL deyimleri üzerindeki etkisini değerlendirin.
-
Yoğun yazma işlemlerinden kaçının: Bir OSS tablosunda çok sayıda yazma veya silme işlemi çalıştırmadan önce tabloyu önce EBS öğesine geri taşımanızı öneririz. Aksi takdirde aşağıdaki ciddi sorunlar oluşabilir:
Önbellek kirliliği: Büyük miktarda veritabanı arabellek havuzu (sayfa önbelleği) kaynağı tüketilir ve diğer normal tablolardaki SQL deyimleri boş sayfa alamadığı için yavaşlar.
Kontrol noktası engelleme: Çok sayıda OSS kirli sayfasının yavaş kalıcılığı kontrol noktası ilerlemesini engeller ve veritabanı kurtarma süresini uzatır.
Daha yavaş kurtarma: Kurtarma sırasında OSS tablolarındaki günlük yeniden oynatma, OSS okuma ve yazma işlemlerini tetikler ve bu da kurtarmayı daha da yavaşlatır.
Tablo verilerini OSS öğesine arşivleme
Bir tablodaki veriler soğuk veriyse ve gecikme süresine duyarlı değilse veya veri erişimi yoğunsa, önbelleğe alınabiliyorsa ve kuyruk uç erişim gecikmesine duyarlı değilse aşağıdaki sözdizimini kullanarak bir EBS tablosunu OSS tablosuna dönüştürün:
ALTER TABLE table_name STORAGE_TYPE OSS;
Verileri EBS öğesine geri taşıma
ALTER TABLE table_name STORAGE_TYPE NULL;
OSS içindeki ilgili dosyaları silme
OSS içinde bir tabloyu bıraktıktan veya EBS öğesine geri taşıdıktan sonra OSS içindeki dosyalar otomatik olarak silinmez. Verilere artık ihtiyaç duyulmadığını onayladıktan sonra OSS içindeki ilgili dosyaları silmek için aşağıdaki sözdizimini kullanın:
CALL dbms_oss.delete_table_file('database_name', 'table_name');
OSS içindeki ilgili dosyaların silinmesi zaman uyumsuz bir işlemdir. Dosyalar yalnızca kümedeki tüm düğümler bunlara bağımlı olmadığında tamamen silinir ve yoğun trafik dönemlerinde belirli bir gecikme yaşanabilir. Önceki komut başarısız olur ve OSS files are still in use hata iletisini döndürürse bir süre bekleyip komutu tekrar çalıştırın.
Örnek
Aşağıdaki örnek, bir tabloyu bırakma, bir veritabanını bırakma ve OSS içinde arşivlenen dosyaları silme işlemlerini içerir. İşlemleri bir test veritabanında çalıştırın.
Veri yedeklemeleri OSS içindeki verileri içermez. Veriler silindikten sonra veritabanı veya tablo geri yüklemesi ya da belirli bir zamana göre geri yükleme yoluyla kurtarılamaz. OSS içindeki ilgili dosyaları yalnızca verilere artık ihtiyaç duyulmadığını onayladıktan sonra silin.
-
Bir veritabanı oluşturun.
CREATE DATABASE oss; -
Veritabanını kullanın.
USE oss; -
toss1tablosunu oluşturun.CREATE TABLE `toss1`( `uid` int NOT NULL AUTO_INCREMENT, `text_data` text NOT NULL, `save_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, PRIMARY KEY(`uid`) ) ENGINE = InnoDB; -
populatesaklı yordamını oluşturun.DELIMITER | CREATE PROCEDURE populate(IN `cnt` INT) BEGIN DECLARE i INT DEFAULT 1; WHILE (i <= cnt) DO INSERT INTO `toss1` (`text_data`) VALUES (REPEAT("#", 6333)); SET i = i + 1; END WHILE; END | DELIMITER ; -
Saklı yordamı çağırarak
toss1tablosuna veri ekleyin.CALL populate(5000); -
Verileri OSS öğesine arşivleyin.
ALTER TABLE `toss1` STORAGE_TYPE OSS; -
toss1tablosundaki verileri sorgulayın.SELECT COUNT(*) FROM `toss1`; -
OSS içindeki
toss1tablosunu bırakın.DROP TABLE `toss1`; -
OSS veritabanını bırakın.
DROP DATABASE oss; -
Verilere artık ihtiyaç duyulmadığını onayladıktan sonra OSS içindeki ilgili dosyaları silin.
CALL dbms_oss.delete_table_file('oss', 'toss1');
Soğuk veri arşivleme için gereken süre
Soğuk veri arşivleme için kullanılan eşzamanlı iş parçacığı sayısı innodb_oss_copy_worker parametresi tarafından kontrol edilir ve parametre değeri küme teknik özelliklerine bağlıdır. Aşağıdaki tabloda farklı iş parçacığı sayıları ve veri hacimleri için soğuk veri arşivleme süresi gösterilmektedir:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Premium Edition
Premium Edition, paylaşılan depolama PolarStore üzerine kurulu OSS hibrit depolama yetenekleri sunar. Normal tabloların ve bölümlenmiş tabloların arşivlenmesini destekler ve bölüm granülerliğinde işlemlere olanak tanır. Arşivlemeden sonra yaygın DDL işlemleri kullanılabilir durumda kalır ve bu da onu daha kapsamlı bir arşivleme çözümü haline getirir.
Hazırlıklar
MySQL 8.0.2 8.0.2.2.37 veya sonraki bir düzeltme ekine sahip olmalıdır. Depolama türü PSL4 veya PSL5 olmalıdır. ESSD cloud diskler desteklenmez.
Konsolda sayfasına gidin ve
loose_polar_oss_enableparametresini etkinleştirin.Hedef tablo file-per-table tablespace ve InnoDB depolama altyapısını kullanır. Bölümlenmiş bir tablonun tüm bölümleri InnoDB altyapısını kullanmalıdır. Sıkıştırılmış tablolar ve genel tablespaceler desteklenmez.
Arşivleme, sorgulama ve geri taşıma işlemlerini birincil düğümde (birincil uç nokta) çalıştırın ve mevcut hesabın hedef tablo üzerinde gerekli izinlere sahip olduğundan emin olun.
Önemli notlar
-
Okuma/yazma ve bölüm davranışı (DML)
DML ve işlem desteği: Arşivlenen tablolar ve bölümler yazılabilir durumda kalır.
INSERT,UPDATEveDELETEişlemleri ve işlemler desteklenir.-
Bölüme özel davranış:
Sorgular: Arşivlenen bölümler varsayılan olarak otomatik olarak atlanır.
Güncellemeler ve silmeler:
UPDATEveDELETEişlemleri arşivlenen bölümleri atlamaz. Bu işlemleri çalıştırmadan önce OSS gecikmesinden kaynaklanan yanlışlıkla yapılan değişikliklerden veya istek yığılmalarından kaçınmak için etki alanını onaylayın.
-
Şema evrimi desteği (DDL kuralları)
DDL yetenekleri: Sütun ekleme, dizin oluşturma ve bölümleri ayarlama gibi yaygın DDL işlemleri desteklenir (InnoDB'nin kendi sınırlamalarına tabidir).
Arşivleme durumu devralma: Arşivleme durumu, tablo şema değişiklikleriyle birlikte otomatik olarak korunur veya ayarlanır. Ancak bölümleri yeniden düzenledikten sonra her bölümün arşivleme durumunu manuel olarak tekrar doğrulamanızı öneririz.
-
Sözdizimi sınırlamaları (birleştirilemez):
Arşivleme ve geri taşıma işlemleri ayrı ayrı çalıştırılmalıdır. Tek bir
ALTER TABLEdeyimiyle diğer tablo şema değişiklikleriyle (örneğin sütun ekleme veya veri türünü değiştirme) birleştirilemezler.Arşivleme ve geri taşıma işlemlerini çalıştırırken
ALGORITHM=COPYveyaALGORITHM=INSTANTaçıkça belirtilemez (bu sınırlama yalnızca arşivleme işleminin kendisine uygulanır ve arşivlenen tablolar üzerinde normal COPY DDL işlemlerini etkilemez).
-
Tablo sıkıştırma ve tablespace sınırlamaları
Aşağıdaki işlemleri gerçekleştirmeden önce ilgili tablo veya bölümün verilerini önce OSS'ten blok depolamaya geri taşımanız gerekir. Geri taşıma işlemi tablonun InnoDB depolama altyapısını değiştirmez.
Tablo sıkıştırmayı etkinleştirme: Arşivlenen durumda
ROW_FORMAT=COMPRESSEDve sayfa sıkıştırma desteklenmez. Sıkıştırmayı etkinleştirmeden önce verileri geri taşıyın.Genel bir tablespace içine taşıma: Genel bir tablespace birden fazla tablonun aynı veri dosyasını paylaşmasına olanak tanır. OSS arşivleme, her tablonun veya her bölümün bağımsız bir
.ibddosyası kullanmasını gerektirir. Bu nedenle genel tablespacelerdeki tablolar arşivlenemez. Arşivlenen bir tabloyu genel bir tablespace içine taşımadan önce verileri geri taşıyın.Tablespace içe aktarma veya atma:
IMPORT TABLESPACE(bir tablespace dosyasını içe aktarma) veyaDISCARD TABLESPACE(tablo tarafından kullanılan mevcut tablespaci atma) çalıştırmadan önce verileri önce geri taşıyın.DISCARD TABLESPACEbir geri taşıma işlemi değildir ve verileri blok depolamaya geri taşımak için kullanılamaz.
-
Şeffaf Veri Şifreleme (TDE)
TDE tamamen desteklenir. Arşivleme ve geri taşıma işlemleri bir tablonun mevcut şifreleme özelliklerini değiştirmez.
Şifreleme özelliklerini değiştirmek için varsayılan algoritmayı kullanın veya
ALGORITHM=COPYaçıkça belirtin.ALGORITHM=INPLACEdesteklenmez.
-
Yedekleme, güvenlik ve işletim bakımı önerileri
Arşivleme bir yedekleme değildir:
DROPveTRUNCATEişlemleri OSS içindeki verileri fiziksel olarak siler veya temizler. Arşivlemeyi asla yedekleme alternatifi olarak kullanmayın.Eşzamanlılık engelleme ve kaynak tüketimi: Arşivleme ve geri taşıma işlemleri hedef tabloyu kilitler, bu da eşzamanlı okuma ve yazmaları engelleyebilir ve ağ ile depolama G/Ç kaynaklarını tüketebilir. Bu işlemleri yoğun olmayan saatlerde çalıştırmanızı öneririz.
Toplu değişiklik önerisi: OSS erişim gecikme süresi blok depolama gecikme süresinden daha yüksek olduğundan, toplu değişiklikler gerçekleştirmeden önce arşivlenen verileri blok depolamaya geri taşımanızı öneririz.
Tablo verilerini OSS öğesine arşivleme
Arşivleme, nadiren erişilen ve gecikme süresine duyarlı olmayan veriler için uygundur. CREATE TABLE deyimi içinde STORAGE_TYPE belirtmek, yeni oluşturulan tabloyu otomatik olarak arşivlemez. Önce tabloyu oluşturun, ardından arşivleme işlemini çalıştırın:
ALTER TABLE table_name STORAGE_TYPE HYBRID_OSS;
Bu sözdizimi bölümlenmiş tablolar için de geçerlidir. Deyim çalıştırıldıktan sonra tablodaki tüm bölümler arşivlenir.
Belirtilen bölümleri OSS öğesine arşivleme
-- Archive one partition.
ALTER TABLE table_name MODIFY PARTITION p0 STORAGE_TYPE HYBRID_OSS;
-- Archive multiple partitions.
ALTER TABLE table_name MODIFY PARTITION p0, p1 STORAGE_TYPE HYBRID_OSS;
Tablodaki tüm veriler soğuk veri olduğunda tüm tabloyu arşivleyin, yalnızca bazı bölümler soğuk veri içerdiğinde yalnızca belirtilen bölümleri arşivleyin. Aynı bölümü birden fazla kez arşivlemeyin. Tablo alt bölümler içeriyorsa bir alt bölüm adı belirtebilirsiniz. Üst bölüm adı belirtirseniz o üst bölüm altındaki tüm alt bölümler arşivlenir.
Arşivlenen verileri sorgulama
Arşivlenen normal tablolar, arşivlemeden öncekiyle aynı şekilde doğrudan sorgulanabilir. Bölümlenmiş tablolar varsayılan olarak yalnızca arşivlenmemiş bölümleri sorgular. Arşivlenen bölümleri de sorgulamak için deyime WITH ARCHIVED ekleyin veya geçerli oturum için arşivlenen bölüm filtrelemeyi devre dışı bırakın.
-
Tek sorgu: Tablo adından sonra
WITH ARCHIVEDekleyin. Bu, yan tümceyi içeren deyim için geçerli olur ve arşivlenen verileri bir kez sorgulamak için uygundur:-- Query non-archived partitions. SELECT * FROM table_name; -- Query data, including archived partitions. SELECT * FROM table_name WITH ARCHIVED; -
Geçerli oturum: Geçerli oturum için arşivlenen bölüm filtrelemeyi devre dışı bıraktıktan sonra normal sorgular arşivlenen bölümleri içerir. Bu yöntem geçerli oturumun tamamı için geçerli olur ve arşivlenen verileri sürekli olarak sorgulamanız gereken senaryolar için uygundur:
SET SESSION prune_archived_oss_partitions=OFF;prune_archived_oss_partitionsparametresinin varsayılan değeri ON şeklindedir. OFF olarak ayarlandıktan sonra sorgular yine deWHEREkoşullarına ve normal bölümleme kurallarına göre verileri filtreler. Varsayılan davranışı geri yüklemek için bu parametreyi ON olarak ayarlayın.
Arşivleme durumunu denetleme
SHOW CREATE TABLE table_name;
Dönen sonuçta tablo veya ilgili bölüm STORAGE_TYPE HYBRID_OSS içeriyorsa nesne arşivlenmiştir.
Verileri blok depolamaya geri taşıma
Geri taşıma işlemi iş verilerinizi korur ve ilgili tablo veya bölümün arşivleme durumunu iptal eder.
-- Move back a regular table. For a partitioned table, all archived partitions are moved back.
ALTER TABLE table_name STORAGE_TYPE NULL;
-- Move back only a specified partition.
ALTER TABLE table_name MODIFY PARTITION p0 STORAGE_TYPE NULL;
-- Move back all archived partitions.
ALTER TABLE table_name MODIFY PARTITION ALL STORAGE_TYPE NULL;
Tüm tabloyu veya bölümlenmiş bir tablonun tüm arşivlenen bölümlerini geri yüklemeniz gerektiğinde ilk deyimi kullanın. Yalnızca tek tek bölümleri geri yüklemeniz gerektiğinde bir bölüm belirtmek için MODIFY PARTITION kullanın. Belirtilen bölüm arşivlenen durumda olmalıdır. ALL kullandığınızda şu anda arşivlenen tüm bölümler seçilir.
Örnek
Aşağıdaki örnekler normal bir tablo ve bölümlenmiş bir tablo üzerinde yapılan işlemleri göstermektedir. Örnekleri bir test veritabanında çalıştırın. Örnekler işlemleri göstermek için küçük miktarlarda veri kullanır. Gerçekleşen depolama alanı tasarrufu tablonun boyutuna bağlıdır.
Normal tablo
-
Bir tablo oluşturun ve veri ekleyin.
CREATE TABLE archive_orders ( id INT NOT NULL PRIMARY KEY, amount INT NOT NULL ) ENGINE=InnoDB; INSERT INTO archive_orders VALUES (1,100), (2,200), (3,300); -
Arşivlemeden sonra tabloyu sorgulayın. Tüm 3 kayıt hala okunabilir durumdadır.
ALTER TABLE archive_orders STORAGE_TYPE HYBRID_OSS; SELECT COUNT(*) FROM archive_orders; SHOW CREATE TABLE archive_orders; -
Verileri blok depolamaya geri taşıyın.
ALTER TABLE archive_orders STORAGE_TYPE NULL;
Bölümlenmiş tablo
-
Bölümlenmiş bir tablo oluşturun ve her bölüme bir kayıt ekleyin.
CREATE TABLE archive_orders_part ( id INT NOT NULL PRIMARY KEY, amount INT NOT NULL ) ENGINE=InnoDB PARTITION BY RANGE(id) ( PARTITION p0 VALUES LESS THAN (10), PARTITION p1 VALUES LESS THAN (20), PARTITION pmax VALUES LESS THAN MAXVALUE ); INSERT INTO archive_orders_part VALUES (1,100), (11,200), (21,300); -
Yalnızca
p0bölümünü arşivleyin. Diğer bölümler değişmeden kalır.ALTER TABLE archive_orders_part MODIFY PARTITION p0 STORAGE_TYPE HYBRID_OSS; -
Normal bir sorguyu arşivlenen verileri içeren bir sorguyla karşılaştırın.
SET SESSION prune_archived_oss_partitions=ON; -- Returns 2. A warning may appear when archived partitions are skipped. SELECT COUNT(*) FROM archive_orders_part; -- Returns 3, including the records in the archived partition. SELECT COUNT(*) FROM archive_orders_part WITH ARCHIVED; -
p0bölümünü blok depolamaya geri taşıyın. Normal bir sorgu ardından tüm 3 kaydı okur.ALTER TABLE archive_orders_part MODIFY PARTITION p0 STORAGE_TYPE NULL; SELECT COUNT(*) FROM archive_orders_part;