Data Management:Görev düzenleme

Desteklenen veritabanları

Task Orchestration aşağıdaki veritabanı türlerini destekler:

İlişkisel veritabanları

• MySQL: ApsaraDB RDS for MySQL, PolarDB for MySQL, ApsaraDB MyBase for MySQL, PolarDB for Xscale ve diğer kaynaklardan gelen MySQL veritabanları

• SQL Server: ApsaraDB RDS for SQL Server, ApsaraDB MyBase for SQL Server ve diğer kaynaklardan gelen SQL Server veritabanları

• PostgreSQL: ApsaraDB RDS for PostgreSQL, PolarDB for PostgreSQL, ApsaraDB MyBase for PostgreSQL ve diğer kaynaklardan gelen PostgreSQL veritabanları

• OceanBase: MySQL modunda ApsaraDB for OceanBase, Oracle modunda ApsaraDB for OceanBase ve kendi kendine yönetilen OceanBase veritabanları

• PolarDB for PostgreSQL (Oracle ile uyumlu)

• Oracle

• Dameng (DM)

• Db2

NoSQL veritabanı: Lindorm

Veri ambarları: AnalyticDB for MySQL, AnalyticDB for PostgreSQL, Data Lake Analytics (DLA), MaxCompute, Hologres

Nesne depolama: Object Storage Service (OSS)

-- Create the source table
CREATE TABLE test (
    `id` bigint(20) UNSIGNED NOT NULL PRIMARY KEY AUTO_INCREMENT COMMENT 'Primary key',
    `gmt_create` DATETIME NOT NULL COMMENT 'Creation time',
    `gmt_modified` DATETIME NOT NULL COMMENT 'Modification time',
    `content` TEXT COMMENT 'Test data'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='Table for a task orchestration test';

-- Insert sample data
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-01-01 01:00:00', '2020-01-01 01:00:00', 'value1');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-02-01 01:00:00', '2020-02-01 01:00:00', 'value2');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-03-01 01:00:00', '2020-03-01 01:00:00', 'value3');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-04-01 01:00:00', '2020-04-01 01:00:00', 'value4');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-05-01 01:00:00', '2020-05-01 01:00:00', 'value5');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-06-01 01:00:00', '2020-06-01 01:00:00', 'value6');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-07-01 01:00:00', '2020-07-01 01:00:00', 'value7');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-08-01 01:00:00', '2020-08-01 01:00:00', 'value8');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-09-01 01:00:00', '2020-09-01 01:00:00', 'value9');
INSERT INTO test(`gmt_create`, `gmt_modified`, `content`) VALUES ('2020-10-01 01:00:00', '2020-10-01 01:00:00', 'value10');

Migrate Data düğümünü oluşturun

Bu düğüm, aylık bir arşiv tablosu oluşturur (zaten yoksa) ve test tablosundaki altı aydan eski tüm kayıtları bu tabloya kopyalar.

1. Tuvalin sol tarafındaki Task Type panelinden bir Single Instance SQL düğümünü tuvale sürükleyin.

2. Düğüme sağ tıklayın ve Rename seçeneğini belirleyin. Düğüm adı olarak Migrate Data girin.

3. SQL düzenleyicisini açmak için düğüme çift tıklayın.

4. Veritabanı arama kutusunda veritabanınızı seçin ve aşağıdaki SQL kodunu girin:

   CREATE TABLE IF NOT EXISTS `test_${yearmonth6_name}` LIKE test;
   INSERT INTO `test_${yearmonth6_name}`
   SELECT * FROM `test`
   WHERE gmt_create < '${yearmonth6_date}';

   İlk deyim, test ile aynı şemaya sahip test_${yearmonth6_name} tablosunu oluşturur; tablo zaten varsa oluşturma işlemi atlanır. İkinci deyim, gmt_create tarihi altı aylık kesme noktasından önce olan tüm satırları arşiv tablosuna kopyalar.

5. SQL deyimlerini doğrulamak için Preview öğesine tıklayın.

Clear Historical Data düğümünü oluşturun

Bu düğüm, arşiv tablosuna kopyalanan tüm satırları test tablosundan siler.

1. Başka bir Single Instance SQL düğümünü tuvale sürükleyin.

2. Düğüme sağ tıklayın ve Rename seçeneğini belirleyin. Düğüm adı olarak Clear Historical Data girin.

3. SQL düzenleyicisini açmak için düğüme çift tıklayın.

4. Veritabanı arama kutusunda veritabanınızı seçin ve aşağıdaki SQL kodunu girin:

   Uyarı

   DELETE deyimini yoğun olmayan saatlerde çalıştırın. Büyük hacimli verilerin silinmesi tablo kilitlerini uzun süre tutabilir ve diğer işlemleri kesintiye uğratabilir.

   DELETE FROM `test` WHERE gmt_create < '${yearmonth6_date}';

   Bu deyim, arşiv tablosuna zaten kopyalanmış tüm satırları kaldırarak test tablosunun altı aydan eski kayıt içermemesini sağlar.

5. SQL deyimini doğrulamak için Preview öğesine tıklayın.

Düğümleri bağlayın

Tuvale üzerinde Migrate Data düğümünün üzerine gelin, sağ tarafındaki boş daireye tıklayın ve bağlantı çizgisini Clear Historical Data düğümüne sürükleyin. Bu işlem yürütme sırasını tanımlar: önce Migrate Data çalışır, ardından Clear Historical Data çalışır.

Zamanlamayı yapılandırın

1. Sayfanın alt kısmında Task Flow Information sekmesine tıklayın.

2. Scheduling Settings bölümünde aşağıdaki parametreleri yapılandırın:

   Parametre	Değer
   Enable scheduling	Açık
   Scheduling type	Timed Scheduling/Cyclic scheduling
   Effective time	1970-01-01 – 9999-01-01 (varsayılan; zamanlama süresiz çalışır)
   Scheduling cycle	Ay
   Specified time	Her ayın 1'i
   Specific point in time	01:00
   Time zone	Tercih ettiğiniz saat dilimi
   Cron expression	Yukarıdaki ayarlara göre otomatik oluşturulur

   Bu örnek, görev akışını her ayın ilk günü saat 01:00'de çalışacak şekilde zamanlar. Gereksinimlerinize uygun olarak ayarları değiştirin. Daha fazla seçenek için bkz. Overview.

Test çalıştırması

Tuvalin sol üst köşesindeki Try Run öğesine tıklayın. Günlük çıkışını kontrol edin:

• Son satırda status SUCCEEDED görürseniz test çalıştırması başarıyla tamamlandı demektir.

• Son satırda status FAILED görürseniz test çalıştırması başarısız oldu demektir. Hangi düğümün neden başarısız olduğunu belirlemek için günlükleri inceleyin, yapılandırmayı düzeltin ve tekrar deneyin.

Sonuçları doğrulayın

SQLConsole sekmesinde aşağıdakileri onaylamak için sorgular çalıştırın:

• Altı aylık kesme noktasından önceki gmt_create değerine sahip kayıtlar test_${yearmonth6_name} arşiv tablosuna kopyalandı.

• Aynı kayıtlar artık test tablosunda bulunmuyor.

Veri sorgulama hakkında ayrıntılı bilgi için bkz. SQLConsole sekmesinde bir veritabanını yönetin.