DataWorks:Veri aktarımı

Hazırlık (isteğe bağlı)

Veri aktarımını hızlıca gerçekleştirmenize yardımcı olmak için bu konuda bir MaxCompute tablosundaki sorgu sonuçlarının nasıl aktarılacağı örnek üzerinden açıklanmaktadır. Bu örnekte, sales adlı bir tablodan belirtilen kanala veri göndermek için veri aktarımı özelliğini kullanacaksınız. Veriler, her departman için günlük satış tutarını ve önceki güne göre satış tutarındaki değişimi içerir. Bu örnekteki adımları uygulamak istiyorsanız öncelikle ortamınızda sales tablosunu oluşturmanız gerekir. Aşağıdaki kod, sales tablosunu oluşturmak ve içine veri eklemek için gerekli ifadeleri sağlar. Tablo oluşturma hakkında daha fazla bilgi için bkz. MaxCompute tabloları oluşturma ve kullanma.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Bir veri kaynağı seçin

Veri aktarımı için veri tablosunun ortamını belirlemek üzere Data Source Type, Data Source Name ve Data Source Environment seçeneklerini belirleyin. Veri aktarımının geliştirme tablosu mu yoksa üretim tablosu mu olduğunu göz önünde bulundurarak veri kaynağı ortamını seçebilirsiniz. Bir alıştırma yapıyorsanız hazırlık aşamasında oluşturduğunuz sales tablosunun bulunduğu ortamı onaylayın.

Örneğin, Data source type değerini odps, Data source name değerini MaxCompute_Source ve Data source environment değerini production environment olarak ayarlayın. Yeni bir veri kaynağı oluşturmak için Data source name alanının altındaki bağlantıya tıklayın.

Sorgu SQL'ini yazın

• Veri kapsamını tanımlayın ve verileri alın.

  Edit Query SQL bölümünde aktarılacak verileri tanımlamak için tek tablo veya çok tablo SQL sorgularını kullanın. Örneğin:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  SQL'i yazdıktan sonra sonuç alanları Parameters > Output Parameters bölümüne otomatik olarak doldurulur. Çıktı parametrelerinin ayrıştırılması başarısız olursa veya yanlış olursa Automatically Parse Parameters seçeneğini devre dışı bırakabilir ve manuel olarak Add Parameter seçeneğini kullanabilirsiniz.

  Ayrıca SQL içinde ${variable_name} biçimini kullanarak özel değişkenler yapılandırabilirsiniz. Bu değişken bir Assignment Parameters öğesidir (Assignment Parameters zaman ifadeleri ve sabitlerle atanabilir) ve kodunuz için dinamik parametre girişi uygulamanızı sağlar. Daha fazla bilgi için bkz. Aktarım içeriğini yapılandırma.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Sayfalandırılmış sorgu.

  Büyük tablolar için veri aktarımı, bir Next Token kullanarak sayfalandırılmış sorguları destekler. Kullanım talimatları için kod düzenleyici araç çubuğundaki Code Help > Code Template > Next Token seçeneğine tıklayın.

Aktarım içeriğini yapılandırın

Content to Push bölümünde mesaj içeriğini Markdown ve Table biçimlerini kullanarak düzenleyebilirsiniz. Bu içerik Webhook'a aktarılır.

Title alanında mesaj başlığını özelleştirdikten sonra gövde alanındaki Add düğmesine tıklayın. Ardından içeriği düzenlemek için Markdown, Table veya Email Body seçeneklerinden birini belirleyin. Aşağıdaki örnek bir örnek yapılandırmayı gösterir. Mesaj biçimini görmek için araç çubuğundaki Preview düğmesine tıklayabilirsiniz.

Webhook hedefi oluşturun

Create Destination düğmesine tıkladığınızda aşağıdaki parametreleri yapılandırın:

• Type: Bir kanal türü seçin. Seçenekler arasında DingTalk, Lark, WeCom ve Teams bulunur.

• Destination Name: Yeni aktarım hedefi için özel bir ad girin.

• Webhook: Seçilen aktarım kanalının Webhook URL'si.

Type açılan listesi ayrıca Email kanalını da destekler. Yapılandırmayı tamamladıktan sonra OK düğmesine tıklayın.

E-posta hedefi oluşturun

Push Settings öğesini yapılandırmadan önce Service Development sayfasının sol alt köşesindeki simgesine tıklayarak ayarlar panelini açın. Destination Management sekmesine geçin ve bir hedef oluşturmak için Create Destination düğmesine tıklayın.

Create Destination düğmesine tıkladığınızda aşağıdaki parametreleri yapılandırmanız gerekir:

• Type: Email seçeneğini belirleyin.

• Destination Name: Yeni aktarım hedefi için özel bir ad girin.

• SMTP Host: Posta sunucusunun adresi.

• SMTP Port: Posta sunucusunun bağlantı noktası numarası. Varsayılan değer 465'tir ve manuel olarak değiştirilebilir.

• Sender Address: E-posta gönderen adresi.

• SMTP Account: Tam e-posta hesabı.

• SMTP Password: E-posta hesabının parolası.

• Receiver Address: Hedef e-posta adresi.

Aktarım ayarları

Görevin zamanlama döngüsünü, zamanlama kaynaklarını ve aktarım hedeflerini yapılandırmak için sağ taraftaki Push Settings düğmesine tıklayın. Belirli yapılandırma öğeleri aşağıdaki gibidir:

• Zamanlama döngüsü ve çalışma zamanı yapılandırması: Veri aktarım hizmetinin düzenlenen içeriği aktarması için zamanlama döngüsünü ve belirli zamanı yapılandırın.

  Zamanlama döngüsü	Belirtilen zaman	Zamanlama zamanı	Örnek
  Month	Aktarım görevinin çalıştırılacağı ay günlerini belirtin.	Aktarım günündeki veri aktarım görevi için zamanlama zamanı.	Scheduling Frequency: Month Specified Time: 1st of every month Data Timestamp: 08:00 Gerçek çalışma zamanı: Aktarım görevi her ayın 1'inde saat 08:00'de çalışır.
  Week	Aktarım görevinin çalıştırılacağı hafta günlerini belirtin.	Aktarım günündeki veri aktarım görevi için zamanlama zamanı.	Scheduling Frequency: Week Specified Time: Monday Data Timestamp: 09:00 Gerçek çalışma zamanı: Aktarım görevi her Pazartesi saat 09:00'da çalışır.
  Day	Not Günlük döngü görevi her gün çalışacak şekilde zamanlar.	Aktarım günündeki veri aktarım görevi için zamanlama zamanı.	Scheduling Frequency: Day Data Timestamp: 08:00 Gerçek çalışma zamanı: Aktarım görevi her gün saat 08:00'de çalışır.
  Hour	Not İki aktarım modu arasında seçim yapabilirsiniz: Belirtilen saatlik aralıkta aktarım. Belirtilen saat ve dakikalarda aktarım.		Saatlik aralıkta aktarım: Start Time: 00:00 Time Interval: 1 hour End Time: 23:59 Gerçek çalışma zamanı: Günlük olarak 00:00 ile 23:59 arasında saatte bir aktarım gerçekleştirir. Belirtilen saat ve dakikalarda aktarım: Hour: 0, 1 Specified Minute: 10 Gerçek çalışma zamanı: Günlük olarak 00:10 ve 01:10'da aktarım gerçekleştirir.

• Timeout Definition: Görev yürütmesi için bir zaman sınırı belirler. Görev bu sınırı aşarsa sonlandırılır.

  • Default Value: Default Value ayarıyla görev zaman aşımı sistem yüküne göre dinamik olarak ayarlanır ve değeri 3 ila 7 gün arasında değişir. Zaman aşımına uğrayan görevler sonlandırılır.

  • Örnek: Custom zaman aşımını 1 saat olarak ayarlarsanız aktarım görevi planlanan başlangıç zamanından sonra 1 saatten fazla çalışırsa sonlandırılır.

• Valid From: Veri aktarım görevinin etkin olduğu zaman aralığını yapılandırın.

  • Permanent: Veri aktarım görevi kalıcı olarak etkin kalır ve geçerlilik tarihi aralığıyla sınırlanmaz.

  • Example: Specified Time aralığını 2024-01-01 ile 2024-12-31 arasında yapılandırırsanız aktarım görevi bu süre boyunca yapılandırılan zamanlama döngüsüne göre çalışır.

• Resource Group for Scheduling: Veri aktarım görevi için zamanlama kaynakları sağlamak amacıyla bir Exclusive resource group for scheduling veya serverless resource group (genel amaçlı kaynak grubu) yapılandırabilirsiniz. Kaynak grupları hakkında daha fazla bilgi için bkz. Kaynak Grubu Yönetimi.

• Push Every Time: SQL sorgusu veri döndürmediğinde bildirim gönderilip gönderilmeyeceğini kontrol eder.

  • Etkin (varsayılan): Sorgunun veri döndürüp döndürmediğinden bağımsız olarak her planlanan çalıştırmada aktarım yürütülür.

  • Devre dışı: Giriş parametreleri hariç aktarım içeriğinde kullanılan tüm değişkenler boşsa mesaj gönderilmez. Verileri filtrelemek için SQL'de WHERE veya HAVING yan tümcelerini kullanabilirsiniz. Filtre koşulları karşılanmazsa ve sorgu sonucu boşsa aktarım görevi otomatik olarak atlanır ve mesaj gönderilmez.

• Destination: Yapılandırılan içeriği seçili bir hedefe aktarabilirsiniz. Yalnızca Data Push Task Management içinde yapılandırılan mevcut aktarım hedeflerinden seçim yapabilirsiniz.

  Not

  Bir DingTalk Webhook'a aktarım yaparken botun yapılandırmasındaki Security Settings > Custom Keywords bölümüne bir anahtar kelime eklemeniz gerekir. Aktarımın başarılı olması için aktarım içeriğinin bu anahtar kelimeyi içerdiğinden emin olun.

Görev sürümlerini yönetin

1. Geliştirme sırasındaki testlerin başarılı olduğunu onayladıktan sonra Submit düğmesine tıklayın. Aktarım görevi gönderilmezse taslak durumunda kalır ve yeni bir sürüm oluşturulmaz.

2. Hizmeti gönderdikten sonra yeni bir sürüm oluşturulur. Sağ taraftaki Version panelinde Can Be Published durumundaki gönderilmiş sürümü bulun ve Publish düğmesine tıklayın. Görevi yayınlamak Push Settings içinde tanımlandığı şekliyle zamanlamasını etkinleştirir.

   Version panelinde veri aktarım görevini aşağıdaki gibi yönetin.

   Durum	Eylemler	Description
   Publish	Data Push Task Management	Yayınlanan görevler hakkında ayrıntılı bilgileri görüntüleyebileceğiniz Data Push Task Management sayfasına gider. Daha fazla bilgi için bkz. Veri aktarım görevlerini yönetme.
   Can Be Published	Publish	Görevin ilgili sürümünü yayınlar.
   	Abandoned	Görevin ilgili sürümünü iptal eder ve durumunu Abandoned olarak değiştirir.
   Off-Line, Abandoned	Version Details	Veri aktarım görevinin o sürümü için yapılandırma bilgilerini ve ilgili aktarım içeriğini görüntüleyin.
   	Roll Back	Bu sürümü geri yükleyerek geçerli yapılandırma haline getirir.

   Not

   Version Details ve Roll Back işlemleri tüm durumlardaki görevler için kullanılabilir ve aynı şekilde çalışır.

Aktarım görevlerini yönetin

Bir veri aktarım görevi başarıyla yayınlandıktan sonra Version panelindeki Operation sütununda Data Push Task Management düğmesine tıklayın veya Service Management > Data Push Task Management yolu üzerinden Data Push Tasks liste sayfasına gidin.

Bu sayfa yayınlanan tüm Data Push Tasks öğelerini listeler ve ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer ve Published Time gibi ayrıntıları gösterir. Operation sütununda yayınlanan veri aktarım görevlerinde aşağıdaki işlemleri gerçekleştirin:

Yayınlanmış bir görevi test edin

Aşağıdaki yollardan biriyle Data Push Test sayfasına gidin:

• Yöntem 1: Service Management > Test Data Push Task seçeneklerini belirleyin.

• Yöntem 2: Service Management > Data Push Task Management > Data Push Tasks seçeneklerini belirleyin.

Yayınlanmış bir görevi test etmek görevin doğru çalıştığını ve hedefin beklendiği gibi veriyi aldığını doğrular.

Data Push Test sayfasında açılan listeden hedef veri aktarım görevini seçin veya arayın, gerekirse Push to Destination onay kutusunu işaretleyin ve ardından Start Test düğmesine tıklayın.