DataWorks:Flink SQL toplu iş düğümü

SQL kodunu geliştirin

Görev kodunuzu SQL düzenleme alanında geliştirin. Kodunuzda ${variable_name} biçimini kullanarak değişkenler tanımlayabilirsiniz. Ardından, düğüm düzenleme sayfasının sağ tarafındaki Scheduling Settings bölmesinin Scheduling Parameters bölümünde değişkene bir değer atayın. Bu sayede, zamanlama senaryolarında kodunuza dinamik olarak parametre aktarabilirsiniz. Zamanlama parametrelerinin kullanımı hakkında daha fazla bilgi için bkz. Zamanlama parametresi kaynakları ve ifadeleri. Aşağıda bir örnek verilmiştir.

-- Create a source table named datagen_source.
CREATE TEMPORARY TABLE datagen_source_${var}(
  name VARCHAR
) WITH (
  'connector' = 'datagen',
  'number-of-rows' = '1000' 
);

-- Create a result table named blackhole_sink.
CREATE TEMPORARY TABLE blackhole_sink_${var}(
  name  VARCHAR
) WITH (
  'connector' = 'blackhole'
);

-- Insert data from the source table into the result table.
INSERT INTO blackhole_sink_${var}
SELECT
  name
FROM datagen_source_${var};

Flink kaynaklarını yapılandırın

Scheduling Settings altındaki Flink resource information bölümünde, düzenleme sayfasının sağ tarafında aşağıdaki parametreleri yapılandırabilirsiniz. Daha fazla bilgi için bkz. Zamanlama ayarlarını yapılandırma.

(İsteğe bağlı) Zamanlama parametrelerini yapılandırın

Düzenleme sayfasının sağ tarafında, Scheduling Settings altındaki Scheduling Parameters bölümünde Add parameters seçeneğine tıklayın, ardından kodunuzda dinamik olarak kullanmak üzere Parameter name ve Parameter Value alanlarını düzenleyin.

(İsteğe bağlı) Flink çalışma zamanı parametrelerini yapılandırın

Scheduling Settings altındaki Flink running parameters bölümünde, düzenleme sayfasının sağ tarafında çalışma zamanı parametrelerini yapılandırabilirsiniz. Daha fazla bilgi için bkz. Zamanlama ayarlarını yapılandırma.

Flink çalışma zamanı parametrelerini yapılandırırken sözdizimi VVP (Ververica Platformu) ile uyumludur. Yapılandırmaları doğrudan YAML biçiminde yazabilirsiniz; satır sonları için noktalı virgül veya diğer özel karakterler eklemeniz gerekmez.

Flink kaynak bilgilerini yapılandırın

Düğüm düzenleme sayfasının sağ tarafında, Run Configuration bölmesinin Flink resource information bölümünde aşağıdaki tabloda açıklandığı şekilde parametreleri yapılandırın.

Mevcut düğüm için hesaplama kaynağını değiştirdikten sonra, seçilen Flink Debug Cluster ve yüklenen hata ayıklama verileri temizlenir. Bir kümeyi yeniden seçmeniz ve verileri tekrar yüklemeniz gerekir.

Hata ayıklama verilerini hazırlayın

Run Configuration bölmesinin Debug Data bölümünde, kodunuzda başvurulan kaynak tablolar için sahte verileri hazırlayın.

1. Generate Template seçeneğine tıklayın. Sistem, mevcut SQL kodunda başvurulan kaynak tabloları ayrıştırır ve aşağıdaki listede karşılık gelen tablo adı kayıtlarını oluşturur. Daha önce yüklenen veriler temizlenmez.

2. Tablo adı kaydının Actions sütununda, kaynak tablonun yapısıyla eşleşen bir CSV şablonu indirmek için Download Template seçeneğine tıklayın.

3. İndirilen şablonda sütun sırasını takip ederek hata ayıklama verilerini doldurun ve dosyayı CSV biçiminde kaydedin.

4. Tablo adı kaydının Actions sütununda, tamamlanan CSV dosyasını seçip yüklemek için Upload seçeneğine tıklayın. Yükleme başarılı olduktan sonra Status sütununda Enabled durumu görüntülenir.

5. (İsteğe bağlı) Yükleme başarılı olduktan sonra, verileri görüntülemek için alt paneldeki Preview seçeneğine tıklayabilirsiniz. Verileri değiştirmek için mevcut verilerin üzerine yazmak amacıyla yeni bir CSV dosyası yükleyin.

6. Belirli bir kaynak tablonun sahte verilerinin mevcut hata ayıklama oturumunda kullanılmasını istemiyorsanız, durumu Disabled olarak değiştirmek için Disable seçeneğine tıklayın. Verileri yeniden etkinleştirmek için Enable seçeneğine tıklayın. Yalnızca Enabled durumundaki veriler mevcut hata ayıklama oturumunda kullanılır.

Hata ayıklama verilerini yüklemeden önce öncelikle bir Flink Debug Cluster seçmeniz gerekir. Aksi takdirde, önce bir hesaplama kaynağı seçmeniz gerektiğine dair bir uyarı alırsınız.

Hata ayıklama verileri yalnızca CSV biçimini destekler ve dosya boyutu 1 MB'ı aşamaz. CSV dosyasının ilk satırı sütun adlarını içermelidir. UTF-8 kodlaması kullanmanız önerilir.

Hata ayıklama görevini çalıştırın

Hata ayıklama verileri hazır olduğunda, düzenleyici araç çubuğundaki Run düğmesine tıklayın (veya F8 tuşuna basın). Sistem, kodu, sahte verileri ve Flink kaynak bilgilerini yürütülmesi için seçilen oturum kümesine gönderir.

Kodunuz ${variable_name} biçimindeki parametreleri kullanıyorsa, değişkenlere Scheduling Parameters bölümünde değer atadığınızdan emin olun. Hata ayıklama sırasında sistem, göndermeden önce koddaki yer tutucuları atanan değerlerle değiştirir.

Hata ayıklama sonuçlarını görüntüleyin

Hata ayıklama görevi çalıştıktan sonra, düğümün altındaki sonuç alanı sorunları hızlıca belirlemenize yardımcı olmak için aşağıdaki bilgileri sağlar:

• Code: Bu çalıştırma için Flink motoruna gönderilen SQL kodu (değişken değişiklikleri uygulanmış haliyle).

• Logs: Hata ayıklama görevinin çalışma zamanı günlüğü ve hata bilgileri.

• Query results: Hata ayıklama görevinin çıktı verileri.