Konfigurasikan tugas ETL dalam mode DAG - Data Transmission Service

Data Transmission Service (DTS) menyediakan fitur ekstraksi, transformasi, dan pemuatan (ETL). Fitur ini memungkinkan Anda membersihkan dan mentransformasi data streaming secara akurat dan efisien. Topik ini menjelaskan cara mengonfigurasi tugas ETL dalam mode grafik asiklik terarah (DAG).

Informasi latar belakang

Catatan

Fitur ini akan segera tidak tersedia dan hanya tersedia gratis untuk pengguna tertentu yang telah mengaktifkannya. Kami menyarankan Anda mengonfigurasi tugas ETL dalam instance sinkronisasi atau migrasi data. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam Tugas Migrasi atau Sinkronisasi Data.

Sebelum mengonfigurasi tugas ETL, perhatikan hal berikut:
- Input/Dimension Table menunjukkan database sumber dari tugas ETL.
- Output menunjukkan database tujuan dari tugas ETL.
DTS menyediakan fitur ETL streaming untuk proses sinkronisasi data. Anda dapat menambahkan berbagai komponen transformasi antara database sumber dan tujuan untuk mentransformasi data dan menulis data yang diproses ke database tujuan secara real-time. Sebagai contoh, Anda dapat menggabungkan dua tabel aliran menjadi satu tabel besar dan menulis data dari tabel tersebut ke database tujuan. Anda juga dapat menambahkan bidang ke tabel sumber dan mengonfigurasi fungsi untuk memberi nilai pada bidang tersebut, lalu menulisnya ke database tujuan.

Prasyarat

Tugas ETL dibuat di salah satu wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Qingdao), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Shenzhen), Tiongkok (Guangzhou), dan Tiongkok (Hong Kong).
Database sumber termasuk salah satu jenis berikut: MySQL, PolarDB for MySQL, Oracle, PostgreSQL, iSeries DB2 (AS/400), Db2 for LUW, PolarDB-X 1.0, PolarDB for PostgreSQL, MariaDB, PolarDB for Oracle, SQL Server, dan PolarDB-X 2.0.
Database tujuan termasuk salah satu jenis berikut: MySQL, PolarDB for MySQL, Oracle, AnalyticDB for MySQL V3.0, PolarDB for PostgreSQL, PostgreSQL, Db2 for LUW, iSeries DB2 (AS/400), AnalyticDB for PostgreSQL, SQL Server, MariaDB, PolarDB-X 1.0, PolarDB for Oracle, dan Tablestore.
Skema tabel di database tujuan sudah dibuat karena fitur ETL tidak mendukung migrasi skema. Sebagai contoh, jika Tabel A berisi Bidang 1, Bidang 2, dan Bidang 3, serta Tabel B berisi Bidang 2, Bidang 3, dan Bidang 4, dan Anda ingin menggabungkan Tabel A dan Tabel B menjadi sebuah tabel yang berisi Bidang 2 dan Bidang 3, Anda harus membuat Tabel C yang berisi Bidang 2 dan Bidang 3 di database tujuan.
Fitur ETL tidak mendukung sinkronisasi data penuh. Oleh karena itu, Anda hanya dapat mentransformasi data tambahan secara real-time.

Perhatian

Database sumber dan tujuan harus berada di wilayah yang sama.
Semua stream tables harus milik instance yang sama.
Semua nama database dan nama tabel harus unik.
Komponen transformasi memiliki batasan berikut:
- Table Join: Anda hanya dapat melakukan operasi gabungan antara dua tabel.
- Field Calculator dan Table Record Filter: Hanya mendukung skema tabel tunggal.

Bagan Alir

配置ETL任务流程

Untuk membuat tugas ETL, Anda harus mengonfigurasi satu atau lebih database sumber, satu atau lebih komponen transformasi, dan database tujuan. Tabel berikut menjelaskan cara membuat tugas ETL.

Langkah	Deskripsi	Referensi
Konfigurasikan database sumber	Anda dapat memilih satu atau lebih database sumber di bagian Input/Dimension Table dan mengonfigurasi parameter untuk setiap database sumber. Catatan Anda dapat memilih jenis database sumber yang sama beberapa kali. Konfigurasikan parameter di tab Pengaturan Node. Konfigurasikan parameter di tab Bidang Output. Opsional: Jika Anda mengatur parameter Jenis Node ke Stream Table, Anda harus mengonfigurasi atribut waktu.	Konfigurasikan database sumber
Konfigurasikan komponen transformasi	Anda dapat memilih satu atau lebih komponen transformasi dan mengonfigurasi parameter untuk setiap komponen transformasi. Catatan Anda dapat memilih jenis komponen transformasi yang sama beberapa kali. Gabungan Tabel Konfigurasikan parameter di tab Pengaturan Node. Konfigurasikan parameter di tab Bidang Output. Kalkulator Bidang Konfigurasikan parameter Nama Konversi. Konfigurasikan kalkulator. Filter Rekaman Tabel Konfigurasikan parameter Nama Konversi. Tentukan kondisi WHERE.	Konfigurasikan komponen transformasi
Konfigurasikan database tujuan	Anda dapat memilih jenis database tujuan untuk node Output dan mengonfigurasi parameter berikut untuk database tujuan: Konfigurasikan parameter di tab Pengaturan Node. Konfigurasikan parameter di tab Pemetaan Bidang.	Konfigurasikan database tujuan

Prosedur

Buka halaman Streaming ETL.
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik ETL.
Di sudut kiri atas halaman Streaming ETL, klik . Di kotak dialog Create Data Flow, tentukan nama tugas ETL di bidang Data Flow Name dan atur parameter Development Method ke DAG.
Klik OK.
Konfigurasikan parameter untuk tugas ETL.
1. Buat tugas ETL.
  Catatan
  Dalam contoh ini, node Input/Dimension Table MySQL, node Field Calculator, dan node Output MySQL dikonfigurasi.
  Anda dapat memilih satu atau lebih database sumber. Anda dapat memilih jenis database sumber yang sama beberapa kali.
  Anda dapat memilih satu atau lebih komponen transformasi. Anda dapat memilih komponen transformasi yang sama beberapa kali.
  Anda hanya dapat memilih satu database tujuan.
  1. Di sisi kiri kanvas, seret node Input/Dimension Table MySQL ke area kosong kanvas.
  2. Klik Input/Dimension Table MySQL-1 di kanvas. Konfigurasikan parameter di tab Pengaturan Node, Bidang Output, dan Atribut Waktu. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter yang diperlukan, lihat Konfigurasikan Database Sumber.
  3. Di sisi kiri kanvas, seret node Field Calculator ke area kosong kanvas.
  4. Pindahkan pointer ke node Input/Dimension Table MySQL-1, dan klik titik untuk menggambar garis antara node Input/Dimension Table MySQL-1 dan node Field Calculator-1.
  5. Klik node Field Calculator-1 di kanvas dan konfigurasikan parameter di tab Pengaturan Node. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter yang diperlukan, lihat Konfigurasikan Komponen Transformasi.
  6. Di sisi kiri kanvas, seret node Output MySQL-1 ke area kosong kanvas.
  7. Pindahkan pointer ke node Field Calculator-1, dan klik titik untuk menggambar garis antara node Field Calculator-1 dan node Output MySQL-1.
  8. Klik node Output MySQL-1 dan konfigurasikan parameter di tab Pengaturan Node dan Pemetaan Bidang. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter yang diperlukan, lihat Konfigurasikan Database Tujuan.
  9. Setelah menyelesaikan konfigurasi di atas, klik Generate Flink SQL Validation atau Publish berdasarkan kebutuhan bisnis Anda.
    - Generate Flink SQL Validation: Jika validasi Flink SQL berhasil, pesan Flink SQL Validation Succeeded akan ditampilkan. Jika validasi gagal, Anda dapat mengklik View ETL Validation Details di sebelah Generate Flink SQL Validation. Setelah menyelesaikan masalah berdasarkan pesan kesalahan, Anda dapat menjalankan validasi Flink SQL lagi.
    - Publish: Sistem pertama-tama menjalankan validasi Flink SQL. Tugas ETL hanya dapat diperiksa sebelumnya setelah validasi Flink SQL berhasil. Anda dapat mengklik View ETL Validation Details untuk melihat detail validasi.
2. Setelah validasi Flink SQL selesai, jalankan precheck. DTS hanya dapat memulai tugas ETL setelah tugas melewati pra-pemeriksaan. Jika tugas gagal melewati pra-pemeriksaan, klik View Details di sebelah setiap item yang gagal. Setelah menyelesaikan masalah berdasarkan pesan kesalahan, Anda dapat menjalankan pra-pemeriksaan lagi.
3. Setelah pra-pemeriksaan dilewati, klik Next: Purchase Instance di bagian bawah halaman.
4. Di halaman Purchase Instance, konfigurasikan parameter Instance Class dan Compute Units (CUs). Kemudian, baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms dan Service Terms for Public Preview.
5. Klik Buy and Start untuk memulai tugas ETL.
  Anda dapat kembali ke halaman Streaming ETL untuk melihat status tugas ETL di kolom Status.