Manajemen tugas ETL DataWorks Data Integration di Data Studio - DataWorks

Buat dan kelola tugas integrasi data secara langsung di modul DataStudio, yang menyatukan ekstraksi, transformasi, dan pemuatan dalam satu tampilan.

Ikhtisar

Definisikan dan kelola tugas Data Integration di modul DataStudio bersama node tugas lainnya. Seluruh pipeline ETL/ELT berjalan dalam satu tampilan tanpa perlu berpindah modul.

Tugas single-table batch synchronization dapat ditambahkan sebagai node alur kerja dengan konfigurasi dependensi. Tugas integrasi lainnya berjalan sebagai standalone nodes.

Mekanisme inti:

Konsistensi konfigurasi: Antarmuka konfigurasi, parameter, dan fungsi dasar identik baik Anda membuat tugas di Data Studio maupun di modul Data Integration.
Sinkronisasi dua arah: Tugas yang dibuat di modul Data Integration secara otomatis disinkronkan ke direktori data_integration_jobs di Data Studio, dikelompokkan berdasarkan saluran source-type-destination-type.

Prasyarat

Persiapan sumber data
- Sumber data asal dan tujuan telah dikonfigurasi. Manajemen sumber data.
- Sumber data Anda mendukung sinkronisasi waktu nyata. Sumber data dan solusi sinkronisasi yang didukung.
- Untuk sumber data yang memerlukan logging (seperti Hologres dan Oracle), logging telah diaktifkan. Daftar sumber data.
Kelompok sumber daya: Anda telah membeli dan mengonfigurasi serverless resource group.
Konektivitas jaringan: Anda telah menetapkan konektivitas jaringan antara kelompok sumber daya dan sumber data Anda.

Buat tugas integrasi di Data Studio

Contoh berikut membuat tugas sinkronisasi batch single-table dari MySQL ke MaxCompute.

Buat node

Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang sesuai dan pilih Shortcuts > Data Studio di kolom Actions.
Klik ikon + di bagian atas halaman, atau di bilah alat kanvas alur kerja, pilih New Node > Data Integration.

Konfigurasi informasi dasar

Pilih sinkronisasi batch atau waktu nyata berdasarkan kebutuhan latensi data, volume, dan kompleksitas Anda. Lalu pilih solusi sinkronisasi yang kompatibel sesuai dengan jenis database asal dan tujuan, lingkungan jaringan, serta kebutuhan fitur Anda.

Di kotak dialog New Node, konfigurasikan pengaturan berikut:

Path: Pilih lokasi penyimpanan node tugas di struktur direktori Data Studio.
Data Source Type: Pilih sumber data asal Anda, misalnya, MySQL.
Data destination type: Pilih sumber data tujuan Anda, misalnya, MaxCompute.
Specific Type: Pilih solusi sinkronisasi sesuai kebutuhan, seperti full-database real-time, full-database batch, full-incremental for an entire database, atau single-table batch.
Name: Masukkan nama untuk node tugas, misalnya, mysql_to_mc_user_table.

Klik Confirm. Tugas dibuat dan halaman konfigurasi visualnya terbuka.

Konfigurasi detail tugas

Konfigurasi selanjutnya identik dengan modul Data Integration.
Konfigurasi penjadwalan (hanya untuk sinkronisasi batch single-table)

Konfigurasikan properti node seperti waktu penjadwalan, dependensi penjadwalan, dan kebijakan penjadwalan untuk eksekusi otomatis. Atur parameter penjadwalan untuk meneruskan variabel dinamis ke instans node saat waktu proses.
Publikasikan dan kelola tugas
- Klik Publish di bilah alat untuk men-deploy tugas ke produksi. Tugas tersebut kemudian dikelola oleh Operation and Maintenance Center.
- Setelah dipublikasikan, lihat status eksekusi, log, peringatan, dan dependensi di Operation Center. O&M dan tuning tugas mencakup manajemen instans, menjalankan ulang tugas yang gagal, tuning performa, dan penanganan data kotor.

Jenis tugas

Data Integration mendukung beberapa mode sinkronisasi. Setiap mode berbeda dalam penjadwalan, dukungan dependensi, dan kasus penggunaannya.

Single-table batch synchronization

Konfigurasi: Konfigurasi mode wizard | Konfigurasi mode skrip.

Deskripsi: Secara berkala menyinkronkan data antara satu tabel asal dan tujuan sesuai jadwal yang ditentukan (harian, per jam, dll.).
Kasus penggunaan:
- Sinkronisasi data bisnis harian T+1 untuk membangun lapisan ODS atau DWD pada gudang data.
- Mengarsipkan tabel bisnis secara berkala dari database produksi ke data lake atau gudang data.
- Memigrasikan data laporan secara berkala antar sumber data.

Single-table real-time synchronization

Konfigurasi: Konfigurasi tugas real-time single-table.

Deskripsi: Menangkap perubahan data waktu nyata (insert, update, delete) dari satu tabel asal dan menyinkronkannya ke tabel tujuan menggunakan CDC atau antrian pesan.
Kasus penggunaan:
- Menyinkronkan perubahan data waktu nyata dari database bisnis ke MaxCompute atau Hologres untuk membangun gudang data waktu nyata.
- Menyediakan data untuk dasbor pemantauan waktu nyata atau sistem rekomendasi.
- Mereplikasi satu tabel secara waktu nyata antar instans database.

Full-database batch synchronization

Konfigurasi: Tugas sinkronisasi batch seluruh database.

Deskripsi: Melakukan sinkronisasi batch satu kali atau berkala untuk semua atau beberapa tabel dari database asal.
Kasus penggunaan:
- Memigrasikan seluruh database bisnis ke gudang data cloud untuk pertama kalinya.
- Menjalankan pencadangan lengkap atau inkremental rutin untuk seluruh database.
- Menginisialisasi lingkungan analitik data baru dengan mengimpor seluruh data historis sekaligus.

Full-database real-time synchronization

Konfigurasi: Tugas sinkronisasi real-time seluruh database.

Deskripsi: Menangkap perubahan skema dan data secara waktu nyata dari semua atau tabel tertentu di database asal dan menyinkronkannya ke tujuan.
Kasus penggunaan:
- Mereplikasi database OLTP produksi ke database analitis secara waktu nyata untuk pemisahan baca/tulis dan analitik waktu nyata.
- Membangun solusi pemulihan bencana waktu nyata untuk database.
- Menjaga konsistensi data waktu nyata antara data lake atau platform data dan berbagai sistem bisnis hulu.

Full-incremental database synchronization

Konfigurasi: Tugas sinkronisasi full-incremental untuk seluruh database.

Deskripsi: Data CDC mencakup operasi Insert, Update, dan Delete. Sistem penyimpanan append-only (seperti tabel MaxCompute non-Delta) tidak dapat menerapkan Update/Delete secara native, sehingga menyebabkan ketidakkonsistenan data. Mode ini mengatasi masalah tersebut dengan membuat base table (snapshot lengkap) dan log table (log inkremental) di tujuan.
Kasus penggunaan:
- Ketika tujuan adalah tabel MaxCompute non-Delta dan sumber tidak memiliki kolom auto-increment, sinkronisasi inkremental batch tidak tersedia. Sinkronisasi full-incremental menulis data inkremental ke log table dalam hitungan menit, dengan status gabungan terlihat setiap hari (T+1).

Perbandingan fitur

Jenis tugas	Lokasi pembuatan	Orkestrasi alur kerja	Konfigurasi penjadwalan	Debugging Data Studio	Isolasi sumber data
Single-table batch synchronization	Hanya Data Studio	Didukung	Didukung	Didukung	Didukung
Single-table real-time synchronization	Data Studio / Data Integration	Tidak didukung (Hanya berjalan sebagai node mandiri)	Tidak didukung	Tidak didukung (Harus dipublikasikan ke Operation Center untuk dijalankan)	Tidak didukung
Full-database batch synchronization	Data Studio / Data Integration	Tidak didukung (Hanya berjalan sebagai node mandiri)	Didukung (Anda dapat mengatur jadwal terpisah untuk sub-tugas)	Tidak didukung (Harus dipublikasikan ke Operation Center untuk dijalankan)	Tidak didukung
Full-database real-time synchronization	Data Studio / Data Integration	Tidak didukung (Hanya berjalan sebagai node mandiri)	Tidak didukung	Tidak didukung (Harus dipublikasikan ke Operation Center untuk dijalankan)	Tidak didukung
Full-incremental synchronization for an entire database	Data Studio / Data Integration	Tidak didukung (Hanya berjalan sebagai node mandiri)	Didukung (Anda dapat mengatur jadwal terpisah untuk sub-tugas)	Tidak didukung (Harus dipublikasikan ke Operation Center untuk dijalankan)	Tidak didukung

FAQ

FAQ Data Integration.