Fitur ekstrak, transformasi, dan muat (ETL) dalam Data Transmission Service (DTS) memungkinkan Anda membangun pipeline pemrosesan aliran real-time tanpa perlu menulis infrastruktur pipeline kustom. Fitur ini terintegrasi dengan replikasi data DTS untuk menangani ekstraksi dari database sumber, logika transformasi, dan pemuatan ke sistem tujuan—semuanya dalam satu task. ETL meningkatkan efisiensi, menurunkan ambang batas pengembangan, dan mengurangi dampak pada sistem bisnis.
Task ETL mendukung dua mode penulisan:
DAG mode — kanvas drag-and-drop dengan tiga komponen bawaan: Input/Dimension Table, Transform, dan Output.
Flink SQL mode — tulis pernyataan Flink SQL secara langsung; kompatibel dengan sintaksis SQL standar.
Kapan menggunakan masing-masing mode
| DAG mode | Flink SQL mode | |
|---|---|---|
| Paling cocok untuk | Tim yang lebih menyukai pipeline visual atau ingin menghindari penulisan SQL | Tim yang nyaman dengan SQL dan membutuhkan logika kustom |
| Penulisan | Komponen drag-and-drop | Tulis pernyataan Flink SQL |
| Fleksibilitas transformasi | 90+ skenario komputasi fungsi bawaan | Ekspresivitas penuh Flink SQL |
Database yang didukung
| Komponen | Database yang didukung |
|---|---|
| Input/Dimension Table (sumber) | MySQL self-managed, ApsaraDB RDS for MySQL, PolarDB for MySQL, PolarDB-X 1.0 (sebelumnya DRDS), Oracle self-managed, PostgreSQL self-managed, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
| Output (tujuan) | MySQL self-managed, ApsaraDB RDS for MySQL, PolarDB for MySQL, AnalyticDB for MySQL V3.0, Oracle self-managed, PostgreSQL self-managed, ApsaraDB RDS for PostgreSQL, Db2 for LUW, Db2 for i, PolarDB for PostgreSQL |
Kemampuan transformasi
Komponen Transform mendukung tiga kelas operasi:
| Operasi | Deskripsi |
|---|---|
| Join | Gabungkan baris dari beberapa tabel sumber atau tabel dimensi |
| Function compute | Terapkan transformasi pada lebih dari 90 skenario komputasi bawaan |
| Filter | Pilih atau hapus bidang sebelum dimuat ke tujuan |
Manfaat utama
Efektivitas komputasi terdepan di industri — Fitur ETL terintegrasi dengan kemampuan pengumpulan data DTS, memastikan akurasi data dan efektivitas komputasi terdepan di industri.
Pemantauan dan manajemen task yang fleksibel — Pantau dan kelola task ETL langsung di Konsol DTS. Anda dapat memulai, menghentikan, serta melihat detail task.
Kasus penggunaan
Konsolidasi data dari sumber heterogen — Tarik data dari database dengan jenis berbeda atau di wilayah berbeda ke satu tujuan secara real-time, memungkinkan pelaporan dan operasi terpusat.
Integrasi data low-code — Bangun pipeline integrasi data melalui antarmuka visual alih-alih kode kustom, sehingga mengurangi waktu pengembangan dan kompleksitas operasional.
Gudang data real-time — Alirkan data yang telah diproses langsung ke gudang data saat event terjadi, alih-alih menunggu proses batch terjadwal.
Percepat gudang data offline — Proses data aliran sebelum mencapai gudang data. Gudang data dapat melayani kueri tanpa terpengaruh oleh ingesti data mentah.
Pelaporan real-time — Dukung dasbor dan sistem pelaporan dari aliran data yang terus diperbarui, cocok untuk skenario seperti pemantauan operasional dan analitik bisnis.
Komputasi real-time — Bersihkan dan perkaya data aliran untuk mengekstrak nilai fitur dan tag. Skenario khas meliputi profil pengguna, pengendalian risiko, dan sistem rekomendasi.
Penagihan
Fitur ETL saat ini berada dalam pratinjau publik. Setiap akun dapat membuat hingga dua instans ETL secara gratis selama periode pratinjau.
Saat pratinjau publik berakhir, instans yang sedang berjalan akan dikenai biaya. Alibaba Cloud akan memberi tahu pengguna terlebih dahulu melalui pengumuman dan pesan SMS.