Fitur orkestrasi tugas dari Data Management (DMS) digunakan untuk mengoordinasikan node tugas dan mengeksekusi tugas berdasarkan kebijakan penjadwalan waktu atau peristiwa yang Anda tentukan. Anda dapat membuat alur kerja yang mencakup satu atau lebih node tugas untuk menerapkan penjadwalan kompleks serta meningkatkan efisiensi pengembangan data.
Informasi latar belakang
Perkembangan pesat Internet dan IoT telah menyebabkan lonjakan volume data, diversifikasi sumber data, meningkatnya permintaan untuk analisis data, serta semakin kompleksnya proses bisnis. Oleh karena itu, metode tradisional pemrosesan data secara manual tidak lagi memenuhi persyaratan bisnis saat ini. Solusi otomatis diperlukan untuk membangun alur kerja yang sesuai guna pemrosesan data, analisis, pencadangan, dan kebutuhan lain terkait data.
DMS menyediakan fitur orkestrasi tugas yang mendukung pemrosesan data otomatis. Fitur ini membantu meningkatkan efisiensi pengembangan data, mengurangi tingkat kesalahan, serta meningkatkan nilai dan keandalan data.
Jenis database yang didukung
Database Relasional
MySQL: ApsaraDB RDS for MySQL, PolarDB for MySQL, ApsaraDB MyBase for MySQL, PolarDB for Xscale, dan database MySQL dari sumber lain
SQL Server: ApsaraDB RDS for SQL Server, ApsaraDB MyBase for SQL Server, dan database SQL Server dari sumber lain
PostgreSQL: ApsaraDB RDS for PostgreSQL, PolarDB for PostgreSQL, ApsaraDB MyBase for PostgreSQL, dan database PostgreSQL dari sumber lain
OceanBase: ApsaraDB for OceanBase dalam mode MySQL, ApsaraDB for OceanBase dalam mode Oracle, dan database OceanBase yang dikelola sendiri
PolarDB for PostgreSQL (Kompatibel dengan Oracle)
Oracle
Dameng (DM)
Db2
Database NoSQL: Lindorm
Data Warehouse:
AnalyticDB for MySQL
AnalyticDB for PostgreSQL
Data Lake Analytics (DLA)
MaxCompute
Hologres
Penyimpanan Objek: Object Storage Service (OSS)
Tipe node tugas
Kategori | Tipe node tugas | Deskripsi | Referensi |
Pemrosesan data | Single Instance SQL | Menjalankan pernyataan SQL di database relasional tertentu. Catatan Jika Anda mengaktifkan fitur perubahan skema tanpa kunci untuk instance database tertentu, DMS akan memprioritaskan menerapkan fitur ini ketika Anda menjalankan tugas Single Instance SQL. Ini mencegah tabel dikunci. Untuk informasi lebih lanjut, lihat Aktifkan fitur perubahan skema tanpa kunci. | Tidak tersedia |
Operasi umum | SQL Assignment for Single Instance | Menetapkan data yang diperoleh menggunakan pernyataan SELECT ke variabel keluaran dari node saat ini. Variabel keluaran dapat digunakan sebagai variabel masukan dari node hilir. | |
Conditional Branch | Melakukan penilaian kondisional dalam alur tugas. Selama eksekusi alur tugas, jika ekspresi kondisional dari node cabang kondisional dievaluasi menjadi benar, tugas selanjutnya dijalankan. Jika tidak, tugas selanjutnya tidak dijalankan. | ||
ECS Remote Commands | Menjalankan shell, PowerShell, atau skrip batch pada instance Elastic Compute Service (ECS) jarak jauh menggunakan Cloud Assistant. | ||
Pemeriksaan status | Check Whether Data Exists in Table After Specified Time | Memeriksa apakah data tambahan ada di tabel setelah titik waktu tertentu. | Tidak tersedia |
Audit Task | Memeriksa kualitas data dari sebuah tabel. Setelah Anda menentukan aturan kualitas untuk tabel dan siklus penjadwalan untuk tugas audit, DMS memeriksa kualitas data tabel dan menghasilkan laporan. | Tidak tersedia | |
Check for Task Flow Dependency | Mengonfigurasi dependensi diri untuk alur tugas dan dependensi lintas alur tugas. Anda dapat mengonfigurasi alur tugas untuk bergantung pada alur tugas lain atau node tugas. |