Modul Pengembangan Data (DataStudio) di DataWorks menyediakan berbagai jenis node, termasuk node integrasi data, node sumber daya komputasi seperti ODPS SQL, Hologres SQL, dan EMR Hive, serta node tujuan umum seperti node beban nol dan node Check, untuk memenuhi beragam kebutuhan pemrosesan data Anda.
Jika Anda tidak dapat membuat node sumber daya komputasi—seperti node ODPS SQL, Hologres SQL, atau EMR Hive—di Pengembangan Data, klik Sumber Daya Komputasi di panel navigasi sebelah kiri untuk memeriksa apakah sumber daya komputasi yang sesuai telah ditautkan. Jika sumber daya tersebut telah ditautkan tetapi Anda masih tidak dapat membuat node tersebut, segarkan halaman ini untuk memperbarui data cache atau gunakan browser dalam mode penyamaran.
Node sinkronisasi data
Node integrasi data | Deskripsi | Kode node | TaskType |
Digunakan untuk sinkronisasi data offline (batch) secara berkala. Node ini juga mendukung sinkronisasi data antara beberapa sumber data yang berbeda dalam skenario kompleks. Untuk informasi lebih lanjut mengenai sumber data yang mendukung sinkronisasi offline, lihat Sumber data dan solusi sinkronisasi yang didukung. | 23 | DI | |
Digunakan untuk sinkronisasi data inkremental secara real-time. Sinkronisasi real-time mencakup tiga plugin dasar: baca real-time, transformasi, dan tulis. Plugin-plugin ini saling berinteraksi melalui format data perantara yang didefinisikan secara internal. Untuk informasi lebih lanjut mengenai sumber data yang mendukung sinkronisasi real-time, lihat Sumber data dan solusi sinkronisasi yang didukung. | 900 | RI |
Selain node yang dibuat langsung di antarmuka Pengembangan Data (DataStudio), situs utama Data Integration juga mendukung berbagai solusi sinkronisasi, seperti sinkronisasi real-time data lengkap dan inkremental serta sinkronisasi offline seluruh basis data. Untuk informasi lebih lanjut, lihat Kemampuan sinkronisasi data di Data Integration. Kode untuk tugas di situs utama Data Integration biasanya adalah 24.
Node mesin komputasi
Dalam alur kerja bisnis, Anda dapat membuat node yang sesuai dengan jenis mesin tertentu dan menggunakannya untuk pengembangan data, lalu mengirimkan kodenya ke mesin pemrosesan data yang sesuai untuk dieksekusi.
Mesin yang terintegrasi dengan DataWorks | Enkapsulasi kemampuan mesin oleh DataWorks | Kode node | TaskType |
MaxCompute | 10 | ODPS_SQL | |
225 | ODPS_SPARK | ||
221 | PY_ODPS | ||
1221 | PYODPS3 | ||
24 | ODPS_SQL_SCRIPT | ||
11 | ODPS_MR | ||
1010 | COMPONENT_SQL | ||
EMR | 227 | EMR_HIVE | |
230 | EMR_MR | ||
229 | EMR_SPARK_SQL | ||
228 | EMR_SPARK | ||
257 | EMR_SHELL | ||
259 | EMR_PRESTO | ||
264 | EMR_SPARK_STREAMING | ||
268 | EMR_KYUUBI | ||
267 | EMR_TRINO | ||
CDH | 270 | CDH_HIVE | |
271 | CDH_SPARK | ||
273 | CDH_MR | ||
278 | CDH_PRESTO | ||
279 | CDH_IMPALA | ||
272 | CDH_SPARK_SQL | ||
AnalyticDB for PostgreSQL | - | - | |
AnalyticDB for MySQL | 1000126 | - | |
Hologres | 1093 | HOLOGRES_SQL | |
1094 | HOLOGRES_SYNC_DDL | ||
1095 | HOLOGRES_SYNC_DATA | ||
ClickHouse | 1301 | CLICK_SQL | |
StarRocks | - | - | |
Algoritma (pembelajaran mesin) | 1117 | PAI_STUDIO | |
1119 | PAI_DLC | ||
Database | 1000125 | - | |
10001 | - | ||
10002 | - | ||
10003 | - | ||
10005 | - | ||
10006 | - | ||
10007 | - | ||
10008 | - | ||
10009 | - | ||
10011 | - | ||
10012 | - | ||
10013 | - | ||
10014 | - | ||
10015 | - | ||
10016 | - | ||
10017 | - | ||
10018 | - | ||
Lainnya | 1000023 | - |
Node tujuan umum
Anda dapat menggabungkan node mesin dengan node tujuan umum untuk mengelola logika yang kompleks. Dalam alur kerja bisnis, buat node yang diperlukan dari grup node tujuan umum dan gunakan bersama node mesin guna menerapkan logika kompleks tersebut.
Skenario bisnis | Tipe node | Deskripsi | Kode node | TaskType |
Manajemen bisnis | Node beban nol adalah node tipe kontrol. Ini merupakan node simulasi kering yang tidak menghasilkan data apa pun. Biasanya digunakan sebagai node akar dalam alur kerja bisnis untuk membantu Anda mengelola node dan alur kerja bisnis. | 99 | VIRTUAL | |
Pemicu Peristiwa | Gunakan node ini jika Anda ingin memicu tugas di DataWorks untuk berjalan setelah tugas di sistem penjadwalan lain selesai. Catatan DataWorks tidak lagi mendukung pembuatan node kolaborasi lintas penyewa. Jika Anda telah menggunakan node kolaborasi lintas penyewa, kami menyarankan Anda menggantinya dengan node pemicu HTTP. Node pemicu HTTP menyediakan kemampuan yang sama dengan node kolaborasi lintas penyewa. | 1114 | SCHEDULER_TRIGGER | |
Memantau pembuatan objek OSS untuk memicu eksekusi node turunan. | 239 | OSS_INSPECT | ||
Memantau pembuatan file FTP untuk memicu eksekusi node turunan. Catatan DataWorks merekomendasikan agar Anda menggunakan node Check daripada node Pemeriksaan FTP. | 1320 | FTP_CHECK | ||
Digunakan untuk memeriksa apakah objek target tersedia. Ketika kebijakan pemeriksaan node Check terpenuhi, node tersebut berhasil berjalan dan memicu node turunannya untuk berjalan. Objek target berikut dapat diperiksa:
| 241 | CHECK_NODE | ||
Kualitas Data | Node perbandingan data dapat membandingkan data dari tabel yang berbeda dalam suatu alur kerja dengan berbagai cara. | 1331 | DATA_SYNCHRONIZATION_QUALITY_CHECK | |
Penugasan dan penerusan parameter | Digunakan untuk penerusan parameter. Output dari kueri terakhir atau hasil output node penugasan diteruskan ke node downstream melalui parameter output bawaan node. Hal ini memungkinkan parameter diteruskan lintas node. | 1100 | CONTROLLER_ASSIGNMENT | |
Digunakan untuk mengumpulkan parameter dari node upstream dan mendistribusikannya ke node downstream. | 1115 | PARAM_HUB | ||
Kontrol | Digunakan untuk melakukan traversal pada set hasil yang diteruskan oleh node penugasan. | 1106 | CONTROLLER_TRAVERSE | |
Digunakan untuk mengulang eksekusi beberapa logika node. Anda juga dapat menggunakannya bersama node penugasan untuk mengulang output hasil yang diteruskan oleh node penugasan. | 1103 | CONTROLLER_CYCLE | ||
Digunakan untuk mengevaluasi hasil node upstream dan menentukan logika cabang mana yang akan diikuti untuk hasil yang berbeda. Anda dapat menggunakan node ini bersama node penugasan. | 1101 | CONTROLLER_BRANCH | ||
Digunakan untuk menggabungkan status eksekusi node upstream. Hal ini menyelesaikan masalah ketergantungan penyambungan dan pemicu eksekusi untuk node turunan dari node cabang. | 1102 | CONTROLLER_JOIN | ||
Lainnya | Node Shell mendukung sintaks Shell standar tetapi tidak mendukung sintaks interaktif. | 6 | DIDE_SHELL | |
Digunakan untuk menjadwalkan dan memproses fungsi event secara berkala, serta mengintegrasikan dan menjadwalkan bersama dengan jenis node lainnya. | 1330 | FUNCTION_COMPUTE | ||
Digunakan untuk mendorong data kueri dari alur kerja bisnis ke grup DingTalk, grup Lark, grup WeCom, dan Microsoft Teams. Hal ini memungkinkan anggota tim segera menerima dan mengikuti data terbaru. | 1332 | DATA_PUSH |