DataWorks Data Development (DataStudio) menyediakan berbagai jenis node untuk memenuhi kebutuhan pemrosesan data Anda, termasuk node integrasi data, node sumber daya komputasi seperti ODPS SQL, Hologres SQL, dan EMR Hive, serta node tujuan umum seperti node virtual dan node Check.
Jika Anda tidak dapat membuat node sumber daya komputasi—seperti node ODPS SQL, Hologres SQL, atau EMR Hive—di Data Development, klik Computing Resource pada panel navigasi kiri untuk memeriksa apakah sumber daya komputasi yang sesuai telah disambungkan. Jika sumber daya sudah disambungkan tetapi Anda masih tidak dapat membuat node tersebut, muat ulang halaman ini untuk memperbarui data cache. Anda juga dapat mencoba menggunakan mode penyamaran (incognito mode) di browser Anda.
Node sinkronisasi data
|
Data integration node |
Penggunaan |
Kode node |
TaskType |
|
Digunakan untuk sinkronisasi data offline (batch) secara periodik. Node ini mendukung sinkronisasi data antara berbagai sumber data yang berbeda dalam skenario kompleks. Untuk informasi lebih lanjut mengenai sumber data yang didukung oleh sinkronisasi offline, lihat Sumber data yang didukung dan solusi sinkronisasi. |
23 |
DI |
|
|
Digunakan untuk sinkronisasi data inkremental secara real-time. Sinkronisasi real-time mencakup tiga plugin dasar: pembacaan real-time, transformasi, dan penulisan. Plugin-plugin ini berinteraksi melalui format data perantara yang telah ditentukan. Untuk informasi lebih lanjut mengenai sumber data yang didukung oleh sinkronisasi real-time, lihat Sumber data yang didukung dan solusi sinkronisasi. |
900 |
RI |
Selain node yang dibuat melalui antarmuka Data Development (DataStudio), situs utama Data Integration mendukung berbagai solusi sinkronisasi, seperti sinkronisasi real-time data lengkap dan inkremental serta sinkronisasi offline seluruh database. Untuk informasi lebih lanjut, lihat Kemampuan task sinkronisasi di Data Integration. Kode untuk task di situs utama Data Integration biasanya adalah 24.
Node komputasi engine
Dalam alur kerja bisnis, Anda dapat membuat node yang sesuai dengan engine tertentu, lalu menggunakannya untuk pengembangan data dan mengirimkan kode ke mesin komputasi terkait guna dieksekusi.
|
Engine yang terintegrasi dengan DataWorks |
Cara DataWorks mengenkapsulasi kemampuan engine |
Kode node |
TaskType |
|
MaxCompute |
10 |
ODPS_SQL |
|
|
225 |
ODPS_SPARK |
||
|
221 |
PY_ODPS |
||
|
1221 |
PYODPS3 |
||
|
24 |
ODPS_SQL_SCRIPT |
||
|
11 |
ODPS_MR |
||
|
1010 |
COMPONENT_SQL |
||
|
E-MapReduce |
227 |
EMR_HIVE |
|
|
230 |
EMR_MR |
||
|
229 |
EMR_SPARK_SQL |
||
|
228 |
EMR_SPARK |
||
|
257 |
EMR_SHELL |
||
|
259 |
EMR_PRESTO |
||
|
260 |
EMR_IMPALA |
||
|
264 |
EMR_SPARK_STREAMING |
||
|
268 |
EMR_KYUUBI |
||
|
267 |
EMR_TRINO |
||
|
EMR JAR |
231 |
EMR_JAR |
|
|
EMR File |
232 |
EMR_FILE |
|
|
CDH |
270 |
CDH_HIVE |
|
|
271 |
CDH_SPARK |
||
|
273 |
CDH_MR |
||
|
278 |
CDH_PRESTO |
||
|
279 |
CDH_IMPALA |
||
|
272 |
CDH_SPARK_SQL |
||
|
AnalyticDB for PostgreSQL |
- |
- |
|
|
AnalyticDB for MySQL |
1000126 |
- |
|
|
Hologres |
1093 |
HOLOGRES_SQL |
|
|
1094 |
HOLOGRES_SYNC_DDL |
||
|
1095 |
HOLOGRES_SYNC_DATA |
||
|
ClickHouse |
1301 |
CLICK_SQL |
|
|
Algorithm (machine learning) |
1117 |
PAI_STUDIO |
|
|
1119 |
PAI_DLC |
||
|
Database |
1000125 |
- |
|
|
10001 |
- |
||
|
10002 |
- |
||
|
10003 |
- |
||
|
10004 |
- |
||
|
10005 |
- |
||
|
10006 |
- |
||
|
10007 |
- |
||
|
10008 |
- |
||
|
10009 |
- |
||
|
10010 |
- |
||
|
10011 |
- |
||
|
10012 |
- |
||
|
10013 |
- |
||
|
10014 |
- |
||
|
10015 |
- |
||
|
10016 |
- |
||
|
10017 |
- |
||
|
10018 |
- |
||
|
Other |
1000023 |
- |
Node tujuan umum
Node engine dapat dikombinasikan dengan node tujuan umum untuk menangani logika yang kompleks. Dalam alur kerja bisnis, Anda dapat membuat node yang diperlukan dari grup node tujuan umum dan menggabungkannya dengan node engine guna menerapkan logika kompleks tersebut.
|
Skenario bisnis |
Jenis node |
Catatan penggunaan |
Kode node |
TaskType |
|
Manajemen bisnis |
Virtual node adalah node bidang kontrol. Ini merupakan node simulasi kering yang tidak menghasilkan data apa pun. Node ini sering digunakan sebagai node akar dalam alur kerja bisnis untuk membantu Anda mengelola node dan alur kerja. |
99 |
VIRTUAL |
|
|
Pemicu event |
Anda dapat menggunakan node ini untuk memicu task di DataWorks setelah task di sistem penjadwalan lain selesai. Catatan
DataWorks tidak lagi mendukung pembuatan cross-tenant collaboration nodes. Jika Anda menggunakan cross-tenant collaboration nodes, gantilah dengan HTTP trigger nodes. HTTP trigger nodes menyediakan fitur yang sama. |
1114 |
SCHEDULER_TRIGGER |
|
|
Memulai eksekusi node turunan dengan memantau pembuatan objek OSS. |
239 |
OSS_INSPECT |
||
|
Memulai eksekusi node turunan dengan memantau pembuatan file FTP. Catatan
DataWorks secara resmi merekomendasikan agar Anda menggunakan Check node sebagai pengganti FTP Check node. |
1320 |
FTP_CHECK |
||
|
Digunakan untuk memeriksa apakah objek target aktif. Ketika Check node memenuhi kebijakan pemeriksaan, status running-nya akan berhasil. Jika terdapat dependensi downstream, task turunan akan dipicu. Objek target berikut dapat diperiksa:
|
241 |
CHECK_NODE |
||
|
Data Quality |
Data Comparison node memungkinkan Anda membandingkan data dari tabel yang berbeda dalam suatu alur kerja dengan berbagai cara. |
1331 |
DATA_SYNCHRONIZATION_QUALITY_CHECK |
|
|
Penugasan dan penerusan parameter |
Digunakan untuk meneruskan parameter. Output bawaan assignment node meneruskan hasil kueri terakhir atau output ke node turunan melalui fitur konteks node. Hal ini mewujudkan penerusan parameter lintas node. |
1100 |
CONTROLLER_ASSIGNMENT |
|
|
Digunakan untuk mengumpulkan parameter dari node leluhur dan mendistribusikannya ke node turunan. |
1115 |
PARAM_HUB |
||
|
Kontrol |
Digunakan untuk melakukan traversal terhadap set hasil yang diteruskan oleh assignment node. |
1106 |
CONTROLLER_TRAVERSE |
|
|
Digunakan untuk mengulang eksekusi logika node tertentu. Anda juga dapat menggunakannya bersama assignment node untuk mengulang output dari set hasil yang diteruskan oleh assignment node. |
1103 |
CONTROLLER_CYCLE |
||
|
Digunakan untuk mengevaluasi hasil node leluhur dan menentukan cabang logika mana yang harus diikuti berdasarkan hasil yang berbeda. Anda dapat menggunakannya bersama assignment node. |
1101 |
CONTROLLER_BRANCH |
||
|
Digunakan untuk menggabungkan status running dari node leluhur. Hal ini menyelesaikan masalah keterikatan dependensi dan pemicuan eksekusi untuk node turunan dari branch node. |
1102 |
CONTROLLER_JOIN |
||
|
Lainnya |
Shell node mendukung sintaksis Shell standar tetapi tidak mendukung sintaksis interaktif. |
6 |
DIDE_SHELL |
|
|
Digunakan untuk menjadwalkan dan memproses fungsi event secara berkala, serta mengintegrasikan dan menjadwalkan bersama jenis node lainnya. |
1330 |
FUNCTION_COMPUTE |
||
|
Digunakan untuk mendorong data kueri dari alur kerja bisnis ke grup DingTalk, grup Lark, grup WeCom, dan Teams. Hal ini memungkinkan anggota tim segera menerima dan mengikuti data terbaru. |
1332 |
DATA_PUSH |