DataWorks のデータ開発 (DataStudio) モジュールは、データ統合ノード、ODPS SQL、Hologres SQL、EMR Hive などの計算リソースノード、ゼロロードノードや Check ノードなどの汎用ノードなど、さまざまな種類のノードを提供し、多様なデータ処理ニーズに対応します。
データ開発で ODPS SQL、Hologres SQL、EMR Hive ノードなどの計算リソースノードを作成できない場合は、左側のナビゲーションウィンドウで [計算リソース] をクリックして、対応する計算リソースがバインドされているかどうかを確認します。計算リソースがバインドされているにもかかわらずノードを作成できない場合は、現在のページを更新してキャッシュデータを更新するか、ブラウザのシークレットモードを使用できます。
データ同期ノード
データ統合ノード | 説明 | ノードコード | TaskType |
定期的なオフライン (バッチ) データ同期に使用されます。また、複雑なシナリオでの複数の異種データソース間のデータ同期もサポートします。オフライン同期をサポートするデータソースの詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。 | 23 | DI | |
増分データのリアルタイム同期に使用されます。リアルタイム同期には、リアルタイム読み取り、変換、書き込みの 3 つの基本的なプラグインが含まれます。これらのプラグインは、内部で定義された中間データ形式を介して相互に作用します。リアルタイム同期をサポートするデータソースの詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。 | 900 | RI |
データ開発 (DataStudio) インターフェイスで直接作成するノードに加えて、Data Integration プライマリサイトはさまざまな同期ソリューションもサポートしています。例としては、完全データと増分データのリアルタイム同期、データベース全体のオフライン同期などがあります。詳細については、「Data Integration のデータ同期機能」をご参照ください。Data Integration プライマリサイトのタスクのコードは通常 24 です。
コンピューティングエンジンノード
ビジネスワークフローでは、特定のエンジンタイプに対応するノードを作成できます。このノードをデータ開発に使用し、そのコードを対応するデータ処理エンジンに送信して実行できます。
DataWorks と統合されたエンジン | DataWorks のエンジン機能のカプセル化 | ノードコード | TaskType |
MaxCompute | 10 | ODPS_SQL | |
225 | ODPS_SPARK | ||
221 | PY_ODPS | ||
1221 | PYODPS3 | ||
24 | ODPS_SQL_SCRIPT | ||
11 | ODPS_MR | ||
1010 | COMPONENT_SQL | ||
EMR | 227 | EMR_HIVE | |
230 | EMR_MR | ||
229 | EMR_SPARK_SQL | ||
228 | EMR_SPARK | ||
257 | EMR_SHELL | ||
259 | EMR_PRESTO | ||
264 | EMR_SPARK_STREAMING | ||
268 | EMR_KYUUBI | ||
267 | EMR_TRINO | ||
CDH | 270 | CDH_HIVE | |
271 | CDH_SPARK | ||
273 | CDH_MR | ||
278 | CDH_PRESTO | ||
279 | CDH_IMPALA | ||
272 | CDH_SPARK_SQL | ||
AnalyticDB for PostgreSQL | - | - | |
AnalyticDB for MySQL | 1000126 | - | |
Hologres | 1093 | HOLOGRES_SQL | |
1094 | HOLOGRES_SYNC_DDL | ||
1095 | HOLOGRES_SYNC_DATA | ||
ClickHouse | 1301 | CLICK_SQL | |
StarRocks | - | - | |
アルゴリズム (機械学習) | 1117 | PAI_STUDIO | |
1119 | PAI_DLC | ||
データベース | 1000125 | - | |
10001 | - | ||
10002 | - | ||
10003 | - | ||
10005 | - | ||
10006 | - | ||
10007 | - | ||
10008 | - | ||
10009 | - | ||
10011 | - | ||
10012 | - | ||
10013 | - | ||
10014 | - | ||
10015 | - | ||
10016 | - | ||
10017 | - | ||
10018 | - | ||
その他 | 1000023 | - |
汎用ノード
エンジンノードと汎用ノードを組み合わせて、複雑なロジックを処理できます。ビジネスワークフローでは、汎用ノードグループで必要なノードを作成し、それらをエンジンノードと組み合わせて複雑なロジックを実装できます。
ビジネスシナリオ | ノードタイプ | 説明 | ノードコード | TaskType |
ビジネス管理 | ゼロロードノードはコントロールタイプのノードです。データを生成しないドライランノードです。通常、ビジネスワークフローのルートノードとして使用され、ノードとビジネスワークフローの管理に役立ちます。 | 99 | VIRTUAL | |
イベントトリガー | 別のスケジューリングシステムのタスクが完了した後に DataWorks のタスクをトリガーして実行する場合に、このノードを使用します。 説明 DataWorks は、クロステナントコラボレーションノードの作成をサポートしなくなりました。クロステナントコラボレーションノードを使用している場合は、HTTP トリガーノードに置き換えることをお勧めします。HTTP トリガーノードは、クロステナントコラボレーションノードと同じ機能を提供します。 | 1114 | SCHEDULER_TRIGGER | |
OSS オブジェクトの生成を監視して、子孫ノードの実行をトリガーします。 | 239 | OSS_INSPECT | ||
FTP ファイルの生成を監視して、子孫ノードの実行をトリガーします。 説明 DataWorks では、FTP Check ノードの代わりに Check ノード を使用することをお勧めします。 | 1320 | FTP_CHECK | ||
ターゲットオブジェクトが利用可能かどうかを確認するために使用されます。Check ノードのチェックポリシーが満たされると、ノードは正常に実行され、その子孫ノードの実行をトリガーします。次のターゲットオブジェクトをチェックできます:
| 241 | CHECK_NODE | ||
データ品質 | データ比較ノードは、ワークフロー内の異なるテーブルのデータを複数の方法で比較できます。 | 1331 | DATA_SYNCHRONIZATION_QUALITY_CHECK | |
パラメーターの割り当てと引き渡し | パラメーターの引き渡しに使用されます。最後のクエリの出力または代入ノードの出力結果は、ノードの組み込み出力パラメーターを介して下流ノードに渡されます。これにより、ノード間でパラメーターを渡すことができます。 | 1100 | CONTROLLER_ASSIGNMENT | |
上流ノードからのパラメーターを集約し、下流ノードに配布するために使用されます。 | 1115 | PARAM_HUB | ||
制御 | 代入ノードによって渡された結果セットを走査するために使用されます。 | 1106 | CONTROLLER_TRAVERSE | |
一部のノードロジックの実行をループするために使用されます。代入ノードと組み合わせて使用して、代入ノードによって渡された結果の出力をループすることもできます。 | 1103 | CONTROLLER_CYCLE | ||
上流ノードの結果を評価し、異なる結果に対してどのブランチロジックに従うかを決定するために使用されます。このノードは代入ノードと一緒に使用できます。 | 1101 | CONTROLLER_BRANCH | ||
上流ノードの実行ステータスをマージするために使用されます。これにより、ブランチノードの子孫ノードの依存関係のアタッチメントと実行トリガーに関する問題が解決されます。 | 1102 | CONTROLLER_JOIN | ||
その他 | Shell ノードは標準の Shell 構文をサポートしますが、対話型構文はサポートしません。 | 6 | DIDE_SHELL | |
イベント関数を定期的にスケジュールして処理し、他のタイプのノードと統合して共同でスケジュールするために使用されます。 | 1330 | FUNCTION_COMPUTE | ||
ビジネスワークフローから DingTalk グループ、Lark グループ、WeCom グループ、Microsoft Teams にクエリデータをプッシュするために使用されます。これにより、チームメンバーは最新のデータを迅速に受信してフォローできます。 | 1332 | DATA_PUSH |