DataWorks のデータ開発 (DataStudio) では、データ処理のニーズに対応するさまざまなノードを提供しています。これには、データ統合ノード、ODPS SQL、Hologres SQL、EMR Hive などのコンピューティングリソースノード、および仮想ノードやチェックノードなどの汎用ノードが含まれます。
データ開発で ODPS SQL、Hologres SQL、EMR Hive ノードなどのコンピューティングリソースノードを作成できない場合は、ナビゲーションペインで [コンピューティングリソース] をクリックし、対応するコンピューティングリソースがアタッチされているかどうかを確認してください。リソースがアタッチされていてもノードを作成できない場合は、キャッシュデータを更新するため、現在のページを更新してください。また、ブラウザでシークレット モードを有効にすることもできます。
データ同期ノード
|
データ統合ノード |
用途 |
ノードコード |
タスクタイプ |
|
定期的なオフライン (バッチ) データ同期に使用します。複雑なシナリオにおいて、さまざまな異種データソース間のデータ同期をサポートします。詳細については、「サポートされるデータソースと同期ソリューション」をご参照ください。 |
23 |
DI |
|
|
増分データのリアルタイム同期に使用します。リアルタイム同期には、リアルタイムでの読み取り、変換、書き込みという 3 つの基本プラグインが含まれます。これらのプラグインは、定義された中間データ形式を介して相互作用します。詳細については、「サポートされるデータソースと同期ソリューション」をご参照ください。 |
900 |
RI |
データ開発 (DataStudio) インターフェイスで作成するノードに加えて、Data Integration のプライマリサイトではさまざまなタイプの同期ソリューションをサポートしています。例として、フルデータと増分データのリアルタイム同期、データベース全体のオフライン同期などがあります。詳細については、「Data Integration の同期タスク機能」をご参照ください。Data Integration のプライマリサイトのタスクコードは、通常 24 です。
エンジンコンピュートノード
ビジネスワークフローでは、特定のエンジンに対応するノードを作成できます。このノードをデータ開発に使用して、コードを対応するコンピュートエンジンに送信して実行できます。
|
DataWorks と統合されたエンジン |
DataWorks によるエンジン機能のカプセル化 |
ノードコード |
TaskType |
|
MaxCompute |
10 |
ODPS_SQL |
|
|
225 |
ODPS_SPARK |
||
|
221 |
PY_ODPS |
||
|
1221 |
PYODPS3 |
||
|
24 |
ODPS_SQL_SCRIPT |
||
|
11 |
ODPS_MR |
||
|
1010 |
COMPONENT_SQL |
||
|
E-MapReduce |
227 |
EMR_HIVE |
|
|
230 |
EMR_MR |
||
|
229 |
EMR_SPARK_SQL |
||
|
228 |
EMR_SPARK |
||
|
257 |
EMR_SHELL |
||
|
259 |
EMR_PRESTO |
||
|
260 |
EMR_IMPALA |
||
|
264 |
EMR_SPARK_STREAMING |
||
|
268 |
EMR_KYUUBI |
||
|
267 |
EMR_TRINO |
||
|
EMR JAR |
231 |
EMR_JAR |
|
|
EMR File |
232 |
EMR_FILE |
|
|
CDH |
270 |
CDH_HIVE |
|
|
271 |
CDH_SPARK |
||
|
273 |
CDH_MR |
||
|
278 |
CDH_PRESTO |
||
|
279 |
CDH_IMPALA |
||
|
272 |
CDH_SPARK_SQL |
||
|
AnalyticDB for PostgreSQL |
- |
- |
|
|
AnalyticDB for MySQL |
1000126 |
- |
|
|
Hologres |
1093 |
HOLOGRES_SQL |
|
|
1094 |
HOLOGRES_SYNC_DDL |
||
|
1095 |
HOLOGRES_SYNC_DATA |
||
|
ClickHouse |
1301 |
CLICK_SQL |
|
|
アルゴリズム (機械学習) |
1117 |
PAI_STUDIO |
|
|
1119 |
PAI_DLC |
||
|
データベース |
1000125 |
- |
|
|
10001 |
- |
||
|
10002 |
- |
||
|
10003 |
- |
||
|
10004 |
- |
||
|
10005 |
- |
||
|
10006 |
- |
||
|
10007 |
- |
||
|
10008 |
- |
||
|
10009 |
- |
||
|
10010 |
- |
||
|
10011 |
- |
||
|
10012 |
- |
||
|
10013 |
- |
||
|
10014 |
- |
||
|
10015 |
- |
||
|
10016 |
- |
||
|
10017 |
- |
||
|
10018 |
- |
||
|
その他 |
1000023 |
- |
汎用ノード
エンジンノードは、汎用ノードと組み合わせて複雑なロジックを処理できます。ビジネスワークフローでは、汎用ノードグループで必要なノードを作成し、エンジンノードと組み合わせることで、複雑なロジックを実装できます。
|
ビジネスシナリオ |
ノードタイプ |
使用上の注意 |
ノードコード |
TaskType |
|
ビジネス管理 |
仮想ノードはコントロールプレーンノードです。データを生成しないドライランノードです。ビジネスワークフローのルートノードとして使用されることが多く、ノードとワークフローの管理に役立ちます。 |
99 |
VIRTUAL |
|
|
イベントトリガー |
別のスケジューリングシステムのタスクが完了した後に、このノードを使用して DataWorks のタスクをトリガーできます。 説明
DataWorks では、テナント間コラボレーションノードの作成はサポートされなくなりました。テナント間コラボレーションノードを使用している場合は、HTTP トリガーノードに置き換えてください。HTTP トリガーノードは同じ機能を提供します。 |
1114 |
SCHEDULER_TRIGGER |
|
|
OSS オブジェクトの作成を監視することで、子孫ノードの実行をトリガーします。 |
239 |
OSS_INSPECT |
||
|
FTP ファイルの作成を監視することで、子孫ノードの実行をトリガーします。 説明
DataWorks では、FTP チェックノードの代わりに チェックノード を使用することを推奨します。 |
1320 |
FTP_CHECK |
||
|
ターゲットオブジェクトがアクティブかどうかを確認します。チェックノードがチェックポリシーを満たすと、実行が成功した状態を返します。下流の依存関係がある場合は、子孫タスクがトリガーされます。次のターゲットオブジェクトをチェックできます：
|
241 |
CHECK_NODE |
||
|
データ品質 |
データ比較ノードでは、ワークフロー内の異なるテーブルのデータを複数の方法で比較できます。 |
1331 |
DATA_SYNCHRONIZATION_QUALITY_CHECK |
|
|
パラメーターの割り当てと受け渡し |
パラメーターの受け渡しに使用します。割り当てノードの組み込み出力は、最後のクエリまたは出力の結果をノードコンテキスト機能を使用して子孫ノードに渡します。これにより、ノード間のパラメーター受け渡しが可能になります。 |
1100 |
CONTROLLER_ASSIGNMENT |
|
|
先祖ノードからパラメーターを集約し、子孫ノードに配布します。 |
1115 |
PARAM_HUB |
||
|
制御 |
割り当てノードから渡された結果セットを走査します。 |
1106 |
CONTROLLER_TRAVERSE |
|
|
一部のノードロジックをループ実行します。また、割り当てノードと組み合わせて、割り当てノードから渡された結果の出力をループすることもできます。 |
1103 |
CONTROLLER_CYCLE |
||
|
先祖ノードの結果を評価し、結果に応じて実行するブランチロジックを決定します。割り当てノードと組み合わせて使用できます。 |
1101 |
CONTROLLER_BRANCH |
||
|
先祖ノードの実行状態をマージします。これにより、ブランチノードの子孫ノードに対する依存関係の紐付けと実行トリガーに関する問題を解決します。 |
1102 |
CONTROLLER_JOIN |
||
|
その他 |
シェルノードは標準のシェル構文をサポートしますが、対話型構文はサポートしません。 |
6 |
DIDE_SHELL |
|
|
イベント関数を定期的にスケジュールして処理します。また、ほかの種類のノードと統合し、連携してスケジュールすることもできます。 |
1330 |
FUNCTION_COMPUTE |
||
|
ビジネスワークフローのクエリデータを DingTalk グループ、Lark グループ、WeCom グループ、および Teams にプッシュします。これにより、チームメンバーは最新データを速やかに受信し、追跡できます。 |
1332 |
DATA_PUSH |