DataWorks では、データ開発タスクをノードとして作成します。各ノードは、特定のコンピュートエンジン用のタスクをカプセル化します。また、DataStudio を使用すると、リソース、関数、およびさまざまな論理処理ノードを使用して、複雑なタスクを開発できます。このトピックでは、一般的なデータ開発のワークフローについて説明します。
前提条件
-
必要なデータソースをバインドしておく必要があります。詳細については、「データ開発の準備：コンピューティングリソースまたはクラスターのバインド」をご参照ください。
-
Development ロールが必要です。詳細については、「ワークスペースメンバーの追加とメンバーのロール権限の管理」をご参照ください。
DataStudio への移動
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、 を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。
次の手順では、DataStudio でタスクを作成および管理する方法について説明します。
開発ワークフロー
次の図に、一般的なデータ開発のワークフローを示します。
|
ステップ |
説明 |
関連ドキュメント |
|
ステップ 1：ワークフローの作成 |
DataWorks では、すべての開発タスクとコードをワークフローにまとめます。 |
|
|
ステップ 2：テーブルの作成 |
DataWorks は、テーブルを作成および管理するための視覚的なインターフェイスを提供しており、テーブルはディレクトリ構造で表示されます。 データ開発を開始する前に、生データとクレンジングされた結果を格納するためのテーブルをエンジンに作成します。作成するテーブルの種類は、ユースケースによって異なります。 |
テーブルの作成と使用： テーブルの表示と管理： |
|
ステップ 3：リソースの作成とアップロード (任意) |
開発プロセスでテキストファイルや JAR パッケージなどのリソースが必要な場合は、DataWorks にアップロードして管理し、特定のコンピュートエンジンで使用します。 説明
サポートされているコンピュートエンジンとリソースタイプは、DataWorks UI に表示されます。 |
|
|
ステップ 4：スケジューリングノードの作成 |
DataWorks では、タスクはノードとしてカプセル化されており、各ノードタイプは特定のコンピュートエンジンに対応します。お使いのエンジンとビジネスニーズに合ったノードタイプを選択してください。 DataWorks は、ノードグループを使用したノードの一括クローン作成や、ごみ箱からの削除済みノードの復元などのノード管理操作も提供します。 |
DataWorks は、以下を含む複数のエンジンをサポートしています。 エンジンごとに、さまざまなタスクで利用できる異なるノードタイプがあります。サポートされているノードタイプの詳細なリストについては、「サポートされているノードタイプ」をご参照ください。 ノード管理の詳細については、次のトピックをご参照ください。 |
|
ステップ 5：ノードでのリソースの参照 (任意) |
ノードでリソースを使用するには、まずノードのランタイム環境にリソースを読み込む必要があります。 |
|
|
ステップ 6：関数の登録 (任意) |
開発プロセスで関数が必要な場合は、DataWorks の視覚的なインターフェイスから登録してください。関数を登録する前に、必要なリソースを DataWorks にアップロードする必要があります。 説明
関数登録をサポートするコンピュートエンジンは、DataWorks UI に表示されます。 |
|
|
ステップ 7：ノードコードの編集 |
ノードエディターページで、対応するエンジンとデータベースの構文を使用してビジネスコードを記述してください。構文はノードタイプによって異なる場合があります。 説明
コードの編集が完了したら、データ損失を防ぐため、速やかに保存 ( |
サポートされているノードタイプの詳細なリストについては、「サポートされているノードタイプ」をご参照ください。 一般的なエンジンの使用上の注意： |
) してください。次のステップ
タスクを開発した後、必要に応じて次の操作を実行してください。
-
コードのデバッグ：単一のタスクまたはワークフロー全体を実行してデバッグしてください。詳細については、「タスクのデバッグプロセス」をご参照ください。
-
スケジューリングの設定：ノードのスケジューリングプロパティを設定して、定期的に実行されるようにしてください。詳細については、「ノードのスケジューリング設定」をご参照ください。
-
ノードのコミットとデプロイ：開発が完了したら、スケジュールされた実行のためにノードをターゲット環境にコミットしてください。標準モードのワークスペースを使用している場合、コミットが成功した後、右上隅にある [デプロイ] をクリックしてノードをデプロイする必要もあります。詳細については、「ノードのデプロイ」をご参照ください。
-
運用保守操作の実行：ノードがデプロイされると、デフォルトで本番環境のオペレーションセンターに表示されます。オペレーションセンターに移動して、ノードの実行ステータスを表示し、運用保守タスクを実行してください。詳細については、「オペレーションセンターの概要」をご参照ください。