DataWorks は、統一されたプロセスを通じてエンドツーエンドのデータ開発とガバナンスを提供します。これにより、ビジネスニーズに合わせて主要な段階でプロセス管理を実装できます。
制限事項
この機能は、DataWorks Enterprise Edition 以降のバージョンでのみ利用できます。
仕組み
DataWorks は、標準モードと基本モードの 2 つのモードでワークスペースを提供します。各モードでは、ノード開発プロセスが異なります。以下の図は、各モードのデータ開発ワークフローを示しています。
標準モードのワークスペースにおけるノード開発ワークフロー
基本モードのワークスペースにおけるノード開発ワークフロー
ノードのデバッグ前、開発環境へのノードのデプロイメント前、本番環境へのノードのデプロイメント前など、ワークフローの主要な段階でプロセス管理を実装できます。
段階 | チェック例 |
ノード実行前 | 右側の [デバッグ設定] パネルの [DataWorks 設定] で、リソースグループを [Serverless_Resource_Group] に、コンピューティングクォータを [デフォルトの後払いクォータ] に設定します。エディターで SQL ステートメント |
ノードを開発環境にデプロイする前 | ノードをデプロイすると、システムは開発チェッカーを実行して SQL コードをレビューします。デプロイメントワークフローの [開発チェッカー] ステップをクリックします。左側の [操作チェック] パネルに、チェックレコードとそのステータスが表示されます。レコードをクリックして [チェック詳細] パネルを開くと、[フルテーブルスキャンチェック] や [高コスト SQL チェック] などの各確認項目の結果を表示できます。ステータスが [警告] の確認項目については、[合格としてマーク] をクリックして手動で承認できます。 |
ノードを本番環境にデプロイする前 | デプロイメントパイプラインの [本番チェッカー] ステップで、[詳細を表示] または [コードレビューを開始] をクリックできます。左側のパネルには、testSQL など、デプロイする SQL レコードが一覧表示されます。レコードをクリックすると、右側に対応する [チェック詳細] パネルが開きます。すべてのチェックに合格したことを確認した後、デプロイメントを続行できます。 |
オープンプラットフォームやデータ資産ガバナンスなどの機能により、データ開発プロセスの主要な段階で検証チェックを実装できます。
機能モジュール | 実行前チェック | 開発環境デプロイ前チェック | 本番環境デプロイ前チェック | プロセス管理 |
データ資産ガバナンス |
|
|
| DataWorks のデータ資産ガバナンスは、複数の組み込み確認項目を提供します。ビジネスニーズに応じてこれらの確認項目を有効にできます。有効にすると、対応する操作によって DataWorks の組み込み検証ロジックが自動的にトリガーされます。プロセスは、チェックが完了した後にのみ続行されます。 |
オープンプラットフォーム |
|
|
| 組み込みの確認項目がプロセス管理の要件を満たさない場合は、オープンプラットフォームを使用して特定のイベントに対する独自の検証プログラムを開発し、データ開発ワークフローに統合できます。 |
以下のセクションでは、標準モードのワークスペースにおけるワークフローを例として、これらのプロセス管理機能について説明します。
組み込みチェック：データ資産ガバナンス
DataWorks のデータ資産ガバナンスは、複数の組み込み確認項目を提供します。必要に応じてこれらを有効にできます。関連する操作を実行すると、組み込みの検証ロジックがトリガーされます。プロセスは、操作がすべてのチェックに合格した後にのみ続行されます。
データ資産ガバナンスの左側のナビゲーションウィンドウで、[ガバナンス設定] > [確認項目] を選択して、[確認項目設定] ページに移動します。[R&D] タブをクリックします。[有効なチェックポイント] 列で、確認項目のトリガーポイントを特定します。[有効化] 列で、スイッチを切り替えて対応する確認項目を有効または無効にします。
ノードのデバッグ：有効なチェックポイントがコード実行前イベントである確認項目を有効にします。
開発環境にノードをデプロイする場合、有効なチェックポイントが ファイル送信前イベント である確認項目を有効にします。
本番環境へのノードデプロイメントでは、有効なチェックポイントがファイル公開前イベントとなっている確認項目を有効にします。
設定
データ資産ガバナンスで確認項目を有効にし、それらが有効になるワークスペースを指定する必要があります。一般的な手順については、「ガバナンス項目の設定」をご参照ください。
検証ロジックのカスタマイズ：オープンプラットフォーム
組み込みの確認項目が要件を満たさない場合は、オープンプラットフォームを使用して特定のイベントに対するカスタム検証プログラムを開発し、データ開発ワークフローに統合できます。
OpenEvent を使用すると、Data Studio でのユーザー操作のイベントメッセージをサブスクライブできます。イベントメッセージを受信した後、拡張機能を使用してカスタムの検証および承認プログラムを作成できます。その後、OpenAPI コールバックを介して承認結果を DataWorks に送り返すことができます。OpenEvent と拡張機能の詳細については、「OpenEvent の概要」および「拡張機能の概要」をご参照ください。
オープンプラットフォームを使用してイベントをサブスクライブし、Data Studio での主要な操作を検証する場合、その操作を実行すると検証プロセスがトリガーされます。以下のフローチャートは、実行前チェックの検証プロセスを示しています。
設定
オープンプラットフォームで Data Studio のイベントをサブスクライブし、これらのイベントを処理するための拡張機能を開発し、その拡張機能を DataWorks に公開して、目的のワークスペースで有効にする必要があります。
ノードのデバッグでは、[ファイル実行の事前イベント] などの実行に関連するイベントをサブスクライブして処理します。
開発環境へのノードのデプロイメントでは、ファイル送信前イベントや[テーブルコミット前イベント]などのコミット関連のイベントをサブスクライブして処理します。
本番環境へのノードデプロイメントでは、ファイル公開前イベント や [テーブルデプロイメントの事前イベント] などのデプロイメント関連のイベントをサブスクライブして処理します。
オープンプラットフォームでサポートされているイベントタイプの一覧については、「拡張機能の概要」をご参照ください。
オープンプラットフォームの使用に関する一般的な手順については、「セルフマネージドサービスを使用した拡張機能の開発とデプロイ」をご参照ください。
典型的なプロセス管理シナリオにおけるベストプラクティスについては、以下のトピックをご参照ください。