DataWorks:Doris

背景情報

Apache Doris は、パフォーマンス専有型のリアルタイム AnalyticDB です。レポート分析、アドホッククエリ、データレイクのフェデレーテッドクエリの高速化などのシナリオに適しています。詳細については、「Doris Introduction」をご参照ください。

前提条件

• ビジネスフローの作成。

  DataStudio では、ビジネスフローによって開発が整理されます。ノードを作成する前に、ビジネスフローを作成する必要があります。詳細については、「ワークフローの作成」をご参照ください。

• Doris データソースの作成。

  Doris データベース用に DataWorks データソースを作成する必要があります。データソースの作成方法の詳細については、「データソース管理」をご参照ください。DataWorks での Doris データソースの使用方法の詳細については、「Doris データソース」をご参照ください。

  説明

  Doris ノードは、JDBC 接続文字列を使用して作成された Doris データソースのみをサポートします。

• データソースとリソースグループ間のネットワーク接続の確立。

  使用するリソースグループにデータソースが接続できることを確認してください。ネットワーク接続の設定方法については、「ネットワーク接続ソリューション」をご参照ください。

• (任意。RAM ユーザーの場合に必要) Resource Access Management (RAM) ユーザーをワークスペースに追加し、[開発] または [ワークスペース管理者] ロールを割り当てます。ワークスペース管理者ロールは高い権限を持つため、慎重に付与してください。詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

制限事項

サポートされているリージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア)。

ステップ 1：Doris ノードの作成

1. DataStudio ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発・運用保守] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ進む] をクリックします。

2. 目的のビジネスプロセスを右クリックし、[ノードの作成] > [データベース] > [Doris] を選択します。

3. [ノードの作成] ダイアログボックスで、[名前] を入力し、[OK] をクリックします。ノードが作成されると、そのタスクを開発および設定できます。

ステップ 2：Doris タスクの開発

(任意) Doris データソースの選択

ワークスペースに複数の Doris データソースが存在する場合は、ノード設定タブでデータソースを選択します。Doris データソースが 1 つしか存在しない場合は、デフォルトで選択されます。

SQL コードの開発：簡単な例

Doris ノードのコードエディタで、タスクのコードを記述します。次のコードは一例です。

SELECT * FROM usertablename;

SQL コードの開発：スケジューリングパラメーターの使用

DataWorks では、[スケジューリングパラメーター] を使用して、定期的なスケジュールに動的な入力を設定できます。コード内で変数を ${variable_name} のフォーマットで定義できます。ノード編集ページの右側のナビゲーションウィンドウで、[スケジューリング設定] > [スケジューリングパラメーター] に移動して、変数に値を割り当てます。詳細については、「サポートされているスケジューリングパラメーターのフォーマット」および「スケジューリングパラメーターの設定と使用」をご参照ください。

次のコードは一例です。

SELECT '${var}'; -- スケジューリングパラメーターと併用します。

ステップ 3：タスクスケジューリングの設定

タスクをスケジューリングするには、右側の [スケジューリング設定] をクリックしてプロパティを設定します。詳細については、「概要」をご参照ください。

ステップ 4：タスクコードのデバッグ

タスクをデバッグして、正常に実行されることを確認します。

1. (任意) デバッグリソースグループを選択し、パラメーター値を割り当てます。

   • ツールバーの アイコンをクリックして、[パラメーター] ダイアログボックスでリソースグループを選択します。

   • デバッグ用にスケジューリングパラメーターに値を割り当てます。パラメーターの割り当てロジックの詳細については、「タスクのデバッグプロセス」をご参照ください。

2. タスクコードを保存して実行します。

   アイコンをクリックして保存し、 アイコンをクリックして実行します。

3. (任意) スモークテストの実行。

   送信中または送信後にスモークテストを実行して、開発環境での実行を検証します。詳細については、「スモークテストの実行」をご参照ください。

ステップ 5：タスクの送信と公開

ノードを送信して公開し、スケジュールを有効化します。

1. ツールバーの アイコンをクリックしてノードを保存します。

2. ツールバーの アイコンをクリックしてノードタスクを送信します。

   [送信] ダイアログボックスで、[変更の説明] を入力し、コードレビューのオプションを選択します。

   説明

   • 送信する前に、[再実行プロパティ] と [上流の依存ノード] を設定してください。

   • コードレビューは品質を保証します。有効になっている場合、公開前にレビュー担当者がコードを承認する必要があります。詳細については、「コードレビュー」をご参照ください。

標準モードのワークスペースでは、右上の [公開] をクリックして本番環境にデプロイします。詳細については、「タスクの公開」をご参照ください。

次のステップ

タスクが送信されて公開されると、ノードの設定に基づいて定期的に実行されます。ノード設定タブの右上隅にある [運用保守] をクリックして、オペレーションセンターに移動できます。オペレーションセンターでは、定期実行タスクのスケジューリングと実行ステータスを表示できます。詳細については、「定期実行タスクの管理」をご参照ください。