DataWorks:Doris ノード

背景情報

Apache Doris は、高性能なリアルタイム分析データベースです。レポート分析、アドホッククエリ、データレイクの連合クエリの高速化などのユースケースに適しています。詳細については、「Apache Doris の概要」をご参照ください。

前提条件

• ビジネスフローが作成されている必要があります。

  Data Studio では、ビジネスフローに基づいてエンジン固有の開発操作を実行します。ノードを作成する前に、まずビジネスフローを作成してください。詳細については、「ビジネスフローの作成」をご参照ください。

• Doris データソースが作成済みであること。

  Doris データベースのデータにアクセスする前に、Doris データベースを Doris データソースとして DataWorks に追加する必要があります。データソースの作成に関する詳細については、「データソースの管理」をご参照ください。DataWorks での Doris データソースの使用に関する詳細については、「Doris データソース」をご参照ください。

  説明

  Doris ノードは、JDBC 接続文字列を使用して作成された Doris データソースのみをサポートします。

• データソース と リソースグループ 間のネットワーク接続が確立されます。

  データソースが使用するリソースグループに正常に接続できることを確認してください。ネットワーク接続の設定方法については、「ネットワーク接続ソリューション」をご参照ください。

• (オプション。RAM ユーザーの場合は必須) タスク開発に使用する RAM ユーザーがターゲットワークスペースに追加され、[開発者] または [ストレージ管理者] ロール (広範な権限を付与するため、慎重に割り当ててください) のいずれかが割り当てられている必要があります。メンバーの追加と権限の付与の詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

制限事項

Doris ノードは、次のリージョンでサポートされています：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、香港 (中国)、日本 (東京)、シンガポール、マレーシア (クアラルンプール)、ドイツ (フランクフルト)、米国 (シリコンバレー)、および米国 (バージニア)。

ステップ 1：Doris ノードの作成

1. DataStudioページに移動します。

   DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [DataStudio] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。

2. ターゲットワークフローを右クリックし、ノードの作成 > データベース > [Doris] を選択します。

3. ノードの作成 ダイアログボックスで、ノードの 名前 を入力し、確認 をクリックします。ノードが作成されたら、そのタスクを開発および設定できます。

ステップ 2：Doris タスクの開発

(オプション) Doris データソースの選択

ワークスペースに複数の Doris データソースがある場合は、ノードのエディターページで適切なデータソースを選択する必要があります。Doris データソースが 1 つしか存在しない場合は、デフォルトで使用されます。

SQL コードの開発：簡単な例

Doris ノードのコードエディターで、タスクの SQL を記述します。以下にサンプルを示します：

SELECT * FROM usertablename;

SQL コードの開発：スケジューリングパラメーターの使用

DataWorks は、定期的なタスクのコードに動的な値を渡すための [スケジューリングパラメータ] を提供します。タスクコード内で ${variable_name} フォーマットを使用して変数を定義できます。次に、ノードエディターの右側のナビゲーションペインで [プロパティ] タブに移動し、スケジューリングパラメータ セクションを使用して変数に値を割り当てます。サポートされているフォーマットと設定の詳細については、「スケジューリングパラメーターでサポートされているフォーマット」と「スケジューリングパラメーターの設定と使用」をご参照ください。

次のサンプルコードは、この使用方法を示しています：

SELECT '${var}'; -- このようにして、スケジューリングパラメーターを使用します。

ステップ 3: タスクスケジューリングの設定

ノードタスクを定期的に実行するには、ノード編集ページの右側にある [スケジューリング設定] をクリックし、必要に応じてスケジューリング設定を構成します。詳細については、「タスクスケジューリングプロパティの概要」をご参照ください。

ステップ 4: タスクコードのテスト

タスクが期待どおりに動作することを確認するために、必要に応じて次のテスト操作を実行します。

1. (オプション) リソースグループを選択し、カスタムパラメーター値を割り当てます。

   • ツールバーの アイコンをクリックします。[パラメーター] ダイアログボックスで、テスト用のスケジュールリソースグループを選択します。

   • タスクコードでスケジューリングパラメーター変数を使用している場合は、ここでテスト用の値を割り当てます。パラメーター割り当てロジックの詳細については、「タスクデバッグプロセス」をご参照ください。

2. タスクコードを保存して実行します。

   ツールバーの アイコンをクリックしてタスクコードを保存します。次に、 アイコンをクリックしてタスクを実行します。

3. (オプション) スモークテストを実行します。

   開発環境でスモークテストを実行し、スケジュールされたタスクが期待どおりに実行されることを確認するには、ノード送信中または送信後にスモークテストを実行します。詳細については、「スモークテストの実行」をご参照ください。

ステップ 5: タスクの送信とパブリッシュ

ノードタスクを設定したら、送信してパブリッシュします。パブリッシュされると、ノードはスケジューリング設定に基づいて定期的に実行されます。

1. ツールバーの アイコンをクリックしてノードを保存します。

2. ツールバーの アイコンをクリックしてノードタスクを送信します。

   [コミット] ダイアログボックスで、[変更内容] を入力します。必要に応じて、送信後にコードレビューを要求するかどうかを選択します。

   説明

   • ノードを送信する前に、ノードの [再実行プロパティ] と [依存する先祖ノード] を設定する必要があります。

   • コードレビューは、コード品質を確保し、レビューされていないコードが本番環境に直接パブリッシュされることによるエラーを防ぎます。コードレビューが有効になっている場合、送信されたノードコードは、パブリッシュする前にレビュー担当者の承認を受ける必要があります。詳細については、「コードレビュー」をご参照ください。

標準モードのワークスペースを使用している場合、タスクの送信に成功したら、ノード編集ページの右上隅にある [パブリッシュ] をクリックして、タスクを本番環境にデプロイします。詳細については、「タスクのパブリッシュ」をご参照ください。

次のステップ

タスク操作： タスクがコミットされ公開されると、ノードの設定に基づいて定期的に実行されます。ノード編集ページの右上隅にある 運用保守 をクリックしてオペレーションセンターに移動し、定期タスクのスケジューリングと実行ステータスを表示できます。詳細については、「定期タスクの管理」をご参照ください。