DataWorks:StarRocks

背景情報

StarRocks は、次世代の超高速かつ全シナリオ対応の超並列処理 (MPP) データベースであり、MySQL プロトコルと互換性のある OLAP 分析エンジンです。優れたパフォーマンスを提供し、多次元 OLAP 分析、データレイク分析、高同時実行クエリ、リアルタイムデータ分析などの豊富な OLAP シナリオに対応しています。

前提条件

• ビジネスフローが作成されている必要があります。

  Data Studio では、ビジネスフローに基づいてエンジン固有の開発操作を実行します。ノードを作成する前に、まずビジネスフローを作成してください。詳細については、「ビジネスフローの作成」をご参照ください。

• StarRocks データソースが作成されている必要があります。

  まず、StarRocks データベースを DataWorks に StarRocks データソースとして登録する必要があります。詳細については、「StarRocks データソースの作成」をご参照ください。

  説明

  StarRocks ノードは、JDBC 接続文字列を使用して作成された StarRocks データソースのみをサポートします。

• (オプション。RAM ユーザーの場合は必須) タスク開発に使用する RAM ユーザーがターゲットワークスペースに追加され、[Development] または [スペースマネージャー] ロール (広範な権限を付与するため、慎重に割り当ててください) のいずれかが割り当てられている必要があります。メンバーの追加と権限の付与の詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

制限事項

サポートされているリージョン：中国 (杭州)、中国 (上海)、中国 (北京)、中国 (深セン)、中国 (成都)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、ドイツ (フランクフルト)、米国 (シリコンバレー)、米国 (バージニア)。

ステップ 1: StarRocks ノードの作成

1. DataStudioページに移動します。

   DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[データモデリングと開発] > [DataStudio] を選択します。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[DataStudioに移動] をクリックします。

2. ターゲットビジネスフローを右クリックし、 を選択します。

3. [Create Node] ダイアログボックスで、ノードの [Name] を入力し、[OK] をクリックします。ノードが作成されます。これで、ノードでタスクを開発および設定できます。

ステップ 2: StarRocks タスクの開発

(オプション) StarRocks データソースの選択

ワークスペースに複数の StarRocks データソースがある場合は、StarRocks ノード編集ページの上部にあるドロップダウンリストからターゲットデータソースを選択します。StarRocks データソースが 1 つしかない場合は、デフォルトでそれが使用されます。

SELECT * FROM information_schema.tables
WHERE table_type = 'BASE TABLE';

SET CATALOG catalog_name; -- 現在のセッションで有効なカタログを切り替えます。
USE catalog_name.db_name; -- 現在のセッションで有効なデータベースを指定します。

SELECT * FROM information_schema.tables
WHERE CREATE_TIME = '${a}';

ステップ 3: タスクスケジューリングの設定

ノードタスクを定期的に実行するには、ノード編集ページの右側にある [Scheduling] をクリックし、必要に応じてスケジューリング設定を構成します。詳細については、「タスクスケジューリングプロパティの概要」をご参照ください。

ステップ 5: タスクの送信とパブリッシュ

ノードタスクを設定したら、送信してパブリッシュします。パブリッシュされると、ノードはスケジューリング設定に基づいて定期的に実行されます。

1. ツールバーの アイコンをクリックしてノードを保存します。

2. ツールバーの アイコンをクリックしてノードタスクを送信します。

   [Submission] ダイアログボックスで、[Change Description] を入力します。必要に応じて、送信後にコードレビューを要求するかどうかを選択します。

   説明

   • ノードを送信する前に、ノードの [Rerun attribute] と [Parent Nodes] を設定する必要があります。

   • コードレビューは、コード品質を確保し、レビューされていないコードが本番環境に直接パブリッシュされることによるエラーを防ぎます。コードレビューが有効になっている場合、送信されたノードコードは、パブリッシュする前にレビュー担当者の承認を受ける必要があります。詳細については、「コードレビュー」をご参照ください。

標準モードのワークスペースを使用している場合、タスクの送信に成功したら、ノード編集ページの右上隅にある [パブリッシュ] をクリックして、タスクを本番環境にデプロイします。詳細については、「タスクのパブリッシュ」をご参照ください。

次のステップ

タスクが送信およびパブリッシュされると、設定に基づいて定期的に実行されます。ノード編集画面の右上隅にある [O&M Personnel] をクリックして、オペレーションセンターに移動し、定期タスクのスケジューリングステータスを監視します。詳細については、「定期タスクの管理」をご参照ください。