DataWorks:EMR Serverless StarRocks における DataWorks のベストプラクティス

背景情報

前提条件

• DataWorks が有効化され、ワークスペースが作成されていること。詳細については、「購入」をご参照ください。

• リソースグループが購入され、ワークスペースにバインドされ、適切なネットワーク設定が構成されていること。詳細については、「リソースグループ管理」をご参照ください。

• EMR Serverless StarRocks インスタンスが作成されていること。詳細については、「オールインワンインスタンスのクイックユース」をご参照ください。

  説明

  StarRocks インスタンスを作成した後、EMR コンソールでインスタンス情報を表示できます。また、EMR StarRocks Manager を使用してインスタンスに接続し、データベースとテーブルに関する情報を表示することもできます。

• DataWorks リソースグループの IP アドレスが EMR Serverless StarRocks インスタンスのホワイトリストに追加されていること。

  次の図は、EMR Serverless StarRocks インスタンスのホワイトリストに IP アドレスを追加するためのエントリポイントを示しています。

  

データソースの作成

DataWorks で EMR Serverless StarRocks を使用する場合、まず StarRocks データソースを作成して EMR Serverless StarRocks データベースに接続する必要があります。これにより、さまざまな DataWorks サービスで EMR Serverless StarRocks を使用できるようになります。

StarRocks データソースの詳細については、「StarRocks データソース」をご参照ください。データソースを作成するためのエントリポイントと主要な設定パラメーターは、次の手順で説明します。

1. [データソース] ページに移動します。

   1. DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[その他] > [管理センター] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターへ移動] をクリックします。

   2. SettingCenter ページの左側のナビゲーションウィンドウで、[データソース] をクリックします。

2. [データソースの追加] をクリックします。主要な設定については、次のセクションで説明します。他のパラメーターはデフォルト値のままでかまいません。

   StarRocks インスタンスと DataWorks リソースグループ間のネットワーク接続に基づいて、データソースを作成する方法を選択します。ネットワーク接続ソリューションの詳細については、「ネットワーク接続ソリューションの概要」をご参照ください。

   内部ネットワーク経由での接続

   主要パラメーター	説明
   [設定モード]	[Alibaba Cloud インスタンスモード] を選択します。
   Alibaba Cloud アカウント	EMR Serverless StarRocks インスタンスが DataWorks と同じ Alibaba Cloud アカウントに属している場合は、[現在の Alibaba Cloud アカウント] を選択します。 EMR Serverless StarRocks インスタンスが別の Alibaba Cloud アカウントに属している場合は、[別の Alibaba Cloud アカウント] を選択します。[別の Alibaba Cloud アカウント] を選択した後、[別の Alibaba Cloud アカウントの UID] と [RAM ロール] も設定する必要があります。RAM ロールの設定の詳細については、「クロスアカウント権限付与 (RDS、Hive、または Kafka)」をご参照ください。
   リージョン	EMR Serverless StarRocks インスタンスが存在するリージョンを選択します。
   インスタンス	特定の [Serverless] StarRocks インスタンスを選択します。
   データベース名	接続するデータベースの名前。EMR StarRocks Manager を使用してインスタンスに接続し、[メタデータ管理] ページでデータベース名を表示できます。
   ユーザー名とパスワード	インスタンスのユーザー名とパスワード。 StarRocks インスタンスを作成すると、デフォルトで admin ユーザーが作成されます。パスワードは、インスタンス作成時に指定したものです。
   [接続設定]	データソースと購入したリソースグループ間の接続性をテストする必要があります。接続ステータスが [接続済み] の場合、データソースとリソースグループ間のネットワークが接続されていることを示します。

   インターネット経由での接続

   主要パラメーター	説明
   設定モード	[接続文字列モード] を選択します。
   ホストアドレス/IP アドレス	EMR Serverless StarRocks インスタンスの FE ノードの [パブリックエンドポイント]。
   ポート	EMR Serverless StarRocks インスタンスの FE の [ポート]。デフォルトのクエリポートは 9030 です。
   URL をロード	StreamLoad 用の StarRocks FE ノードのアドレス。複数の FE アドレスを FE パブリック IP アドレス:FE HTTP ポート の形式で指定できます。複数のアドレスはカンマで区切ります。
   データベース名	接続するデータベースの名前。EMR StarRocks Manager を使用してインスタンスに接続した後、[メタデータ管理] でデータベース名を表示できます。
   ユーザー名/パスワード	インスタンスのユーザー名とパスワード。 StarRocks インスタンスを作成すると、デフォルトで admin ユーザーが作成されます。パスワードは、インスタンス作成時に指定したものです。
   接続設定	データソースと購入したリソースグループ間のネットワーク接続をテストする必要があります。ステータスが [接続済み] の場合、ネットワークが正常に接続されていることを示します。

Data Integration

DataWorks は、MySQL、Hive、Kafka、OSS、HDFS など、さまざまなソースから EMR Serverless StarRocks テーブルにデータを同期できます。次の例では、MySQL データベースから EMR Serverless StarRocks テーブルにデータを同期するための主要な手順について説明します。

1. DataStudio ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発・運用保守] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ移動] をクリックします。

2. バッチ同期ノードを作成します。データソースを MySQL に、宛先データソースを StarRocks に設定します。

   

3. リソースグループを選択します。次に、ソースおよび宛先データソースへの接続性をテストします。

4. 定期的なスケジュールを設定し、ノードを送信して公開し、タスクを定期的に実行します。

   デバッグが完了したら、サイドバーの [プロパティ] をクリックし、スケジューリングサイクルや再実行ポリシーなどのスケジューリングパラメーターを設定し、ノードのリソースグループを設定してから、[送信] ボタンと [デプロイ] ボタンをクリックします。

データ開発とスケジューリング

定期的なスケジューリングが必要な EMR Serverless StarRocks タスクの場合、DataStudio で StarRocks ノードを作成できます。その後、接続された StarRocks データソースを選択し、EMR Serverless StarRocks SQL タスクを記述し、定期的なスケジュールを設定できます。主要な手順は次のとおりです：

1. DataStudio ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ開発・運用保守] > [データ開発] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ開発へ移動] をクリックします。

2. DataStudio で、StarRocks ノードを作成します。接続された StarRocks データソースを選択し、EMR Serverless StarRocks SQL タスクを記述します。

   

3. DataStudio で EMR Serverless StarRocks SQL タスクをデバッグするには、デバッグしたい SQL コマンドを選択し、実行ボタンをクリックします。デバッグタスクを実行するリソースグループを選択します。

4. 定期的なスケジュールを設定し、ノードを送信して公開し、タスクを定期的に実行します。

   デバッグが完了したら、サイドバーの [プロパティ] をクリックし、スケジューリングサイクルや再実行ポリシーなどのスケジューリングパラメーターを設定し、タスクのリソースグループを設定してから、[送信] ボタンと [デプロイ] ボタンをクリックします。

データ分析

DataWorks のデータ分析サービスを使用して、EMR Serverless StarRocks テーブルのデータを迅速に分析できます。主要な手順は次のとおりです：

1. SQL クエリページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ分析・サービス] > [データ分析] を選択します。表示されたページで、[データ分析へ移動] をクリックします。表示されたページの左側のナビゲーションウィンドウで、[SQL クエリ] をクリックします。

2. 左サイドバーの アイコンをクリックし、[その他] > [システム管理] をクリックします。[システム管理] ページで、StarRocks エンジンタイプのクエリリソースグループをタスクが使用するリソースグループに設定します。

   

3. SQL クエリページに戻ります。右上隅で、エンジンタイプを StarRocks に切り替え、データソースを選択します。その後、クエリ文を編集して実行し、EMR Serverless StarRocks のデータを分析できます。

   

DataService Studio

DataService Studio は、StarRocks データソース用の API の生成をサポートしています。

1. DataService Studio ページに移動します。

   DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[データ分析・サービス] > [DataService Studio] を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[DataService Studio へ移動] をクリックします。

2. API を生成し、そのパラメーターを設定します。

   DataService Studio は、コードレス UI とコードエディタを提供します。コードエディタでは、API のリクエストパラメーターとレスポンスパラメーターを SQL クエリ文から自動的に生成できます。次の例は、コードレス UI を使用するための主要な手順を示しています。

   

   データソースタイプを StarRocks に設定します。作成した StarRocks データソースとターゲットテーブルを選択します。ページ上のプロンプトに従って、リクエストパラメーターやレスポンスパラメーターなどの API パラメーターを設定します。

3. 右サイドバーの [リソースグループ] をクリックし、リソースグループを DataService Studio 専用リソースグループとして設定します。

   

4. API がテストに合格した後、送信して公開します。

データマップ

データマップモジュールは、StarRocks のデータのメタデータ取得、検索、およびテーブル詳細ページをサポートしています。