DataWorks:環境の準備

1. ワークスペースの作成

1. DataWorks コンソールにログインします。上部のナビゲーションバーで、DataWorks サービスが利用可能なリージョンに切り替えます。

2. 左側のナビゲーションバーで ワークスペース をクリックします。ワークスペースリストページで、+ ワークスペースの作成 をクリックします。詳細については、「ワークスペースの作成」をご参照ください。

2. リソースグループの作成

1. リソースグループの購入：DataWorks で StarRocks タスクを実行するには、リソースグループが必要です。リソースグループの購入については、「サーバーレスリソースグループの使用」をご参照ください。

2. ネットワーク接続の確立：リソースグループと StarRocks インスタンス間のネットワーク接続を確保します。ネットワークソリューションの詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • ご利用の StarRocks インスタンスのネットワーク環境を確認します：StarRocks インスタンスの詳細ページに移動し、VPC や vSwitch などのネットワーク構成情報を確認します。

   • DataWorks を同じ VPC にバインドします。DataWorks サーバーレスリソースグループの [VPC バインディング] タブで、ご利用の StarRocks インスタンスと同じ VPC と vSwitch を選択して、ネットワークバインディングを完了します。

   • DataWorks サーバーレスリソースグループの IP アドレスを StarRocks ホワイトリストに追加して、アクセスを許可します。

     1. DataWorks サーバーレスリソースグループのアウトバウンド IP アドレスを取得します。リソースグループの [VPC バインディング] タブで、[データスケジューリング & Data Integration] セクションのテーブルを見つけ、対応する [vSwitch CIDR ブロック] の値を記録します。

     2. StarRocks インスタンス名をクリックします。 Basic information ページ ([インスタンス詳細] ページ内) で、[内部ホワイトリスト] をクリックして、DataWorks Serverless リソースグループの vSwitch CIDR ブロックを追加します。 ECS コンソールの左側のナビゲーションバーで、[ネットワーク & セキュリティ] > [セキュリティグループ] を選択します。 対象のセキュリティグループをクリックして、その詳細ページに移動します。 [Inbound] ルールのリストで、[手動で追加] をクリックし、DataWorks Serverless リソースグループの Egress IP アドレスをセキュリティグループルールに追加します。

   • リソースグループのパブリックネットワークアクセスを設定します。

     1. NAT Gateway コンソールにログインし、トップメニューバーでリージョンを中国 (上海) に切り替えます。

     2. NAT Gateway の作成 をクリックします。パラメーターを設定します。

        パラメーター	値
        リージョン	中国 (上海)。
        VPC	リソースグループに関連付けられている VPC と vSwitch を選択します。 DataWorks コンソールに移動し、リージョンを切り替えることができます。左側のナビゲーションバーで リソースグループ をクリックします。作成したリソースグループを見つけ、ネットワーク設定 列の Operation をクリックします。[データスケジューリング & Data Integration] エリアで、[バインドされた VPC] と Switch を表示できます。VPC と vSwitch の詳細については、「VPC とは」をご参照ください。
        vSwitch の関連付け
        Access mode	VPC フル NAT モード (SNAT)。
        EIP	Elastic IP (EIP) を作成して関連付けます。
        サービスリンクロールの作成	初めて NAT Gateway を作成する場合は、サービスリンクロールを作成する必要があります。サービスにリンクされたロールの作成 をクリックします。

        説明

        表に指定されていないパラメーターについては、デフォルト値を保持できます。

     3. Buy Now をクリックし、サービス利用規約を選択して、確認 をクリックして購入を完了します。

3. StarRocks データソースの作成

DataWorks コンソールで、左側のナビゲーションバーの Management Center をクリックし、ドロップダウンリストからターゲットワークスペースを選択して Management Center に移動します。Management Center で、Data Source > データソース一覧 をクリックし、Add Connection をクリックして StarRocks を選択します。ApsaraDB for RDS を使用して、現在の DataWorks ワークスペースに StarRocks インスタンスを追加することで、StarRocks データソースを作成します。

[開発環境] と [本番環境] の両方を設定する必要があります。[Alibaba Cloud アカウント] には、[現在の Alibaba Cloud メインアカウント] を選択します。インスタンスを選択した後、[最新アドレスの取得] をクリックして、フロントエンドノードの内部エンドポイントを取得します。[FrontEnd Http ポート] を 8030 に、[FrontEnd Query ポート] を 9030 に設定します。

1. StarRocks データソースの基本情報を設定します。

   EMR コンソールに移動し、ご利用の Instance Details の情報に基づいて、DataWorks の StarRocks データソースの Basic information を設定する必要があります。このステップは、後続のタスクの同期と処理に必須です。以下に設定項目の詳細を示します。

   パラメーター	説明
   Data Source Name	データソースの名前を入力します。このチュートリアルでは、Doc_StarRocks_Storage_Compute_Tightly_01 を使用します。
   Description	データソースのオプションの説明を入力します。
   設定モード	ApsaraDB for RDS.Alibaba Cloudインスタンスモード
   Region	中国 (上海)
   Examples	ご利用の Serverless インスタンスを選択します。
   Database Name	StarRocks データベース名を入力します。このチュートリアルでは、user_behavior_analysis を使用します。すべてのデータ操作はこのデータベースで実行されます。
   Username	ご利用の StarRocks データベースのユーザー名。
   Password	ご利用の StarRocks データベースのパスワード。

2. リソース接続のテスト：接続テストに合格したら、編集完了 をクリックして StarRocks データソースの作成を完了します。

4. MySQL データソースの作成

1. Management Center ページで、Data Source ページに移動し、Add Connection をクリックします。

2. [接続を追加] ダイアログボックスで、MySQL を検索して選択します。

3. [MySQL データソースを作成] ページで、パラメーターを設定します。このチュートリアルでは、開発環境と本番環境の両方でサンプル値を使用します。

   パラメーター	説明
   Data Source Name	データソースの名前を入力します。このチュートリアルでは、user_behavior_analysis_mysql を入力します。
   Description	説明を入力します。このチュートリアル固有のデータソースは、バッチ同期タスクのテストデータを提供します。読み取り専用であり、Data Integration でのみ使用できます。
   設定モード	User-created Data Store with Public IP Addresses を選択します。
   Connection Address	ホスト IP アドレス：rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com ポート：3306
   Database Name	データベース名を入力します。このチュートリアルでは、workshop を入力します。
   Username	ユーザー名を入力します。このチュートリアルでは、workshop を入力します。
   Password	パスワードを入力します。このチュートリアルでは、workshop#2017 を入力します。
   Authentication Method	認証なし。

4. ターゲットリソースグループの行にある コネクテッドステート (開発環境) と 接続ステータス (本番環境) をクリックし、テスト接続 をクリックします。接続テストが完了し、ステータスが 接続可能 と表示されるまで待ちます。

5. Complete Creation をクリックします。

5. HttpFile データソースの作成

Management Center > Data Source > データソース一覧 ページに移動し、Add Connection をクリックして [HttpFile] を選択し、[HttpFile データソースを作成] をクリックして、現在の DataWorks ワークスペースに HttpFile データソースを追加します。

設定中に、[開発環境] と [本番環境] の両方を有効にし、両方に同じ情報を入力します。[デフォルトヘッダー] にはデフォルト値の {} を保持します。

1. HttpFile データソースの基本情報を設定します。

   HttpFile データソースを作成する際の Basic information のパラメーターは次のとおりです。

   パラメーター	説明
   Data Source Name	ワークスペース内のパブリック HttpFile データソースの表示名を入力します。このチュートリアルでは、user_behavior_analysis_httpfile を使用します。
   Description	データソースのオプションの説明を入力します。 このデータソースは DataWorks チュートリアル用に提供されています。バッチ同期タスクのテストデータへのアクセスを提供し、Data Integration シナリオでの読み取り操作のみを目的としています。他のモジュールはサポートされていません。
   URL ドメイン名	入力します: https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com。

2. リソース接続のテスト：接続テストに成功したら、編集完了 をクリックして HttpFile データソースの作成を完了します。