EMR Serverless StarRocks によるユーザープロファイル分析パイプラインの作成 - DataWorks

本チュートリアルでは、ユーザープロファイル分析というシナリオを基に、中国 (上海) リージョンにおいて DataWorks を使用したデータ同期、データ処理、品質モニタリングの全プロセスを説明します。開始する前に、必要な EMR Serverless StarRocks クラスターおよび DataWorks ワークスペースを準備してください。

背景情報

より優れたビジネス戦略を策定するためには、ウェブサイト訪問者の行動に基づき、ユーザーグループの基本的なプロファイルデータ（地理的属性および社会的属性など）を取得する必要があります。これにより、定期的にプロファイル分析を実行し、ウェブサイトのトラフィック運営を詳細なレベルで実施できます。

前提条件

本チュートリアルを実施するには、まず概要を参照し、ユーザープロファイル分析実験の内容を理解してください。

注意事項

本チュートリアルでは、必要なユーザーデータおよびウェブサイトアクセステストデータが提供されます。
本チュートリアルで使用されるデータは、DataWorks のハンズオン演習専用です。すべてのデータはモックデータです。
本チュートリアルでは、Data Studio（新バージョン）を使用してデータ変換を行います。

Object Storage Service (OSS) 環境の準備

本ユースケースでは、ユーザー定義関数（UDF）を使用します。登録済み関数で必要となるリソースは OSS にアップロードされます。OSS の有効化およびOSS バケットの作成が完了していることを確認してください。OSS が有効化されていることも併せてご確認ください。また、関数で使用されるリソースには、パブリック読み取り／書き込み権限が付与されている必要があります。

EMR Serverless StarRocks 環境の準備

本ユースケースでは EMR Serverless StarRocks を使用します。StarRocks インスタンスが既に存在することを確認してください。存在しない場合は、インスタンスを作成してください。

インスタンスタイプ：ストレージと計算が統合されたタイプ。
リージョン：中国 (上海)。
エディション：Basic Edition。
重要
このエディションは試用および機能検証専用であり、SLA は保証されません。本番運用を想定する場合は Standard Edition を選択してください。
バージョン：3.1。

本ユースケースのデータは、EMR Serverless StarRocks 内のデータベースに格納されます。インスタンス作成後、新しいデータベースを作成する必要があります。インスタンスにログインし、Manager から以下の SQL 文を実行してデータベースを作成します。

CREATE DATABASE database_name;

DataWorks 環境の準備

DataWorks を使用して開発を開始する前に、DataWorks サービスが有効化されていることを確認してください。詳細については、「購入」をご参照ください。

1. ワークスペースの作成

中国 (上海) リージョンで既にワークスペース（新バージョン）をお持ちの場合は、この手順をスキップして既存のワークスペースをご利用ください。

DataWorks コンソールにログインします。上部ナビゲーションバーでリージョンを 中国 (上海) に設定します。左側のナビゲーションウィンドウで ワークスペース をクリックし、ワークスペース一覧ページに移動します。
ワークスペースの作成 をクリックして、[Data Studio (新バージョン) を使用] するワークスペースを作成し、開発環境と本番環境の隔離 を有効化します。
説明
2025 年 2 月 18 日以降、Alibaba Cloud アカウントが初めて DataWorks を有効化し、中国 (上海) リージョンでワークスペースを作成する場合、新規 Data Studio がデフォルトで有効化されます。

ワークスペースの作成方法の詳細については、「ワークスペースの作成」をご参照ください。

2. サーバーレスリソースグループの作成

サーバーレスリソースグループを購入します。
本チュートリアルでは、データ同期およびスケジューリングのために DataWorks サーバーレスリソースグループが必要です。まず、サーバーレスリソースグループを購入し、初期設定を完了してください。
1. DataWorks - リソースグループ一覧ページにログインします。上部ナビゲーションバーでリージョンを 中国 (上海) に設定します。左側のナビゲーションウィンドウで リソースグループ をクリックし、リソースグループ一覧ページに移動します。
2. リソースグループの作成 をクリックします。購入ページで、リージョンおよびゾーン を 中国 (上海) に設定し、リソースグループ名 を指定します。その他のパラメーターは画面の指示に従って設定し、支払いを完了してください。サーバーレスリソースグループの課金に関する詳細は、「サーバーレスリソースグループの課金」をご参照ください。
  説明
  現在のリージョンに VPC または vSwitch が存在しない場合は、パラメーター説明内のコンソールリンクをクリックして作成してください。VPC および vSwitch の詳細については、「仮想プライベートクラウド（VPC）とは」をご参照ください。
リソースグループを DataWorks ワークスペースに関連付けます。
新規に購入したサーバーレスリソースグループは、使用可能にするためにワークスペースへの関連付けが必要です。
DataWorks - リソースグループ一覧ページにログインし、上部ナビゲーションバーでリージョンを 中国 (上海) に設定します。購入したサーバーレスリソースグループを検索し、操作列で ワークスペースとの関連付け をクリックし、作成済みの DataWorks ワークスペースの横にある 関連付け をクリックします。

リソースグループのパブリックネットワークアクセスを構成します。

本チュートリアルのテストデータはインターネットから取得します。デフォルトでは、リソースグループはパブリックネットワークへのアクセス権限を持たないため、リソースグループに紐づけられた VPC に対して Internet NAT Gateway を構成し、EIP を追加することで、パブリックネットワークからのデータ取得を可能にする必要があります。

VPC - Internet NAT Gateway コンソールにログインします。上部メニューバーでリージョンを 中国 (上海) に設定します。

Internet NAT Gateway の作成 をクリックし、パラメーターを構成します。本チュートリアルで重要なパラメーターを以下に示します。記載されていないパラメーターについては、デフォルト値をそのまま使用してください。

パラメーター	値
リージョン	中国 (上海)。
ネットワークおよびゾーン	リソースグループに紐づけられた VPC および vSwitch を選択します。まず、DataWorks コンソールにログインし、中国 (上海) リージョンに切り替えます。左側のナビゲーションウィンドウでリソースグループをクリックし、作成したリソースグループを検索して、ネットワーク設定をクリックします（操作列）。その後、データスケジューリングおよびデータ統合エリアで関連付けられた VPC および vSwitch を確認します。VPC および vSwitch の詳細については、「仮想プライベートクラウド（VPC）とは」をご参照ください。
ネットワークタイプ	Internet NAT Gateway。
EIP	EIP の作成。
サービスリンクロールの作成	初回に NAT Gateway を作成する際は、サービスリンクロールの作成が必要です。サービスリンクロールの作成をクリックしてください。

今すぐ購入 をクリックし、利用規約に同意した上で、今すぐ有効化 をクリックして購入を完了します。

NAT Gateway インスタンスの購入が完了したら、コンソールに戻り、新規に購入した NAT Gateway インスタンスに対して SNAT エントリを作成します。

説明

SNAT エントリが構成されてはじめて、この VPC を使用するリソースグループがインターネットにアクセスできるようになります。

新規に購入したインスタンスを検索し、管理をクリックして（操作列）、対象 NAT Gateway インスタンスの管理ページに移動し、SNAT タブに切り替えます。

SNAT エントリ一覧 セクションで、SNAT エントリの作成 をクリックします。主な構成項目は以下のとおりです：

パラメーター	値
SNAT エントリ	VPC を指定を選択します。これにより、NAT Gateway が属する VPC 内のすべてのリソースグループが、構成済みの EIP 経由でインターネットにアクセスできるようになります。
EIP の選択	現在の NAT Gateway インスタンスに紐づけられた EIP を選択します。

パラメーターを構成した後、OK をクリックして SNAT エントリを作成します。

SNAT エントリ一覧で、新規に作成した SNAT エントリのステータスが 利用可能 に変更された場合、リソースグループに紐づけられた VPC がインターネットアクセス機能を備えたことを意味します。

サーバーレスリソースグループの追加および使用方法の詳細については、「サーバーレスリソースグループの使用」をご参照ください。

StarRocks 計算リソースの関連付け

DataWorks - ワークスペース一覧ページに移動します。上部ナビゲーションバーでリージョンを 中国 (上海) に設定します。作成したワークスペースを検索し、その名前をクリックして ワークスペースの詳細 ページを開きます。
左側のナビゲーションウィンドウで、計算リソース をクリックします。

計算リソースの関連付け をクリックし、計算リソースタイプ を選択して、関連するパラメーターを構成します。

本チュートリアルでは、計算およびストレージに Serverless StarRocks を使用します。計算リソースタイプを Serverless StarRocks に設定し、以下に示すパラメーターを構成してください。未記載のパラメーターについては、デフォルト値をそのまま使用します。

パラメーター	説明
StarRocks インスタンス	関連付ける StarRocks インスタンスを選択します。または、ドロップダウンリスト内の作成をクリックして、EMR StarRocks コンソールで新規インスタンスを作成し、その後 DataWorks ワークスペースに戻って選択することも可能です。説明ワークスペース作成時にワークスペースの作成で環境隔離を有効化した場合は、本番環境および開発環境の両方に対して StarRocks インスタンスを選択する必要があります。 StarRocks インスタンスの作成方法の詳細については、「Serverless StarRocks インスタンスの作成」をご参照ください。
データベース名	データベースを選択します。存在しない場合は、先にしてください。
ユーザー名パスワード	StarRocks インスタンス作成時に設定したユーザー名およびパスワードです。デフォルトのユーザー名は `admin` です。
計算リソースインスタンス名	計算リソースを識別するために使用されます。タスクはこの名前を基に計算リソースを選択します。本ケースでは、以下の通り設定します：`doc_starrocks_storage_compute_tightly_01`
接続構成	StarRocks インスタンスへの接続に使用するリソースグループです。ここで接続性をテストできます。説明利用可能なリソースグループがない場合は、まずリソースグループを作成・ワークスペースに関連付け、その後ワークスペースの詳細ページで接続性をテストしてください。詳細については、「リソースグループの管理」をご参照ください。

確認をクリックして構成を完了します。

計算リソースの関連付けに関する詳細については、「計算リソースの管理」をご参照ください。

次のステップ

環境の準備が完了したので、次のチュートリアルに進んでください。ユーザープロファイルデータおよびウェブサイトのアクセスログを OSS に同期し、StarRocks ノードを使用してテーブルを作成・データをクエリする方法について学びます。詳細については、「データ同期および処理」をご参照ください。