EMR (E-MapReduce) StarRocks SQL ノードは、EMR Serverless StarRocks 計算リソース上で動作する分散 SQL クエリエンジンであり、構造化データを処理し、ジョブ実行効率を向上させます。
制限事項
計算リソース: EMR Serverless StarRocks 計算リソースのみがサポートされています。リソースグループと計算リソース間のネットワーク接続を確保する必要があります。
リソースグループ: このタイプのタスクには、Serverless リソースグループが必要です。
(任意、RAM ユーザーの場合は必須) タスク開発を担当する Resource Access Management (RAM) ユーザーをワークスペースに追加し、[開発者] または [ワークスペース管理者] ロールを割り当ててください。 ワークスペース管理者ロールは広範な権限を持つため、慎重に付与してください。 メンバーの追加に関する詳細については、「ワークスペースにメンバーを追加する」をご参照ください。
Alibaba Cloud アカウントをご利用の場合は、このステップをスキップできます。
ノードの作成
手順については、「ノードの作成」をご参照ください。
ノードの開発
タスクコードを SQL エディターに記述します。コード内で ${variable_name} 形式を使用して変数を定義し、ページ右側の [スケジュール設定] > [スケジュールパラメーター] セクションでそれらに値を割り当てることができます。これにより、実行時にパラメーターを動的に渡すことができます。スケジュールパラメーターについて詳しくは、「スケジュールパラメーターのソースと式」をご参照ください。次のコードは例です:
SHOW TABLES;
-- ${var} を使用して var という名前の変数を定義します。この変数に ${yyyymmdd} の値を割り当てると、ビジネス日付をサフィックスとしてテーブルを作成できます。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP アドレス',
uid STRING COMMENT'ユーザー ID'
)PARTITIONED BY(
dt STRING
); -- スケジューリングパラメーターと組み合わせて使用できます。SQL ステートメントの最大サイズは 130 KB です。
ノードのデバッグ
デバッグプロパティを構成します。
ノードの右側で、Run Configuration および [リソースグループ] を [リソースグループ] パネルで設定します。以下の表では、パラメーターについて説明します。
パラメーター
説明
計算エンジン
使用する EMR Serverless StarRocks 計算リソースを選択します。利用可能な計算リソースがない場合は、ドロップダウンリストから [計算エンジンの作成] を選択できます。
重要計算リソースとリソースグループ間のネットワーク接続を確保してください。詳細については、「ネットワーク接続ソリューション」をご参照ください。
リソースグループ
計算リソースをバインドしたときに接続テストに合格したリソースグループを選択します。
スクリプトパラメーター
ノード構成で
${parameter_name}フォーマットを使用して変数を定義した場合、ここに [パラメーター名] および [パラメーター値] を指定します。実行時、これらの変数は割り当てられた値に置き換えられます。詳細については、「[パラメーター値]」をご参照ください。ノードを実行してデバッグします。
ノードを実行するには、[保存]、[実行] の順にクリックします。
次のステップ
ノードのスケジューリング構成: ノードを定期的なスケジュールで実行するには、ページの右側にある [スケジューリング構成] パネルで [時間プロパティ] と関連するスケジューリングプロパティを設定します。
ノードを公開する:ノードを本番環境に公開するには、
アイコンをクリックします。本番環境に公開されたノードのみがスケジュールされます。タスク O&M: ノードを公開した後、O&M センターでスケジュールされた実行を監視できます。詳細については、「オペレーションセンターの開始」をご参照ください。