E-MapReduce (EMR) StarRocks SQL ノードを作成できます。このノードは、EMR Serverless StarRocks 計算リソース に基づく分散 SQL クエリエンジンを使用して構造化データを処理し、ジョブの実行効率を向上させます。
適用範囲
計算リソース: EMR Serverless StarRocks 計算リソース のみがサポートされています。リソースグループと計算リソースがネットワーク経由で相互に接続できることを確認してください。
リソースグループ: このタイプのタスクを実行するには、サーバーレスリソースグループ のみを使用できます。
(オプション) Resource Access Management (RAM) ユーザーの場合は、タスク開発用のワークスペースに追加され、[開発者] または [ワークスペース管理者] ロールが割り当てられていることを確認してください。ワークスペース管理者ロールには広範な権限があります。このロールは慎重に付与してください。メンバーの追加の詳細については、「ワークスペースにメンバーを追加する」をご参照ください。
Alibaba Cloud アカウントを使用している場合は、このステップをスキップできます。
ノードの作成
詳細については、「ノードを作成する」をご参照ください。
ノードを開発する
SQL 編集エリアでノードのコードを開発する際、${variable_name} フォーマットを使用して変数を定義し、ノード編集ページの右側にある [スケジューリング設定] の下の [スケジューリングパラメーター] セクションで各変数に値を割り当てることができます。これにより、スケジューリングシナリオでコードにパラメーターを動的に渡すことができます。スケジューリングパラメーターの使用方法の詳細については、「サポートされているスケジューリングパラメーターのフォーマット」をご参照ください。以下に例を示します。
SHOW TABLES;
-- ${var} を使用して var という名前の変数を定義します。この変数に値 ${yyyymmdd} を割り当てると、データタイムスタンプをサフィックスとして持つテーブルを作成できます。
CREATE TABLE IF NOT EXISTS userinfo_new_${var} (
ip STRING COMMENT'IP アドレス',
uid STRING COMMENT'ユーザー ID'
)PARTITIONED BY(
dt STRING
); -- これはスケジューリングパラメーターと共に使用できます。SQL 文の最大サイズは 130 KB です。
ノードのテスト
テストプロパティを設定します。
ノードの右側にある [デバッグ設定] セクションで、[計算リソース] と [リソースグループ] を設定します。パラメーターは次のとおりです。
パラメーター
説明
計算リソース
アタッチされた EMR Serverless StarRocks 計算リソース を選択します。利用可能な計算リソースがない場合は、ドロップダウンリストから [計算リソースの作成] を選択します。
重要計算リソースとリソースグループがネットワーク経由で相互に接続できることを確認してください。詳細については、「ネットワーク接続ソリューション」をご参照ください。
リソースグループ
計算リソースをアタッチしたときに接続性テストに合格したリソースグループを選択します。
スクリプトパラメーター
ノードコンテンツを設定する際、
${パラメーター名}フォーマットを使用して変数を定義できます。その後、[スクリプトパラメーター] セクションで [パラメーター名] と [パラメーター値] を設定する必要があります。実行時に、変数はその実際の値に動的に置き換えられます。詳細については、「サポートされているスケジューリングパラメーターのフォーマット」をご参照ください。ノードを実行してテストします。
ノードタスクを実行するには、[保存] をクリックし、次に [実行] をクリックします。
次のステップ
ノードのスケジューリング: プロジェクトフォルダー内のノードを定期的に実行する必要がある場合は、ノードページの右側にある [スケジューリング設定] セクションで [スケジューリングポリシー] を設定し、スケジューリングプロパティを設定できます。
ノードの公開: タスクを本番環境で実行する必要がある場合は、
アイコンをクリックしてタスクを公開します。プロジェクトフォルダー内のノードは、本番環境に公開された後にのみスケジュールに従って実行されます。タスクの O&M: タスクを公開した後、オペレーションセンターで定期タスクのステータスを表示できます。詳細については、「オペレーションセンター入門」をご参照ください。