CDH クラスターで Impala SQL を実行してクエリを高速化 - DataWorks - Alibaba Cloud - DataWorks

DataWorks では、CDH Impala ノードを使用して Impala SQL スクリプトを作成し、実行できます。CDH Hive ノードと比較して、CDH Impala ノードはより高速なクエリパフォーマンスを提供します。このトピックでは、CDH Impala ノードの設定方法と使用方法について説明します。

前提条件

Alibaba Cloud CDH クラスターが作成され、DataWorks ワークスペースに関連付けられていること。詳細については、「Data Studio: CDH 計算リソースの関連付け」をご参照ください。
重要
CDH クラスターに Impala コンポーネントがインストールされており、クラスターを関連付ける際に Impala の接続情報を設定済みであることを確認してください。
(任意) タスクを開発する RAM ユーザーが対応するワークスペースに追加され、開発者またはワークスペース管理者ロール (広範な権限を付与するため、注意して追加してください) が付与されていること。メンバーの追加に関する詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
DataWorks で Hive データソースが設定され、接続性テストに合格していること。詳細については、「データソース管理」をご参照ください。

ノードの作成

手順については、「ノードの作成」をご参照ください。

ノードの開発

SQL エディターでタスクコードを作成します。${variable_name} のフォーマットで変数を定義できます。その後、Scheduling Settings タブの Scheduling Parameters セクションで変数に値を割り当てることができます。これにより、ノードがスケジュールされて実行される際に、パラメーターを動的に渡すことができます。スケジューリングパラメーターの使用方法に関する詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。以下にコード例を示します。

SHOW TABLES;

SELECT * FROM userinfo ;
-- スケジューリングパラメーターを使用できます。
SELECT '${var}';

ノードのデバッグ

Run Configuration の Compute Resource セクションで、Compute Resource と Resource Group を設定します。
1. 計算リソースには、DataWorks に登録した CDH クラスターの名前を選択します。
2. データソースとの接続性テストに合格したスケジューリング用のリソースグループを選択します。詳細については、「ネットワーク接続ソリューション」をご参照ください。
ノードエディター上部のツールバーで Run をクリックします。

次のステップ

ノードスケジューリングの設定：ノードを定期的に実行する必要がある場合は、右側の Scheduling Settings パネルで Scheduling Policy を設定します。
ノードの公開：タスクを本番環境で実行するには、アイコンをクリックしてノードを公開します。ノードは、本番環境に公開された後にのみスケジュールどおりに実行されます。
タスクの O&M：タスクが公開された後、オペレーションセンターで定期実行のステータスをモニターできます。詳細については、「オペレーションセンター入門」をご参照ください。