DataWorks では、CDH Presto ノードを使用してリアルタイムデータ分析を実行できます。 このノードは、分散 SQL クエリエンジンを提供し、ご利用の CDH 環境のデータ分析能力を強化します。 このトピックでは、CDH Presto ノードの設定方法と使用方法について説明します。
前提条件
Alibaba Cloud CDH クラスターを作成し、DataWorks ワークスペースに関連付けていること。 詳細については、「新しいデータ開発:CDH コンピュートエンジンのバインド」をご参照ください。
重要CDH クラスターに Presto コンポーネントがインストールされており、クラスターをバインドする際に関連情報が設定されていることを確認してください。
-
(任意、RAM ユーザーの場合) タスク開発用の RAM ユーザーが対応するワークスペースに追加され、Development または スペース管理者 ロールが付与されていること。 ワークスペース管理者ロールには広範な権限があるため、慎重に付与してください。 メンバーの追加に関する詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
説明Alibaba Cloud アカウントを使用している場合は、このステップをスキップできます。
DataWorks で Hive データソースを設定し、そのデータソースが接続性テストに合格していることを確認済みであること。 詳細については、「データソースの管理」をご参照ください。
ノードの作成
手順については、「ノードの作成」をご参照ください。
ノード開発
SQL エディターでタスクコードを開発できます。 コード内で ${variable_name} フォーマットを使用して変数を定義できます。 次に、ノード編集ページの右側にあるScheduling Settings パネルのScheduling Parameters セクションで、変数に値を割り当てます。 これにより、ノードがスケジュールに従って実行されるときに、コードにパラメーターを動的に渡すことができます。 スケジューリングパラメーターの詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。 次のコードに例を示します。
SHOW TABLES;
SELECT * FROM userinfo ;
-- スケジューリングパラメーターと併用できます。
SELECT '${var}'; ノードのデバッグ
Run Configuration タブで、Compute Resource と Resource Group を Compute Resource セクションで設定します。
[コンピューティングリソース] には、DataWorks に登録した CDH クラスターの名前を選択します。
データソースとの接続性テストに合格したスケジューリングリソースグループを選択します。 詳細については、「ネットワーク接続ソリューション」をご参照ください。
ノード編集ページ上部のツールバーで、Run をクリックします。
次のステップ
ノードスケジューリングの設定: ノードを定期的に実行する必要がある場合は、右側の Scheduling Settings パネルでその Scheduling Policy を設定します。
ノードの公開:タスクを本番環境で実行するには、
アイコンをクリックしてノードを公開します。 ノードは、本番環境に公開された後にのみ、スケジュールに基づいて実行されます。タスクの O&M:タスクが公開された後、オペレーションセンターで定期実行のステータスをモニターできます。 詳細については、「オペレーションセンター入門」をご参照ください。