DataWorks:CDH Hive ノード

前提条件

• Alibaba Cloud CDH クラスターを作成し、DataWorks ワークスペースに関連付けていること。詳細については、「CDH コンピュートエンジンの関連付け」をご参照ください。

  重要

  CDH クラスターに Hive コンポーネントをインストールし、クラスターを関連付ける際に Hive 接続情報を設定済みであること。

• (任意、RAM ユーザーの場合) タスク開発用の RAM ユーザーが対応するワークスペースに追加され、Development または スペース管理者 ロールが付与されていること。[ワークスペース管理者] ロールは広範な権限を持つため、慎重に付与してください。メンバーの追加に関する詳細については、「ワークスペースへのメンバーの追加」をご参照ください。

  説明

  Alibaba Cloud アカウント (root ユーザー) を使用している場合は、このステップをスキップできます。

• DataWorks で Hive データソースを設定し、そのデータソースが接続性テストに合格したことを確認済みであること。詳細については、「データソースの管理」をご参照ください。

制限事項

このタイプのタスクは、サーバーレスリソースグループ (推奨) またはスケジューリング用のレガシーな専用リソースグループで実行できます。

ノードの作成

手順については、「ノードの作成」をご参照ください。

ノードの開発

SQL エディターでタスクコードを記述します。コード内で ${variable_name} という形式を使用して変数を定義できます。その後、ノード編集ページの右側にある Scheduling Settings ペインの Scheduling Parameters セクションで、変数に値を割り当てます。これにより、スケジューリング中にコードにパラメーターを動的に渡すことができます。スケジューリングパラメーターの詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。以下のコードは一例です。

SHOW TABLES;

SELECT * FROM userinfo ;
-- スケジューリングパラメーターと併用できます。
SELECT '${var}'; 

ノードのデバッグ

1. Run Configuration タブの Compute Resource セクションで、Compute Resource と Resource Group を設定します。

   1. [コンピュートリソース] には、DataWorks に登録した CDH クラスターを選択します。

   2. [リソースグループ] には、データソースとの接続性テストに合格したスケジューリングリソースグループを選択します。詳細については、「ネットワーク接続ソリューション」をご参照ください。

2. ノード編集ページ上部のツールバーで、Run をクリックしてタスクを実行します。

次のステップ

• ノードスケジューリングの設定：ノードを定期的に実行する必要がある場合は、右側の Scheduling Settings パネルで Scheduling Policy を設定します。

• ノードの公開：タスクを本番環境で実行するには、 アイコンをクリックしてノードを公開します。ノードは、本番環境に公開された後にのみ、スケジュールに従って実行されます。

• タスクの O&M：タスクが公開された後、オペレーションセンターで定期実行のステータスをモニターできます。詳細については、「オペレーションセンター入門」をご参照ください。