DataWorks:EMR Trinoノードの作成

制限

• EMR Trinoタスクは、サーバーレスリソースグループでのみ実行できます。

• DataWorksでDataLakeまたはカスタムクラスターのメタデータを管理する場合、最初にクラスターでEMR-HOOKを構成する必要があります。 クラスターでEMR-HOOKを構成しないと、メタデータがリアルタイムで表示されず、監査ログが生成されず、DataWorksにデータ系列が表示されません。 EMRガバナンスタスクも実行できません。 EMR-HOOKの構成方法については、「Hive拡張機能を使用してデータ系列と履歴アクセス情報を記録する」をご参照ください。

• TrinoでLightweight Directory Access Protocol (LDAP) 認証を有効にする場合は、EMRクラスターのマスターノードにログオンし、/etc/taihao-apps/trino-confディレクトリにあるキーストアファイルをダウンロードする必要があります。 次に、以下の手順を実行してキーストアファイルをアップロードします。 DataWorksコンソールにログオンします。 左側のナビゲーションペインで、[その他] > [管理センター] を選択します。 表示されるページで、目的のワークスペースを選択し、[管理センターに移動] をクリックします。 表示されるページの左側のナビゲーションペインで、[クラスター管理] をクリックします。 次に、目的のクラスターを見つけ、[アカウントマッピング] タブをクリックします。 タブの右上隅にある [アカウントマッピングの編集] をクリックします。 表示されるページで、[キーストアファイルのアップロード] をクリックして、キーストアファイルをアップロードします。

(オプション) EMRクラスターを選択する

ワークスペースに複数のEMRクラスターが登録されている場合は、ビジネス要件に基づいて、ノードの構成タブの上部にある [エンジンインスタンスEMR] ドロップダウンリストから1つ選択する必要があります。 ワークスペースにEMRクラスターが1つだけ登録されている場合は、そのEMRクラスターを使用してタスクが開発されます。

コネクタを構成する

• MySQLテーブルからデータをクエリする前に、組み込みのMySQLコネクタを構成する必要があります。 詳細については、「MySQLコネクタ」をご参照ください。

• Hiveテーブルからデータをクエリする前に、組み込みのHiveコネクタを構成する必要があります。 詳細については、「Hiveコネクタ」をご参照ください。

• 他のデータソースのテーブルからデータをクエリする前に、データソースの関連コネクタを構成する必要があります。 詳細については、「コネクタを構成する」をご参照ください。

SQLコードを開発する

SQLエディターで、ノードのコードを入力します。 例：

-- 使用方法
-- SELECT * FROM <catalog>.<schema>.<table>;
-- パラメーターの説明
-- <catalog> は、目的のデータソースの名前を指定します。
-- <schema> は、使用するデータベースの名前を指定します。
-- <table> は、クエリするテーブルの名前を指定します。
-- たとえば、次のステートメントを実行して、Hiveデータソースのデフォルトデータベースにある hive_table テーブルからデータをクエリできます。
-- Hiveテーブルからデータをクエリします。
SELECT * FROM hive.default.hive_table;

-- たとえば、次のステートメントを実行して、MySQLデータソースの rt_data データベースにある rt_user テーブルからデータをクエリできます。
-- MySQLテーブルからデータをクエリします。
SELECT * FROM mysql.rt_data.rt_user;

-- HiveテーブルとMySQLテーブルで結合クエリを実行します。
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;

-- スケジューリングパラメーターを使用して、特定のHiveテーブルからデータをクエリします。
SELECT * FROM hive.default.${table_name};

Trinoタスクを実行する

1. 上部のツールバーの アイコンをクリックします。 [パラメーター] ダイアログボックスで、スケジューリング用に作成されたリソースグループを選択し、[実行] をクリックします。

   説明

   • インターネットまたは仮想プライベートクラウド (VPC) 経由でデータソースにアクセスする場合は、データソースに接続されているスケジューリング用リソースグループを使用する必要があります。 詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • 後続の操作でリソースグループを変更する場合は、 ([パラメーター付きで実行]) アイコンをクリックして、[パラメーター] ダイアログボックスでリソースグループを変更できます。

   • EMR Trinoノードを使用してデータをクエリする場合、最大 10,000 件のデータレコードを返すことができ、返されるデータレコードの合計サイズは 10 MB を超えることはできません。

2. アイコンをクリックして、SQLステートメントを保存します。

(オプション) 詳細パラメーターを構成する

SQLステートメントの実行モードを変更する場合は、右側のナビゲーションペインで [詳細設定] をクリックし、次の表に示すパラメーターを構成します。