DataWorks:EMR Trinoノードの作成

制限

• EMR Trinoタスクは、サーバーレスリソースグループでのみ実行できます。

• DataWorksでDataLakeまたはカスタムクラスタのメタデータを管理する場合、最初にクラスタでEMR-HOOKを構成する必要があります。 クラスタでEMR-HOOKを構成しないと、メタデータがリアルタイムで表示されず、監査ログが生成されず、DataWorksにデータ系列が表示されません。 EMRガバナンスタスクも実行できません。 EMR-HOOKの構成方法については、「Hive拡張機能を使用してデータ系列と履歴アクセス情報を記録する」をご参照ください。

• TrinoでLightweight Directory Access Protocol（LDAP）認証を有効にする場合は、EMRクラスタのマスターノードにログインし、/etc/taihao-apps/trino-confディレクトリにあるキーストアファイルをダウンロードする必要があります。 次に、以下の手順を実行してキーストアファイルをアップロードします。 DataWorksコンソールにログインします。 左側のナビゲーションウィンドウで、[その他] > [管理センター] を選択します。 表示されるページで、目的のワークスペースを選択し、[管理センターに移動] をクリックします。 表示されるページの左側のナビゲーションウィンドウで、[クラスタ管理] をクリックします。 次に、目的のクラスタを見つけて、[アカウントマッピング] タブをクリックします。 タブの右上隅にある [アカウントマッピングの編集] をクリックします。 表示されるページで、[キーストアファイルのアップロード] をクリックして、キーストアファイルをアップロードします。

（オプション）EMRクラスタを選択する

ワークスペースに複数のEMRクラスタが登録されている場合は、ビジネス要件に基づいて、ノードの構成タブの上部にある [エンジンインスタンスEMR] ドロップダウンリストから1つ選択する必要があります。 ワークスペースに1つだけのEMRクラスタが登録されている場合は、そのEMRクラスタを使用してタスクが開発されます。

コネクタを構成する

• MySQLテーブルからデータをクエリする前に、組み込みのMySQLコネクタを構成する必要があります。 詳細については、「MySQLコネクタ」をご参照ください。

• Hiveテーブルからデータをクエリする前に、組み込みのHiveコネクタを構成する必要があります。 詳細については、「Hiveコネクタ」をご参照ください。

• 他のデータソースのテーブルからデータをクエリする前に、データソースの関連コネクタを構成する必要があります。 詳細については、「コネクタを構成する」をご参照ください。

SQLコードを開発する

SQLエディターで、ノードのコードを入力します。 例：

-- 使用方法
-- SELECT * FROM <catalog>.<schema>.<table>;
-- パラメータの説明
-- <catalog> は、目的のデータソースの名前を指定します。
-- <schema> は、使用するデータベースの名前を指定します。
-- <table> は、クエリするテーブルの名前を指定します。
-- たとえば、次のステートメントを実行して、Hiveデータソースのデフォルトデータベースにある hive_table テーブルからデータをクエリできます。
-- Hiveテーブルからデータをクエリします。
SELECT * FROM hive.default.hive_table;

-- たとえば、次のステートメントを実行して、MySQLデータソースの rt_data データベースにある rt_user テーブルからデータをクエリできます。
-- MySQLテーブルからデータをクエリします。
SELECT * FROM mysql.rt_data.rt_user;

-- HiveテーブルとMySQLテーブルで結合クエリを実行します。
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;

-- スケジューリングパラメータを使用して、特定のHiveテーブルからデータをクエリします。
SELECT * FROM hive.default.${table_name};

Trinoタスクを実行する

1. 上部ツールバーの アイコンをクリックします。 [パラメータ] ダイアログボックスで、スケジューリング用に作成されたリソースグループを選択し、[実行] をクリックします。

   説明

   • インターネットまたはVPCを介して計算リソースにアクセスする場合は、計算リソースに接続されているスケジューリング用のリソースグループを使用します。 詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • 後続の操作でリソースグループを変更する場合は、 （パラメータ付きで実行） アイコンをクリックして、[パラメータ] ダイアログボックスでリソースグループを変更できます。

   • EMR Trinoノードを使用してデータをクエリする場合、最大 10,000 件のデータレコードを返すことができ、返されるデータレコードの合計サイズは 10 MB を超えることはできません。

2. アイコンをクリックして、SQL文を保存します。

（オプション）詳細パラメータを構成する

SQL文の実行モードを変更する場合は、右側のナビゲーションウィンドウで [詳細設定] をクリックし、次の表に示すパラメータを構成します。