DataWorks:EMR Trino ノードの作成

制限事項

• EMR Trino タスクは、サーバーレスリソースグループでのみ実行できます。

• DataWorks で DataLake またはカスタムクラスターのメタデータを管理するには、まずクラスターに EMR-HOOK を設定する必要があります。この設定がないと、DataWorks はリアルタイムメタデータの表示、監査ログの生成、データリネージの表示、または EMR 関連のガバナンスタスクを実行できません。EMR-HOOK の設定方法については、「Hive 用 EMR-HOOK の設定」をご参照ください。

• Trino で Lightweight Directory Access Protocol (LDAP) 認証が有効になっている場合、EMR マスターノードにログインし、/etc/taihao-apps/trino-conf ディレクトリからキーストアファイルをダウンロードする必要があります。次に、DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、[その他] > [管理センター] をクリックします。ドロップダウンリストから対象のワークスペースを選択し、[管理センターへ] をクリックします。左側のナビゲーションウィンドウで、[クラスター管理] をクリックします。対象の EMR クラスターを見つけ、[アカウントマッピング] タブに移動し、[アカウントマッピングの編集] をクリックしてから、[キーストアファイルのアップロード] をクリックしてファイルをアップロードします。

(任意) EMR クラスターの選択

ワークスペースに複数の EMR クラスターが登録されている場合は、ノードエディターの上部で適切なクラスターを選択できます。1 つしか登録されていない場合、DataWorks はデフォルトでそれを使用します。

コネクタの設定

• MySQL テーブルをクエリするには、EMR Trino の組み込みコネクタを設定する必要があります。詳細については、「MySQL コネクタの設定」をご参照ください。

• Hive テーブルをクエリするには、EMR Trino の組み込みコネクタを設定する必要があります。詳細については、「Hive コネクタの設定」をご参照ください。

• 他のデータソースのテーブルをクエリするには、対応する組み込みコネクタを設定します。詳細については、「コネクタの設定」をご参照ください。

SQL コードの編集

SQL エディターにタスクコードを入力します。以下のコードは一例です。

-- 使用法
-- SELECT * FROM <catalog>.<schema>.<table>;
-- パラメーターの説明
-- <catalog>：接続するデータソースの名前。
-- <schema>：使用するデータベースの名前。
-- <table>：クエリするテーブル。
-- 例：Hive データソースのデフォルトデータベースにある hive_table のデータを表示する場合：
-- Hive テーブルのクエリ
SELECT * FROM hive.default.hive_table;

-- 例：MySQL データソースのカスタム rt_data データベースにある rt_user テーブルのデータを表示する場合：
-- MySQL テーブルのクエリ
SELECT * FROM mysql.rt_data.rt_user;

-- Hive テーブルと MySQL テーブルの結合
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;

-- スケジューリングパラメーターを使用した Hive テーブルのクエリ
SELECT * FROM hive.default.${table_name};

SQL タスクの実行

1. ツールバーの アイコンをクリックします。[パラメーター] ダイアログボックスで、スケジューリングリソースグループを選択し、[実行] をクリックします。

   説明

   • パブリックインターネットまたは Virtual Private Cloud (VPC) 経由で計算リソースにアクセスするには、リソースとのネットワーク接続テストに合格したスケジューリングリソースグループを使用する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • 後続の実行でリソースグループを変更する必要がある場合は、[パラメーターを指定して実行] アイコンをクリックし、別のスケジューリングリソースグループを選択します。

   • EMR Trino ノードを使用してデータをクエリする場合、1 つのクエリで最大 10,000 レコードを返すことができ、合計データサイズは 10 MB を超えることはできません。

2. アイコンをクリックして SQL コードを保存します。

(任意) 詳細パラメーター

SQL ステートメントの実行方法を調整する必要がある場合は、右側のナビゲーションウィンドウで [詳細設定] をクリックしてパラメーターを設定します。