DataWorks:EMR Trino ノードの作成

制限事項

• このタイプのタスクは、サーバーレスリソースグループでのみ実行できます。

• DataWorks で DataLake またはカスタムクラスターのメタデータを管理するには、クラスターに EMR-HOOK を設定する必要があります。EMR-HOOK が設定されていない場合、DataWorks でメタデータをリアルタイムで表示したり、監査ログを生成したり、データリネージを表示したり、EMR 関連のガバナンスタスクを実行したりすることはできません。EMR-HOOK の設定方法の詳細については、「Hive 用の EMR-HOOK の設定」をご参照ください。

• Trino で Lightweight Directory Access Protocol (LDAP) 認証が有効になっている場合、EMR クラスターのマスターノードにログインし、/etc/taihao-apps/trino-conf ディレクトリからキーストアファイルをダウンロードする必要があります。DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、More > Management Center をクリックします。ドロップダウンリストから対象のワークスペースを選択し、Go to Management Center をクリックします。左側のナビゲーションウィンドウで、クラスター管理 をクリックします。登録済みの EMR クラスターを見つけます。アカウントマッピング タブで、アカウントマッピングの編集 をクリックし、次に Keystoreファイルのアップロード をクリックしてファイルをアップロードします。

(任意) EMR クラスターインスタンスの選択

複数の EMR クラスターがワークスペースに登録されている場合は、ノードエディターページの上部にあるドロップダウンリストから適切なクラスターを選択します。EMR クラスターが 1 つしか登録されていない場合、DataWorks はデフォルトでそれを選択します。

IP アドレスホワイトリストが設定されているドメインにアクセスするには、専用のスケジューリングリソースグループを使用する必要があります。

コネクタの設定

• MySQL テーブルをクエリする前に、組み込みの EMR Trino コネクタを設定する必要があります。詳細については、「MySQL コネクタ」をご参照ください。

• Hive テーブルをクエリする前に、組み込みの EMR Trino コネクタを設定する必要があります。詳細については、「Hive コネクタ」をご参照ください。

• 他のデータソースのテーブルをクエリするには、「コネクタの設定」で組み込みコネクタの設定方法をご参照ください。

SQL コードの編集

SQL エディターにタスクコードを入力します。以下のコードは一例です。

-- 使用方法
-- SELECT * FROM <catalog>.<schema>.<table>;
-- パラメーターの説明
-- <catalog>：接続するデータソースの名前。
-- <schema>：使用するデータベースの名前。
-- <table>：クエリするテーブル。
-- 例：Hive データソースの default データベースにある hive_table テーブルのデータを表示する場合：
-- Hive テーブルのクエリ
SELECT * FROM hive.default.hive_table;
-- 例：MySQL データソースのユーザー作成 rt_data データベースにある rt_user テーブルのデータを表示する場合：
-- MySQL テーブルのクエリ
SELECT * FROM mysql.rt_data.rt_user;
-- Hive テーブルと MySQL テーブルの結合
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;
-- スケジューリングパラメーターを使用した Hive テーブルのクエリ
SELECT * FROM hive.default.${table_name};

SQL タスクの実行

1. ツールバーで、 アイコンをクリックします。Parameter ダイアログボックスで、スケジューリングリソースグループを選択し、Running をクリックします。

   説明

   • パブリックインターネットまたは VPC 経由でコンピューティングリソースにアクセスするには、コンピューティングリソースに接続できるスケジューリングリソースグループを使用する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。

   • 後続のタスク実行でリソースグループを変更する必要がある場合は、Running with Parameters アイコンをクリックし、目的のリソースグループを選択します。

   • EMR Trino ノードでのクエリは最大 10,000 レコードを返し、合計データサイズは 10 MB を超えることはできません。

2. アイコンをクリックして SQL コードを保存します。

(任意) 詳細パラメーターの設定

SQL ステートメントの実行方法を調整する必要がある場合は、右側のナビゲーションウィンドウで Advanced Settings をクリックします。