E-MapReduce:SparkSQL 拡張機能によるデータリネージとアクセス履歴

前提条件

DataLake または Spark サービスを搭載したカスタムクラスターが必要です。詳細については、「クラスターの作成」をご参照ください。

制限事項

• EMR-HOOK は、EMR-CLI を使用してカスタムデプロイされたゲートウェイ環境のジョブから SQL 情報を収集することをサポートしていません。

• EMR バージョン 5.16.0 および 3.50.0 より前のバージョンでは、Hive 向けの hive.exec.post.hooks パラメーターおよび Spark 向けの spark.sql.queryExecutionListeners パラメーターの設定がゲートウェイノードに同期されません。EMR バージョン 5.16.0 以降および 3.50.0 以降では、これらの設定がゲートウェイノードに同期されます。また、これらのバージョンでは、ゲートウェイノード上でカスタム拡張 JAR ファイルを個別に使用できるようにする hive_aux_jars_path_gateway_only パラメーターも導入されています。

操作手順

1. ご利用のクラスターの [サービス] ページに移動します。

   1. E-MapReduce コンソール にログインします。

   2. 上部ナビゲーションバーで、ご利用の要件に基づきリージョン およびリソースグループ を選択します。

   3. ECS 上の EMR ページで、対象のクラスターを見つけ、[サービス] 列の Services をクリックします。

2. E-MapReduce フックを構成します。

   1. Services ページで、Spark2 または Spark3 サービスを見つけ、Configure をクリックします。

   2. Configure ページの該当するタブで、E-MapReduce フックの以下のパラメーターを編集または追加します。

      タブ	パラメーター	説明
      spark-defaults.conf	spark.sql.queryExecutionListeners	データリネージおよびアクセス頻度のために Spark サービスから SQL 情報をキャプチャします。 E-MapReduce フックを有効にするには、このパラメーターを com.aliyun.emr.meta.spark.listener.EMRQueryLogger に設定します。 E-MapReduce フックを無効にするには、パラメーター値を空のままにします。
      hive-site.xml	dlf.emrhook.webtracking	アクセス頻度のレポートを有効にするかどうかを指定します。有効な値は以下のとおりです。 true：有効 false：無効

      説明

      E-MapReduce フックを無効にすると、Data Lake Formation (DLF) コンソールのデータテーブルの [データ概要] ページに、[過去 1 日間のファイル訪問数]、[過去 7 日間のファイル訪問数]、および [過去 30 日間のファイル訪問数] のデータが表示されなくなります。

   3. 構成を保存します。

      1. Configure ページで、Save をクリックします。

      2. 表示されるダイアログボックスで、Execution Reason フィールドに理由を入力し、Save をクリックします。

3. Spark サービスを再起動します。

   1. Configure ページで、More > 再起動 を選択します。

   2. 表示されるダイアログボックスで、Execution Reason フィールドに理由を入力し、OK をクリックします。

   3. [確認] ダイアログボックスで、[OK] をクリックします。

4. データ概要およびデータリネージを表示します。

   • Data Lake Formation (DLF) でデータ概要を表示します。詳細については、「データテーブルのデータ概要」をご参照ください。

   • DataWorks でデータリネージを表示します。詳細については、「データリネージ分析」をご参照ください。

よくある質問

関連ドキュメント

Hive サービス向けに E-MapReduce フックを構成する方法については、「Hive 拡張機能によるデータリネージおよびアクセス履歴の記録」をご参照ください。