E-MapReduce:ネイティブエンジンに基づくクエリ高速化を有効にする

制限事項

• バイナリファイルはサポートされていません。

• パーティションキー列の値がファイルに格納されているパーティションテーブルはサポートされていません。

• V5.X.X 以降のバージョンの EMR クラスターはサポートされていません。

• spark.read.schema（userDefinedSchema）はサポートされていません。

• DATE 型のデータは YYYY-MM-DD 形式で、1400-01-01 から 9999-12-31 までの範囲である必要があります。

• テーブルに、NAME と name など、大文字と小文字が異なる同じ列名の列が 2 つ含まれている場合、列に対するクエリは高速化できません。

• 次の表に、サポートされている Spark、Hive、および Presto エンジンと、各エンジンでサポートされているファイル形式を示します。

  エンジン	ORC	Parquet
  Spark2	サポート対象	サポート対象
  Spark3	サポート対象	サポート対象
  Presto	サポート対象	サポート対象
  Hive2	サポート対象外	サポート対象
  Hive3	サポート対象外	サポート対象

• 次の表に、サポートされている Spark、Hive、および Presto エンジンと、各エンジンでサポートされているファイルシステムを示します。

  エンジン	OSS	JindoFS	HDFS
  Spark2	サポート対象	サポート対象	サポート対象
  Presto	サポート対象	サポート対象	サポート対象
  Hive2	サポート対象	サポート対象	サポート対象外
  Hive3	サポート対象	サポート対象	サポート対象外

Spark のパフォーマンスを向上させる

1. JindoTable 内の ORC または Parquet ファイルのクエリ高速化を有効にします。

   説明

   • クエリ高速化はオフヒープメモリを消費します。 --conf spark.executor.memoryOverhead=4g を Spark タスクに追加して、クエリ高速化のための追加リソースを申請することをお勧めします。

   • Spark を使用して ORC または Parquet ファイルからデータを読み取る場合は、DataFrame API または Spark SQL が必要です。

   • グローバル設定

     1. クラスターの [クラスターの概要] ページに移動します。

        1. Alibaba Cloud EMR コンソール にログインします。

        2. 上部のナビゲーションバーで、クラスターを作成するリージョンを選択します。クラスターのリージョンは、クラスターの作成後に変更することはできません。

        3. [クラスター管理] タブをクリックします。

        4. [クラスター管理] ページで、クラスターを見つけて、[アクション] 列の [詳細] をクリックします。

     2. 関連パラメーターを変更します。

        1. 表示されるページの左側のナビゲーションペインで、[クラスターサービス] > [spark] を選択します。

        2. Spark サービスページで、[構成] タブをクリックします。

        3. spark.sql.extensions パラメーターを検索し、その値を io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension に変更します。

     3. 設定を保存します。

        1. 右上隅にある [保存] をクリックします。

        2. [変更の確認] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。

     4. ThriftServer を再起動します。

        1. 右上隅にある [アクション] > [thriftserver の再起動] を選択します。

        2. [クラスターアクティビティ] ダイアログボックスで、[説明] を指定し、[OK] をクリックします。

        3. [確認] メッセージで、[OK] をクリックします。

   • ジョブレベルの設定

     Spark Shell または Spark SQL ジョブを構成する場合は、次の設定をコードに追加します。

     --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension

     Spark ジョブの構成方法の詳細については、「Spark Shell ジョブの構成」または「Spark SQL ジョブの構成」をご参照ください。

2. クエリ高速化が有効になっているかどうかを確認します。

   1. Spark History Server の Web UI にアクセスします。

   2. Spark の [SQL] タブで、関連タスクに関する情報を表示します。

      JindoDataSourceV2Scan が表示されている場合は、クエリ高速化が有効になっています。そうでない場合は、手順 1 の設定を確認してください。

Presto のパフォーマンスを向上させる

presto --server emr-header-1:9090 --catalog hive-acc --schema default

Hive のパフォーマンスを向上させる