開啟native查詢加速

使用限制

• 不支援對Binary類型檔案進行加速。

• 不支援分區列的值儲存在檔案中的分區表。

• 不支援EMR-5.X系列及後續版本的E-MapReduce叢集。

• 不支援代碼spark.read.schema（userDefinedSchema）。

• 支援Date類型區間為1400-01-01到9999-12-31。

• 同一個表中查詢列不支援區分大小寫。例如，NAME和name兩個列在同一個表中無法使用查詢加速。

• Spark、Hive和Presto服務支援的引擎和儲存格式如下。

  引擎	ORC	Parquet
  Spark2	支援	支援
  Spark3	支援	支援
  Presto	支援	支援
  Hive2	不支援	支援
  Hive3	不支援	支援

• Spark、Hive和Presto服務支援的引擎和隱藏檔系統如下。

  引擎	OSS	JFS	HDFS
  Spark2	支援	支援	支援
  Presto	支援	支援	支援
  Hive2	支援	支援	不支援
  Hive3	支援	支援	不支援

提升Spark效能

1. 開啟JindoTable ORC或Parquet加速。

   說明

   • 因為查詢加速使用的是堆外記憶體，所以在Spark任務中建議添加配置--conf spark.executor.memoryOverhead=4g，提高Spark申請額外資源用來進行加速。

   • Spark讀取ORC或Parquet時，需要使用DataFrame API或者Spark-SQL。

   • 全域設定

     1. 進入詳情頁面。

        1. 登入阿里雲E-MapReduce控制台。

        2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。

        3. 單擊上方的集群管理頁簽。

        4. 在集群管理頁面，單擊相應叢集所在行的详情。

     2. 修改配置。

        1. 在左側導覽列，選擇集群服务 > Spark。

        2. 在Spark服務頁面，單擊配置頁簽。

        3. 在搜尋地區，搜尋參數spark.sql.extensions，修改參數值為io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension。

     3. 儲存配置。

        1. 單擊保存。

        2. 在确认修改對話方塊中，輸入执行原因，單擊确定。

     4. 重啟ThriftServer。

        1. 在右上方選擇操作 > 重啟ThriftServer。

        2. 在執行叢集操作對話方塊中，輸入执行原因，單擊确定。

        3. 在确认對話方塊中，單擊确定。

   • Job層級設定

     使用spark-shell或者spark-sql時，可以添加Spark的啟動參數。

     --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension

     作業詳情請參見Spark Shell作業配置或Spark SQL作業配置。

2. 檢查開啟情況。

   1. 登入Spark History Server UI頁面。

   2. 在Spark的SQL頁面，查看執行任務。

      當出現JindoDataSourceV2Scan時，表示開啟成功。否則，請排查步驟1中的操作。在 Details for Query 10 頁面中，DAG 執行計畫顯示 JindoDataSourceV2Scan 掃描了 15.6 GB 資料（約 140 億行），經過濾後剩餘約 27 億行，最終通過 HashAggregate 彙總輸出 4,722 行，總耗時 2.3 分鐘。

提升Presto效能

presto --server emr-header-1:9090 --catalog hive-acc --schema default

提升Hive效能