E-MapReduce：Jindo Job Committer使用說明

在MapReduce中使用JindoOssCommitter

1. 進入YARN服務的mapred-site頁簽。
   1. 登入阿里雲E-MapReduce控制台。
      
   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      
   3. 單擊上方的叢集管理頁簽。
      
   4. 在叢集管理頁面，單擊相應叢集所在行的詳情。
      
   5. 在左側導覽列中，選擇叢集服務 > YARN。
   6. 單擊配置頁簽。
   7. 在服務配置地區，單擊mapred-site頁簽。
2. 針對Hadoop不同版本，在YARN服務中配置以下參數。
   • Hadoop 2.x版本

     在YARN服務的mapred-site頁簽，設定mapreduce.outputcommitter.class為com.aliyun.emr.fs.oss.commit.JindoOssCommitter。

   • Hadoop 3.x版本

     在YARN服務的mapred-site頁簽，設定mapreduce.outputcommitter.factory.scheme.oss為com.aliyun.emr.fs.oss.commit.JindoOssCommitterFactory。

3. 儲存配置。
   1. 單擊右上方的儲存。
   2. 在確認修改對話方塊中，輸入執行原因，開啟自動更新配置。
   3. 單擊確定。
4. 進入SmartData服務的smartdata-site頁面。
   1. 在左側導覽列中，選擇叢集服務 > SmartData。
   2. 單擊配置頁簽。
   3. 在服務配置地區，單擊smartdata-site頁簽。
5. 在SmartData服務的smartdata-site頁簽，設定fs.oss.committer.magic.enabled為true。
6. 儲存配置。
   1. 單擊右上方的儲存。
   2. 在確認修改對話方塊中，輸入執行原因，開啟自動更新配置。
   3. 單擊確定。

在Spark中使用JindoOssCommitter

1. 進入Spark服務的spark-defaults頁面。
   1. 在左側導覽列單擊叢集服務 > Spark。
   2. 單擊配置頁簽。
   3. 在服務配置地區，單擊spark-defaults頁簽。
2. 在Spark服務的spark-defaults頁面，配置以下參數。

   參數	描述
   spark.sql.sources.outputCommitterClass	com.aliyun.emr.fs.oss.commit.JindoOssCommitter 寫入資料至Spark DataSource表的Job Committer。
   spark.sql.parquet.output.committer.class	com.aliyun.emr.fs.oss.commit.JindoOssCommitter 寫入資料至Spark Parquet格式的DataSource表的Job Committer。
   spark.sql.hive.outputCommitterClass	com.aliyun.emr.fs.oss.commit.JindoOssCommitter 寫入資料至Hive表的Job Committer。

3. 儲存配置。
   1. 單擊右上方的儲存。
   2. 在確認修改對話方塊中，輸入執行原因，開啟自動更新配置。
   3. 單擊確定。
4. 進入SmartData服務的smartdata-site頁簽。
   1. 在左側導覽列單擊叢集服務 > SmartData。
   2. 單擊配置頁簽。
   3. 在服務配置地區，單擊smartdata-site頁簽。
5. 在SmartData服務的smartdata-site頁簽，設定fs.oss.committer.magic.enabled為true。
   說明 您可以通過開關fs.oss.committer.magic.enabled便捷地控制所使用的Job Committer。當開啟時，Spark任務會使用無需Rename操作的Jindo Oss Magic Committer，當關閉時，JindoOssCommitter和FileOutputCommitter行為一樣。
6. 儲存配置。
   1. 單擊右上方的儲存。
   2. 在確認修改對話方塊中，輸入執行原因，開啟自動更新配置。
   3. 單擊確定。

最佳化JindoOssCommitter效能

當MapReduce或Spark任務寫大量檔案的時候，您可以調整MapReduce Application Master或Spark Driver中並發執行Commit相關任務的線程數量，以提升Job Commit效能。在資料湖情境下，可以通過開啟 OSS 的多版本功能進行資料保護，防止資料勿刪等情況的發生。

1. 進入SmartData服務的smartdata-site頁面。
   1. 在左側導覽列中，選擇叢集服務 > SmartData。
   2. 單擊配置頁簽。
   3. 在服務配置地區，單擊smartdata-site頁簽。
2. 在SmartData服務的smartdata-site頁面，設定fs.oss.committer.threads為8。
   預設值為8。
3. 儲存配置。
   1. 單擊右上方的儲存。
   2. 在確認修改對話方塊中，輸入執行原因，開啟自動更新配置。
   3. 單擊確定。

最佳化Jindo Oss Magic Committer效能

在資料湖情境下，您可以通過開啟OSS的多版本功能來保護資料，防止資料勿刪等情況。在OSS Bucket開啟多版本的情況下，如果在相同目錄下頻繁執行建立和刪除操作，會降低目錄List效能。因此，在SmartData 3.4.0版本最佳化了Jindo Oss Magic Committer效能，對於臨時目錄和檔案，會連同歷史版本一起刪除，避免冗餘的臨時目錄影響List效能。使用Jindo Oss Magic Committer時，預設開啟臨時目錄歷史版本清理功能。

如果需要關閉自動清理功能，您可以在作業中設定fs.jfs.cache.oss.delete-marker.dirs為空白字元，或者在SmartData服務的smartdata-site頁面，修改fs.jfs.cache.oss.delete-marker.dirs 為temporary,.staging,.hive-staging,__magic。

使用JindoOssDirectCommitter

對於開啟多版本的Bucket，可以使用JindoOssDirectCommitter，避免產生臨時檔案，直接輸出到目標目錄。您可以修改Committer的配置為com.aliyun.emr.fs.oss.commit.direct.JindoOssDirectCommitter，以使用JindoOssDirectCommitter。