本文介紹如何配置Hadoop MapReduce類型的作業。
前提條件
已建立好專案，詳情請參見專案管理。操作步驟
- 進入資料開發的專案列表頁面。
- 通過阿里雲帳號登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處，根據實際情況選擇地區和資源群組。
- 單擊上方的資料開發頁簽。
- 單擊待編輯專案所在行的作業編輯。
- 建立Hadoop MapReduce類型作業。
- 在頁面左側，在需要操作的檔案夾上單擊右鍵，選擇新增作業。
- 在新增作業對話方塊中，輸入作業名稱和作業描述，從作業類型下拉式清單中選擇MR作業類型。表示建立的作業是一個Hadoop MapReduce作業。這種類型的作業，實際是通過以下方式提交運行。
hadoop jar xxx.jar [MainClass] -D xxx .... - 單擊確定。
- 編輯作業內容。
- 在作業內容中，填寫提交該作業需要提供的命令列參數。填寫的命令列參數需要從
hadoop jar命令後的第一個參數開始填寫，即在輸入框中首先填寫運行該作業所需JAR包的所在路徑，再填寫[MainClass]和其它您想要設定的命令列參數。例如，您想要提交一個Hadoop的sleep作業，該作業不讀寫任何資料，只提交一些mapper和reducer task到叢集中，且每個task執行時需要 sleep一段時間。在Hadoop（以hadoop-2.6.0版本為例）中，該作業處於Hadoop發行版的hadoop-mapreduce-client-jobclient-2.6.0-tests.jar包檔案中。如果您通過命令列的方式提交該作業，需要執行以下命令。hadoop jar /path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep -m 3 -r 3 -mt 100 -rt 100而在E-MapReduce中配置這個作業，則應在作業內容輸入框中填寫以下內容。/path/to/hadoop-mapreduce-client-jobclient-2.6.0-tests.jar sleep -m 3 -r 3 -mt 100 -rt 100說明 您也可以單擊下方的+插入OSS路徑，選擇檔案首碼為OSSREF，從檔案路徑中進行瀏覽和選擇，系統會自動補齊OSS上Hadoop MapReduce指令碼的路徑。 - 單擊儲存，作業內容編輯完成。上面樣本中，sleep作業並沒有資料的輸入輸出，如果作業要讀取資料，並輸出處理結果（例如Wordcount），則需要指定資料的Input和Output路徑。您可以讀寫E-MapReduce叢集HDFS或OSS上的資料。如果需要讀寫OSS上的資料，只需要在填寫Input和Output路徑時，將資料路徑寫成OSS上的路徑地址即可。
jar ossref://emr/checklist/jars/chengtao/hadoop/hadoop-mapreduce-examples-2.6.0.jar randomtextwriter -D mapreduce.randomtextwriter.totalbytes=320000 oss://emr/checklist/data/chengtao/hadoop/Wordcount/Input
- 在作業內容中，填寫提交該作業需要提供的命令列參數。