E-MapReduce：PySpark開發快速入門

步驟一：準備測試檔案

在EMR Serverless Spark中，支援使用本地或獨立的開發平台完成Python檔案的開發，並將任務提交至EMR Serverless Spark中運行。本快速入門為了帶您快速熟悉PySpark任務，為您提供了測試檔案，您可以直接下載以供後續步驟使用。

單擊DataFrame.py和employee.csv，直接下載測試檔案。

步驟二：上傳測試檔案

1. 上傳Python檔案到EMR Serverless Spark。

   1. 進入資源上傳頁面。

      1. 登入E-MapReduce控制台。

      2. 在左側導覽列，選擇EMR Serverless > Spark。

      3. 在Spark頁面，單擊目標工作空間名稱。

      4. 在EMR Serverless Spark頁面，單擊左側導覽列中的文件管理。

   2. 在文件管理頁面，單擊上传文件。

   3. 在上传文件對話方塊中，單擊待上傳檔案地區選取項目Python檔案，或直接拖拽Python檔案到待上傳檔案地區。

      本文樣本是上傳DataFrame.py。

2. 上傳資料檔案（employee.csv）到阿里雲Object Storage Service控制台，詳情請參見檔案上傳。

步驟三：開發並運行任務

1. 在EMR Serverless Spark頁面，單擊左側的数据开发。

2. 在开发目录頁簽下，單擊表徵圖。

3. 在彈出的對話方塊中，輸入名稱，類型使用批任务 > PySpark，單擊确定。

4. 在右上方選擇隊列。

   添加隊列的具體操作，請參見管理資源隊列。

5. 在建立的開發頁簽中，配置以下資訊，其餘參數無需配置，然後單擊运行。

   參數	說明
   主 Python 资源	選擇前一個步驟中在文件管理頁面上傳的Python檔案。本文樣本是DataFrame.py。
   运行参数	填寫資料檔案（employee.csv）上傳到OSS的路徑。例如，oss://<yourBucketName>/employee.csv。

6. 運行任務後，在下方的运行记录地區，單擊任務操作列的日志探查。

7. 在日志探查頁簽，您可以查看相關的日誌資訊。

   該頁簽包含Driver日誌、Executor日誌、開機記錄子頁簽，每個子頁簽支援Stdout、Stderr、Log4j三種輸出類型。本樣本中，Driver日誌的Stdout輸出展示了Spark DataFrame查詢結果，包含員工薪資明細表（employee_name、department、salary）及按部門匯總的薪資彙總資料。

步驟四：發布任務

1. 任務運行完成後，在資料開發頁面單擊右側的发布。

2. 在任務發布對話方塊中，您可以輸入發布資訊，然後單擊确定。

步驟五：查看Spark UI

任務正常運行後，您可以在Spark UI上查看任務的運行情況。

1. 在左側導覽列，單擊任务历史。

2. 在Application頁面，單擊目標任務操作列的Spark UI。

3. 在Spark Jobs頁面，您可以查看任務詳情。

   頁面展示應用基本資料（User: root、Total Uptime、Scheduling Mode: FIFO）及 Completed Jobs 列表，表格包含 Job Id、Description、Submitted、Duration、Stages: Succeeded/Total、Tasks 等列，可查看每個作業的執行描述、耗時及各階段任務完成情況。