E-MapReduce：專案管理

使用限制

只有阿里雲帳號才能建立專案、添加專案成員和添加叢集資源，即控制台上建立專案、用户管理和叢集設定功能只對阿里雲帳號管理員可見，RAM使用者不可見。

建立專案

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

      阿里雲帳號可以查看該帳號下的所有專案列表，RAM使用者僅可以查看具有開發許可權的專案列表。如需為RAM使用者添加專案開發許可權，則需要阿里雲帳號來配置，詳情請參見使用者管理。

2. 在项目列表頁面，單擊右上方的建立專案。

3. 在建立專案對話方塊中，輸入项目名称和项目描述，從資源群組選擇列表中，選擇已有的資源群組。

   說明

   如果不指定資源群組，專案會加入預設的資源群組，資源群組使用詳情請參見使用資源群組。

4. 單擊创建。

   在项目列表頁面，可查看或者操作新增的專案。

查看專案基本資料

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 進入目標專案的專案管理頁面。

   1. 在项目列表頁面，單擊目標專案的專案ID。

   2. 單擊上方的项目管理頁簽。

3. 查看專案基本資料。

   在基本信息頁面，可以查看該專案的專案名稱、建立時間、Created User和專案描述資訊。

通用配置

通用配置中的安全模式適用於需要對E-MapReduce資料開發啟動並執行作業進行許可權管理的情境。

開啟安全模式後，需要在運行叢集的使用者管理中添加提交作業的EMR使用者，詳情請參見系統管理使用者。在開啟安全模式的專案中提交作業時，阿里雲帳號以預設hadoop使用者執行，RAM使用者則預設以當前RAM使用者同名的EMR使用者執行作業。

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 進入目標專案的專案管理頁面。

   1. 在项目列表頁面，單擊目標專案的專案ID。

   2. 單擊上方的项目管理頁簽。

3. 配置安全模式。

   1. 單擊左側菜單通用配置。

   2. 根據作業情況，選擇開啟或者關閉安全模式。

      重要

      開啟安全模式後，Shell和Hive類型的作業無法運行。

使用者管理

您可以通過以下步驟為RAM使用者添加或刪除某個專案的開發許可權。

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 進入目標專案的專案管理頁面。

   1. 在项目列表頁面，單擊目標專案的專案ID。

   2. 單擊上方的项目管理頁簽。

3. 在左側導覽列中，單擊用户管理。

4. 在用户管理頁面，根據業務訴求添加使用者或者刪除使用者。

   • 添加使用者。

     1. 單擊右上方的添加用户。

     2. 在添加用户對話方塊中，選擇需要添加的RAM使用者，然後單擊添加。

        使用者添加成功後，就可以在用户管理頁面查看新增的使用者資訊。

        說明

        被添加的RAM使用者將成為該專案的成員，擁有查看、開發該專案下的作業和工作流程的許可權。

   • 刪除使用者。

     在用户管理頁面，單擊待刪除使用者所在行的删除。

叢集設定

通過以下步驟，可以為專案設定叢集資源，使該專案中的作業運行在關聯的叢集上。

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 進入目標專案的專案管理頁面。

   1. 在项目列表頁面，單擊目標專案的專案ID。

   2. 單擊上方的项目管理頁簽。

3. 在左側導覽列中，單擊叢集設定。

4. 在叢集設定頁面，可以進行如下操作：

   • 添加叢集。

     1. 單擊右上方的添加叢集

     2. 在添加叢集對話方塊中，選擇資源群組和叢集資訊。

        從选择集群下拉式清單中選擇已購買的訂用帳戶或隨用隨付的叢集（不包括通過叢集模板建立的叢集）。

     3. 單擊确定。

        在叢集設定頁面，可以查看新增的叢集資訊。

   • 修改叢集配置。

     1. 單擊目的地組群所在行的修改配置。

     2. 在修改配置對話方塊中，設定提交作業到該叢集的隊列、使用者資訊和用戶端白名單。

        配置項	描述
        提交作業預設使用者	設定專案使用所選叢集提交作業時的預設使用者，預設值是hadoop，預設使用者只能有一個。
        提交作業預設隊列	設定專案使用所選叢集提交作業時的預設隊列，預設作業提交到default隊列。
        提交作業使用者白名單	設定可以提交作業的使用者，如果有多個使用者，可以通過英文半形逗號（,）分隔。
        提交作業隊列白名單	設定專案中的作業可以運行在所選叢集的隊列，如果有多個隊列，可以通過英文半形逗號（,）分隔。
        用戶端白名單	配置可以提交作業的用戶端，您可以使用Master節點或Gateway節點。通過ECS自建的Gateway暫不支援在此處配置。

     3. 單擊确定。

   • 取消關聯的叢集資源。

     在叢集設定頁面，單擊目的地組群所在行的删除，取消關聯的叢集資源。

變數定義

您可以通過以下步驟設定專案層級的自訂變數，這些變數可以被本專案中的作業專案作為全域變數調用。

1. 進入資料開發的專案列表頁面。

   1. 通過阿里雲帳號登入阿里雲E-MapReduce控制台。

   2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。
      

   3. 單擊上方的数据开发頁簽。

2. 進入目標專案的專案管理頁面。

   1. 在项目列表頁面，單擊目標專案的專案ID。

   2. 單擊上方的项目管理頁簽。

3. 在左側導覽列中，單擊變數定義。

4. 在變數定義頁面，可以根據業務訴求添加自訂變數或者刪除自訂變數。

   • 添加自訂變數。

     1. 單擊右上方的添加。

     2. 在添加自訂變數對話方塊中，添加變數名稱和变量值，根據需要選擇是否為變數名的變數值加密。

        作業中以${VariableName}的形式調用變數。例如，您添加變數名為ENV_ABC，變數值為12345，不開啟是否為密碼。Shell類型作業內容樣本如下。

        echo ${ENV_ABC}

        返回結果如下。

        12345

        這裡環境變數的設定相當於執行了如下的指令碼。

        export ENV_ABC=12345

     3. 單擊确认。

        在變數定義頁面，可查看新增的變數資訊。

   • 刪除自訂變數。

     單擊目標變數所在行的删除，就可以刪除對應的變數。