使用AutoML CMD發起AutoML實驗-人工智慧平台 PAI-阿里雲

AutoML CMD是AutoML的命令列介面工具，簡化了使用者在本機電腦上快速發起AutoML實驗的過程，並且適用於整合到使用者的各類商務專案中。本文為您介紹如何使用AutoML命令列工具。

前提條件

本文以在DSW Terminal中操作為例進行說明，您也可以根據實際情況選擇其他服務或工具。

已擷取阿里雲帳號的鑒權AccessKey ID和AccessKey Secret，詳情請參見擷取AccessKey。
已開通OSS服務並建立Bucket。
說明
Bucket所屬地區與PAI的地區一致。Bucket一旦建立，則無法更改其所屬地區。
已建立工作空間。詳情請參見建立工作空間。
已建立DSW執行個體，且準備3.8及以上版本的Python環境。詳情請參見建立DSW執行個體。

使用限制

僅支援macOS或Linux系統，暫不支援Windows系統。

操作步驟

步驟一：建立資料集

進入資料集管理頁面。
1. 登入PAI控制台。
2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應的工作空間。
3. 在左側導覽列，選擇AI資產管理 > 資料集。
在資料集頁面，單擊建立資料集。

在建立資料集面板中，建立方式選擇從阿里雲雲產品，並配置以下關鍵參數，其他參數參照控制台介面提示進行配置即可。

參數	描述
資料集名稱	自訂資料集名稱。
從阿里雲雲端儲存建立	按照以下操作步驟上傳本地檔案。單擊，在選擇OSS目錄對話方塊，選擇已建立的Bucket，單擊上傳檔案。單擊查看本地檔案或拖拽上傳檔案。
預設掛載路徑	資料的預設掛載路徑。本文以/mnt/oss/為例。

單擊提交，完成建立。
在資料集頁面，單擊複製資料集ID。

步驟二：安裝命令列工具

進入DSW開發環境。
1. 登入PAI控制台。
2. 在頁面左上方，選擇DSW執行個體所在的地區。
3. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊預設工作空間名稱，進入對應工作空間內。
4. 在左側導覽列，選擇模型開發與訓練>互動式建模（DSW）。
5. 單擊需要開啟的執行個體操作列下的開啟，進入DSW執行個體開發環境。

在Terminal執行如下命令，安裝命令列工具。

wget http://pai-automl.oss-cn-zhangjiakou.aliyuncs.com/release/client/install_upgrade_paiautoml.sh
chmod +x install_upgrade_paiautoml.sh
bash install_upgrade_paiautoml.sh

配置Config檔案。

首次使用需要添加設定檔，執行如下命令，並配置相關參數。

automl config

參數	說明
accessKeyID	阿里雲帳號的鑒權AccessKey ID和AccessKey Secret。
accessKeySecret	阿里雲帳號的鑒權AccessKey ID和AccessKey Secret。
region	服務或專屬資源群組所在的地區。本文以華東2（上海）為例，對應的region為`cn-shanghai`。其他地區ID，請參見地區和可用性區域。

步驟三：啟動實驗配置

上傳設定檔。
將以下檔案上傳至DSW執行個體，具體操作，請參見上傳與下載資料檔案。

設定檔。

在DSW執行個體的Notebook頁簽中，雙擊trial_service.ini檔案，配置以下關鍵參數。

參數	描述
data_sources	資料集ID。將`${data_sources}`替換為步驟一建立的資料集的ID。
workspace_id	工作空間ID。替換為當前DSW執行個體所在工作空間的ID。詳情請參見查看工作空間詳情。
model_path	儲存模型的OSS路徑。使用已建立的OSS Bucket，其中，`${exp_id}`、`${trial_id}`為內建變數，不需要修改。

按Ctrl+S儲存trial_service.ini檔案。

步驟四：啟動調優

在DSW執行個體的Terminal頁簽執行如下命令啟動調優。其中，<YOUR_WORKSPACE_ID>需要替換為當前DSW執行個體所在工作空間的ID，詳情請參見查看工作空間詳情。

automl create hpo --config exp_service.yml --workspace_id <YOUR_WORKSPACE_ID>

步驟五：查看結果

進入自動機器學習（AutoML）頁面。
1. 登入PAI控制台。
2. 在左側導覽列單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。
3. 在左側導覽列，選擇模型開發與訓練>自動機器學習（AutoML）。
查看實驗。
在自動機器學習（AutoML）頁面，實驗狀態變為FINISHED，代表AutoML實驗建立成功。
查看Trial列表。
單擊實驗名稱，進入實驗詳情頁面，在Trial列表頁簽查看該實驗下的Trial詳情。
您也可以在模型開發與訓練>分布式訓練（DLC）頁面查看該實驗對應的訓練詳情。

步驟六：查看超參數調優結果

您可以通過執行命令的方式，擷取實驗詳情、擷取Trail日誌或停止實驗等。參數說明請參見下表。

參數	描述
<YOUR_WORKSPACE_ID>	需要替換為當前DSW執行個體所在工作空間的ID。詳情請參見查看工作空間詳情。
<YOUR_EXP_ID>	需要替換為已建立的實驗的ID，請前往實驗詳情頁面的基本資料頁簽查看。
<YOUR_TRIAL_ID>	需要替換為對應的Trail的ID，請前往實驗詳情頁面的Trial列表頁簽查看。

擷取實驗列表

automl list hpo --workspace_id <YOUR_WORKSPACE_ID>

擷取指定實驗狀態
```
automl info <YOUR_EXP_ID>
```
擷取實驗日誌
執行如下命令，日誌將被存入對應檔案。
```
automl log <YOUR_EXP_ID>
```
擷取Trial日誌
執行如下命令，日誌將被存入對應檔案。
```
automl log <YOUR_EXP_ID> --trial-id <YOUR_TRIAL_ID>
```
停止實驗
```
automl kill <YOUR_EXP_ID>
```

停止Trial

automl kill nu4jqyk --trial-id <YOUR_TRIAL_ID>

常見問題

執行automl config報錯如下，應如何解決？

報錯資訊
解決方案
執行如下命令，查看是否存在automl_client檔案夾。如果不存在，請重新安裝AutoML CMD。
```
ls -lh /home/pai/envs/py38_nni/lib/python3.8/site-packages | grep automl
```

提示Tea.exceptions.TeaException: Error: Forbidden.NoPermission code: 403,......，應如何解決？

報錯資訊

Tea.exceptions.TeaException: Error: Forbidden.NoPermission code: 403, You are not authorized to do this operation. Action: paiautoml:CreateHpoExperiment

解決方案
該報錯是由於使用者在當前工作空間中無使用超參數調優的許可權導致，請在工作空間詳情頁面為該帳號添加演算法開發角色。具體操作，請參見管理工作空間成員。