遷移學習可以將預訓練模型的知識應用到新任務中,大幅減少訓練時間和資料需求。您可以通過DLC提交基於PyTorch的單機遷移學習任務。
步驟一:準備資料
資料已預存到公開地址(下載資料),無需額外準備。
步驟二:準備訓練代碼和模型隱藏檔
訓練代碼已預存到公開地址(下載訓練代碼),無需額外開發。
步驟三:建立任務
進入建立任務頁面。
登入PAI控制台,在頁面上方選擇目標地區,並在右側選擇目標工作空間,然後單擊进入DLC。
在分布式训练(DLC)頁面,單擊新建任务。
在新建任务頁面,僅配置如下參數,其他參數無需配置。
參數
描述
基本信息
任务名称
填寫任務名稱,例如torch-sample。
环境信息
节点镜像
單擊官方镜像,並在下方的列表中選擇PyTorch鏡像。
数据集
如果您希望儲存訓練結果到本地,可以通過掛載自訂資料集的方式將結果儲存到相應的檔案系統中。本方案以掛載Object Storage Service資料集為例,單擊自定义数据集,並配置以下參數:
自定义数据集:選擇已建立的Object Storage Service資料集。如何建立資料集,請參見建立及管理資料集。
挂载路径:配置為
/mnt/data/。
启动命令
填寫如下命令。該命令依次完成下載資料、下載代碼、執行訓練、檢查模型,並將結果儲存到掛載的資料集目錄。
wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/data.tar.gz && tar -xf ./data.tar.gz && mv ./hymenoptera_data/ ./input && mkdir output && wget https://pai-public-data.oss-cn-beijing.aliyuncs.com/hol-pytorch-transfer-cv/main.py && python main.py -i ./input -o ./output && ls ./output && cp -r ./output /mnt/data资源信息
资源来源
選擇公共资源。
框架
選擇PyTorch。
任务资源
节点数量:配置為1。
资源规格:單擊
,並選擇資源規格,例如。如果該規格在當前地區不可用,您可以選擇切換至其他地區以建立訓練任務。目前,分布式訓練DLC支援使用後付費模式的地區列表,請參見分布式訓練(DLC)。
單擊确定。
頁面自動跳轉到分布式训练(DLC)頁面。
步驟四:查看任務詳情和日誌結果
在分布式训练(DLC)頁面,單擊任務名稱。
在任務概覽頁面,即可查看任務的基本信息及资源信息等。
在任務概覽頁面底部的实例地區,單擊目標執行個體操作列下的日志,即可查看日誌結果。
單擊執行個體名稱查看日誌,在使用者日誌 Tab 頁簽中可查看訓練日誌輸出。日誌顯示模型訓練完成,耗時 0m 20s,最佳驗證準確率(Best val Acc)為
0.928105,輸出模型檔案為model.pth。您可以前往已掛載資料集的對應檔案系統中查看輸出結果。以Object Storage Service 為例,您的結果以實際為準。訓練任務完成後,可在 OSS 儲存桶的檔案清單中查看輸出結果。output/ 檔案夾用於存放訓練輸出,同時可看到訓練產生的模型檔案 model.pth(42.713 MB,標準儲存)。