本文介紹Kohya工具使用說明。
點擊登入PAI ArtLab控制台。
前提條件
(可選)已領取免費試用資源/代金券,或購買資源套件,詳情請參見PAI ArtLab計費說明。
請在資源/代金券或資源套件有效期間內使用,詳情請參見查看使用額度和期限。
操作步驟
本文以使用Kohya(專享版)訓練油畫模型,並基於該模型產生油畫風格的圖片為例進行說明。建議您自行準備15張解析度為768*768px的油畫自然景觀映像作為模型訓練的資料集,按照如下步驟完成該模型訓練。
步驟一:建立資料集
登入PAI ArtLab,滑鼠移至上方右上方
,選擇華東2(上海)地區。在資料集頁面,單擊建立資料集,設定資料集名稱。
進入該資料集,單擊建立檔案夾,設定檔案夾名稱。
檔案夾名稱格式:數字_任意名稱,數字代表訓練時的repeat值。例如,
30_test。上傳圖片至已建立的檔案夾。圖片要求如下:
畫面內容清晰,建議選擇15張以上的圖片。
避免像素過高,以sd1.5基模的LoRA訓練為例,映像像素在512*512或者512*768即可。
避免包含浮水印、低清晰度、怪異的光線、複雜且難以辨認的內容物和奇怪的角度等。
步驟二:打標資料
在工具箱頁面,單擊Kohya(專享版)卡片,啟動工具。
在頁簽,配置以下參數。
參數
說明
Image folder to caption(要添加標註的影像檔夾)
選擇已建立的檔案夾。如果下拉式功能表中不顯示目標檔案夾,您可以手動輸入該檔案夾的路徑。
例如,
/data-oss/datasets/test/30_test。Undesired Tags
輸入不想要的提示詞。
Prefix to add to WD14 caption
輸入想要的LoRA觸發詞,格式為資料集名稱+數字。
例如,
test1。單擊Caption images,開始自動批量打標。
請等待2~3分鐘,當日誌區提示captioning done,代表打標完成。
在資料集頁面,開啟已建立的檔案夾,單擊圖片,即可查看對應的標註內容。
您也可以對標註內容進行修改。
步驟三:訓練模型
在頁面,選擇Checkpoint模型,並將該模型添加至我的模型。
在Kohya(專享版)頁面,選擇,完成以下配置。
在Source model(模型來源)頁簽,配置以下參數。
參數
說明
Model Quick Pick(快速選擇模型)
選擇custom。
Pretrained model name or path
單擊右側
重新整理模型列表。在下拉式功能表選擇/data-oss/models/Stable-diffusion。
在該路徑後輸入
/,繼續選擇已添加的模型。
在Folders(檔案夾)頁簽,配置以下參數。
參數
說明
Output folder(輸出檔案夾)
選擇已建立的資料集。
Model output name(模型輸出名)
輸入訓練的LoRA名稱。例如,
test。在Parameters(參數)頁簽,配置以下參數。
參數
說明
Epoch(訓練周期數)
設定為20。
Max resolution(最大解析度)
設定為768,768。
Enable buckets(啟用資料容器buckets)
取消勾選。
資料集檔案尺寸相同時取消勾選。
Text Encoder learning rate(文本編碼器學習率)
設定為0.00001。
Network Rank (Dimension)
設定為128。
Network Alpha
設定為64。
單擊Start training(開始訓練),當日誌區提示model saved,代表模型訓練完成。
訓練過程中會產生代碼,其中,loss值是用于衡量模型預測與實際結果差異的關鍵計量,一般不同類型的模型loss值不同,參考值如下:
模型類型
loss值
人物模型
0.06-0.09
實物模型
0.07-0.09
風格模型
0.08-0.13
功能模型
0.003-0.05
步驟四:查看模型效果
在頁面,單擊模型卡片右側的
,將Checkpoint模型和產生的LoRA模型添加到Stable Diffusion(共用版)。在工具箱頁面,單擊Stable Diffusion(共用版)卡片,啟動工具。
單擊Stable Diffusion模型右側的
,然後選擇Checkpoint模型。在文生圖頁簽,完成以下配置。
在Generation頁簽,配置以下參數。
參數
說明
迭代步數(Steps)
設定為30。
指令碼
選擇X/Y/Z plot。
X軸類型:Prompt S/R
X軸值:NUM,000001,000002,000003
Y軸類型:Prompt S/R
Y軸值:STRENGTH,0.3,0.5,0.6,0.7,0.8,0.9,1
在Lora頁簽,單擊重新整理,單擊已添加的LoRA模型。
如果找不到該LoRA模型,可選擇訓練的其中一個LoRA模型,並修改提示詞。
例如,將
<lora:test-000002:1>修改為<lora:test-NUM:STRENGTH>。填寫提示詞。
參數
說明
正向提示詞
test1, outdoors, sky, day, cloud, water, tree, blue sky, no humans, traditional media, grass, building, nature, scenery, house, castle,反向提示詞
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit,fewer digits, cropped, worst quality, low quality,normal quality, jpeg artifacts, signature,watermark, username, blurry,(worst quality:1.4),(low quality:1.4), (monochrome:1.1), Eagetive,
單擊產生,等待圖片產生。
最終獲得XYZ圖片,可以將所有訓練模型都利用X/Y/Z plot測試,比較模型和權重效果。

