為了更好地滿足使用者的搜尋問答體驗,OpenSearch-LLM智能問答版推出了定製LLM的功能,使用者可以對預訓練的通用LLM進行微調來適應實際的業務情境需求。本文介紹如何建立和訓練定製LLM。
建立定製LLM
僅專業版OpenSearch-LLM智能問答版執行個體支援定製LLM功能。
選擇模型管理->LLM,單擊建立定製LLM按鈕進入參數配置介面。
按要求填入模型名稱、基本模型以及已有問答對資訊。
模型名稱:長度為1-30個字元,以字母開頭,可以包含大小寫字母、數字和底線,且不能和其它模型名稱相同。
基本模型:目前僅支援opensearch-llama2-13b。
已有問答對:支援格式為xlsx格式的檔案,單個檔案大小不能超過128MB,檔案名稱只支援字母、數字、底線、中劃線。相關內容格式可下載範例資料進行參考。
格式樣本:
query
answer
OpenSearch是什麼
OpenSearch是基於阿里巴巴自主研發的大規模分布式搜尋引擎搭建的一站式智能搜尋業務開發平台。
智能問答版的典型情境有什麼
OpenSearch LLM智能問答版適用於企業內部知識庫、智能客服、電商、內容社區等多種情境。
計費方式:詳情請參考LLM智能問答版標準版計費概述。
說明數量限制:定製LLM數量上限與執行個體GPU數量一致,可以在執行個體詳情介面進行查看,單個執行個體可租用的GPU數量上限為10。
單擊確定按鈕即可建立定製LLM。模型建立完畢後可單擊訓練模型按鈕直接開始訓練或者完成按鈕回到模型管理介面。

訓練定製LLM
定製LLM建立完畢後,在模型管理介面單擊詳情可查看模型的基本資料、配置資訊以及訓練歷史。此時模型狀態為模型不可用,最新版本狀態為待訓練。單擊配置可以對已有問答對進行修改。

返回模型管理介面單擊訓練模型按鈕,然後單擊確定按鈕就可以開始模型訓練。

單擊詳情按鈕查看模型狀態,此時模型狀態為模型不可用,最新版本狀態為訓練中。
模型訓練完成後單擊效果測試按鈕,可測試模型訓練效果。