全部產品
Search
文件中心

OpenSearch:定製LLM

更新時間:Jul 13, 2024

為了更好地滿足使用者的搜尋問答體驗,OpenSearch-LLM智能問答版推出了定製LLM的功能,使用者可以對預訓練的通用LLM進行微調來適應實際的業務情境需求。本文介紹如何建立和訓練定製LLM。

建立定製LLM

說明

專業版OpenSearch-LLM智能問答版執行個體支援定製LLM功能。

  1. 選擇模型管理->LLM,單擊建立定製LLM按鈕進入參數配置介面。

  2. 按要求填入模型名稱基本模型以及已有問答對資訊。

    • 模型名稱:長度為1-30個字元,以字母開頭,可以包含大小寫字母、數字和底線,且不能和其它模型名稱相同。

    • 基本模型:目前僅支援opensearch-llama2-13b。

    • 已有問答對:支援格式為xlsx格式的檔案,單個檔案大小不能超過128MB,檔案名稱只支援字母、數字、底線、中劃線。相關內容格式可下載範例資料進行參考。

      格式樣本:

      query

      answer

      OpenSearch是什麼

      OpenSearch是基於阿里巴巴自主研發的大規模分布式搜尋引擎搭建的一站式智能搜尋業務開發平台。

      智能問答版的典型情境有什麼

      OpenSearch LLM智能問答版適用於企業內部知識庫、智能客服、電商、內容社區等多種情境。

    • 計費方式:詳情請參考LLM智能問答版標準版計費概述

    說明

    數量限制:定製LLM數量上限與執行個體GPU數量一致,可以在執行個體詳情介面進行查看,單個執行個體可租用的GPU數量上限為10。

  3. 單擊確定按鈕即可建立定製LLM。模型建立完畢後可單擊訓練模型按鈕直接開始訓練或者完成按鈕回到模型管理介面。

    定製LLM.png

訓練定製LLM

  1. 定製LLM建立完畢後,在模型管理介面單擊詳情可查看模型的基本資料配置資訊以及訓練歷史。此時模型狀態為模型不可用,最新版本狀態為待訓練。單擊配置可以對已有問答對進行修改。

    基本資料.png

  2. 返回模型管理介面單擊訓練模型按鈕,然後單擊確定按鈕就可以開始模型訓練。

    開始訓練.png

  3. 單擊詳情按鈕查看模型狀態,此時模型狀態為模型不可用,最新版本狀態為訓練中。

  4. 模型訓練完成後單擊效果測試按鈕,可測試模型訓練效果。