本篇文檔主要介紹在使用大模型服務平台阿里雲百鍊中常見問題。
計費相關
API/SDK相關
如何查看錯誤碼資訊?
阿里雲百鍊模型服務的API調用將返回狀態代碼以標識調用結果。請參見錯誤資訊進行解決。
如何安裝SDK?
阿里雲百鍊目前支援Java、Python程式設計語言的SDK,點擊安裝SDK查看詳情。
Assistant API 呼叫 function call ,使用者需要依次調用兩個本地函數,現在支援嗎?
a.目前不支援分別調用兩個函數。
b.手動建立兩個Assistant API,分別分配兩個Assistant API的使用返回。
Assistant API 為什麼沒有memory相關的能力?Assistant API 有memory相關的能力嗎?
memory是一個較為複雜的配置功能,在Assistant API 中實現較為複雜。
產品相關
如何開通阿里雲百鍊服務?
登入阿里雲帳號,訪問阿里雲百鍊大模型服務平台(新加坡)或 阿里雲百鍊大模型服務平台(北京)。在首頁/模型廣場,均可點擊開通模型服務,按需開通即可。詳細內容請查看:產品開通。
開通阿里雲百鍊服務後如何關閉?
目前,阿里雲百鍊服務開通後暫不支援關閉。如果您通過API來調用模型/應用,您只需要在控制台的API-KEY(新加坡)或 API Key(北京)頁面中刪除 API-KEY 即可避免後續的調用。
如何體驗大模型服務?
可通過模型體驗中心(新加坡)或 模型體驗中心(北京)進行體驗。
阿里雲百鍊和通義千問的區別是什嗎?
阿里雲百鍊是一個提供模型的平台,包含通義千問系列的模型。
如何?業務資料隔離,使不同業務線的同學資料之間不關聯?
可以通過主帳號給不同子帳號授予不同的業務空間許可權,不同業務空間的資料互不影響,存在隔離。詳細操作內容點擊業務空間管理查看。
阿里雲百鍊是否儲存模型調用時傳入的資料?
通過模型API調用模型時,阿里雲百鍊不會儲存對話資料。調用過程只對調用狀態進行脫敏日誌記錄,調用結束後對明文的提示詞以及應答結果進行銷毀,不會儲存資料。
通過Assistant API調用模型時,阿里雲百鍊會儲存對話資料以增強使用者體驗,目前暫無資料失效日期。
通過阿里雲百鍊應用調用模型時:交談記錄預設緩衝60分鐘,緩衝的對話輪數通過“攜帶上下文輪數”參數指定。如果60分鐘內發生一次對話,緩衝的失效時間會往後延60分鐘。如果60分鐘內沒有發生對話,交談記錄將失效,即資料被銷毀。
阿里雲嚴格保護資料隱私,絕不會將您的資料用於模型訓練。同時,您在構建應用或訓練大模型過程中傳輸的資料都會經過加密,確保資料安全。
模型中心
所謂大模型參數是怎麼儲存的?
可以通過魔搭下載模型,會有模型結構的JSON,可以參考JSON內容。一般情況下用開源的Python組件,去解析組件,會有向量資訊,可能理解會有點難度。但是可以瞭解預存程序。
通義千問系列模型支援多少種語言?
14種,分別是中文、英文、阿拉伯語、西班牙語、法語、葡萄牙語、德語、意大利語、俄語、日語、韓語、越南語、泰語、印尼語。
當前模型可以對接結構化資料嗎?比如MySQL和hive等。
當前不支援。但已經在開發中,優先對接RDS服務。
請問Qwen2、千問-MAX等模型的文字產生速度對所有使用者都是固定的嗎,有沒有調速的途徑?
這個速度不是固定的,跟線上資源和使用者所有請求有關。
咱們模型限流觸發後,一般需要等多長時間再次嘗試呢?
這個就和具體限流值相關。比如有的客戶的限流是120qpm,執行2次請求每1秒,那比如0.2秒的時候提交了2次請求,再提交就會被限流,然後需要等0.8秒。