在阿里雲上使用 通義千問 構建多模態對話助手
參考架構
您的挑戰:
構建能夠理解多模態資料的對話助手,需要高效能AI模型、強大的產生式AI開發平台和完善的解決方案。
我們的解決方案:
-
阿里雲提供一系列技術支柱,作為多模態AI開發的基礎:
Qwen-Audio:處理各類音頻輸入的大型音頻語言模型。
Qwen-VL:分析映像並揭示細節和文本的大型視覺語言模型。
智能OpenSearch OpenSearch:利用向量檢索和大模型定製問答系統的對話式搜尋服務。
Qwen-Agent:開發大模型應用的架構,編排智能體執行指令和複雜任務。
PAI-EAS:一鍵將 通義千問 等主流多模態AI模型部署為Web服務。
這些產品通過規劃智能體相互協同,可將此智能體的API部署在ECS上,並串連DingTalk或其他即時通訊工具。
在PAI-EAS上部署Llama 2模型
結果示範
關於Llama 2:
Llama是開源的大語言模型。相比前代Llama 1,Llama 2擁有更多訓練資料和更長的上下文長度,在大規模產生自然語言時更加通用和準確。Llama 2提供多種參數規模版本,包括70億、130億和700億參數。
部署:
-
PAI-EAS(Elastic Algorithm Service)是PAI(PAI)的組件,讓使用者輕鬆部署和管理AI應用。它包含PAI-Blade推理加速器,這是一款硬體加速器,專為提升大模型推理效能而設計,推理速度最高可達傳統方法的六倍。這意味著可以處理更多資料、產生更快的響應,並提升語言應用的效能。通過WebUI只需幾下點擊即可在PAI-EAS上運行Llama 2,配合部落格中提供的範例程式碼,也可以使用部落格中的Python Wrapper API代碼搭建Llama 2服務。部落格中還介紹了如何在PAI-EAS上為Llama 2掛載自訂模型。
阿里雲上的產生式AI
藉助產生式AI加速創新,創造新的商業成功
在PAI上運行Stable Diffusion模型
結果示範
關於Stable Diffusion:
Stable Diffusion是一個開源且廣受歡迎的跨模態產生模型,利用先進的深度學習演算法和技術,根據文本描述產生視覺效果出色的映像。通過迭代更新產生的映像,逐步提升最終結果的品質、連貫性和逼真度。
部署:
-
藉助PAI-DSW(Data Science Workshop)對Stable Diffusion模型進行微調。利用PAI-DLC(Deep Learning Container)快速搭建和管理深度學習環境,內建主流深度學習架構的即用容器。最後通過PAI-EAS只需幾下點擊即可部署模型並建立文本產生映像服務。
使用雲原生資料倉儲雲原生資料倉儲AnalyticDB PostgreSQL版進行向量查詢與分析
結果示範
您的挑戰:
大量複雜的非結構化資料對傳統向量資料庫在即時效能分析、成本控制和系統相容性方面提出了挑戰,同時業務可擴充性也是一大關鍵考量。
我們的解決方案:
-
雲原生資料倉儲雲原生資料倉儲AnalyticDB PostgreSQL版是具備大規模平行處理(MPP)能力的雲原生資料倉儲。其向量資料庫功能可協助您管理文檔、郵件、映像和網頁內容等大規模非結構化資料,適用於管理和處理大量結構化與非結構化資料、提供即時分析並適應不斷變化的業務需求的現代資料服務。具有特定領域需求的企業可利用雲原生資料倉儲雲原生資料倉儲AnalyticDB PostgreSQL版,基於領域專用或專業資料產出準確的主題結果。在本樣本中,您可以輕鬆構建一個智能對話機器人,將大模型的學習和理解能力與雲原生資料倉儲雲原生資料倉儲AnalyticDB PostgreSQL版的核心能力(包括內建向量資料檢索和全文檢索索引)相結合,基於企業知識提供專業、及時的解答。
阿里雲上的產生式AI
藉助產生式AI加速創新,創造新的商業成功
使用智能OpenSearch OpenSearch向量檢索版構建對話式搜尋服務
結果示範
您的挑戰:
電商和線上社交平台等行業擁有大量非結構化資料,且資料量持續增長、不斷變化,客戶諮詢通常較為複雜,需要即時響應。基於大模型的搜尋服務無法滿足客戶對準確性和及時性的需求,且硬體成本高昂。
我們的解決方案:
-
智能OpenSearch OpenSearch提供高效能搜尋服務,支援十億級128維文檔(向量資料),可實現千級QPS和毫秒級查詢響應。整合多種向量資料檢索演算法,支援混合搜尋、運算式過濾、邊搜邊篩等複雜搜尋需求。通過資料壓縮和精細索引結構設計,降低儲存和記憶體需求,在大規模情境下節省硬體成本。可將智能OpenSearch OpenSearch與大模型通過服務工具結合,構建智能、專屬、即時的搜尋服務,提升服務品質和及時性,無需大量硬體投入。
基於Stable Diffusion模型搭建虛擬試穿服務
結果示範
您的挑戰:
基於映像的虛擬試穿通過產生目標模特穿著指定服裝的映像,為使用者提供更便捷、更個人化的使用者體驗。然而,始終保持自然逼真的效果並非易事,尤其在規模化情境下更具挑戰。
我們的解決方案:
-
LoRA(Low-Rank Adaptive Relational Attention)是一種廣泛使用的AI映像產生演算法,允許使用者通過添加少量參數和使用少量資料集對產生模型進行微調。Platform for AI(PAI)支援基於LoRA和Stable Diffusion模型快速便捷地微調AI產生映像,在降低可訓練參數數量和GPU顯存需求的同時,為模型、姿態和背景提供了豐富的產生空間。這為時尚零售行業開啟了更個人化、更智能的客戶體驗新可能。
