Platform For AI：應用流部署

前提條件

已建立應用流，並完成調試。詳情請參見應用流開發。

部署應用流

進入LangStudio，選擇工作空間後，在應用流頁簽下單擊已調試完的應用流，然後在頁面右上方單擊部署（僅當運行時啟動時才可進行部署）。關鍵參數說明：

更多參數配置說明，請參見控制台自訂部署參數說明。

線上調試

調用服務

線上調試

部署成功後，跳轉到PAI-EAS，在線上調試頁簽下配置並發送請求。請求Body中的Key與應用流中“開始節點”中的參數“對話輸入”欄位一致，本文使用預設欄位question。

API調用

1. 在概覽頁簽下擷取調用服務的Endpoint和Token。

   

2. 發送API請求。

   支援以簡單模式和完整模式調用，兩者區別如下：

   屬性	簡單模式	完整模式
   請求路徑	<Endpoint>/	<Endpoint>/run
   功能描述	直接返回應用流的輸出結果。	返回一個複雜的結構，包括應用流的節點狀態、流的錯誤資訊、流的輸出訊息等。
   適用情境	使用者只需要應用流的最終輸出結果，而不關心流的內部處理過程或狀態。 適用於簡單的查詢或操作，快速擷取結果。	使用者需要詳細瞭解應用流的執行過程，包括每個節點的狀態和可能的錯誤資訊。 適用於調試、監控或分析應用流的執行情況。
   優點	使用簡單，無需解析複雜的結構。	提供全面的資訊，協助使用者深入理解應用流的執行過程。 有助於故障排查和最佳化應用流的效能。

   簡單模式

   cURL命令

   部署的EAS應用流服務支援使用cURL命令進行流式或非流式調用，請求/返回樣本如下：

   樣本類型	流式	非流式
   請求樣本	curl -X POST \ -H "Authorization: Bearer <your_token>" \ -H "Content-Type: application/json" \ -H "Accept: text/event-stream" \ -d '{"question": "Where is the capital of France?"}' \ "<your_endpoint>"	curl -X POST \ -H "Authorization: Bearer <your_token>" \ -H "Content-Type: application/json" \ -d '{"question": "Where is the capital of France?"}' \ "<your_endpoint>"
   返回樣本	event: Message data: {"answer": ""} event: Message data: {"answer": "The"} event: Message data: {"answer": " capital"} event: Message data: {"answer": " of"} event: Message data: {"answer": " France"} event: Message data: {"answer": " is"} event: Message data: {"answer": " Paris"} event: Message data: {"answer": "."} event: Message data: {"answer": ""}	{"answer":"The capital of France is Paris."}

   請求參數配置說明：

   參數	描述
   -H "Authorization: Bearer <your_token>"	HTTP頭部資訊。其中<your_token>需要替換為步驟1中擷取的Token。
   -H "Accept: text/event-stream"	表示Client接受SSE請求，返回的資訊為流式資訊。註：僅當LLM節點作為應用流的輸出節點時（結束節點的直接輸入必須是LLM節點），才支援流式調用。
   -d '{"question": "Where is the capital of France?"}'	請求的主體資料。格式為JSON對象，包含一個Key-Value對，即問題字串。其中Key需要與應用流中“開始節點”中的參數“對話輸入”欄位一致，此處為預設欄位question。
   "<your_endpoint>"	請求的目標URL。其中<your_endpoint>需要替換為步驟1中擷取的Endpoint。

   Python指令碼

   以下樣本展示了如何使用 requests 庫嚮應用流服務發送一個POST請求，支援流式或非流式調用。請確保您已安裝該庫，如果尚未安裝，可以通過運行 pip install requests 命令來進行安裝。

   樣本類型	流式	非流式
   請求樣本	import requests import json url = "http://<your-endpoint-here>" token = "<your-token-here>" data = {"question": "Where is the capital of France?"} # 佈建要求頭，包含您的token headers = { "Authorization": f"Bearer {token}", "Accept": "text/event-stream", "Content-Type": "application/json" } if __name__ == '__main__': with requests.post(url, json=data, headers=headers, stream=True) as r: for line in r.iter_lines(chunk_size=1024): print(line)	import requests import json url = "http://<your-endpoint-here>" token = "<your-token-here>" data = {"question": "Where is the capital of France?"} # 佈建要求頭，包含您的token headers = { "Authorization": f"Bearer {token}", "Content-Type": "application/json" } response = requests.post(url, json=data, headers=headers) if response.status_code == 200: print("請求成功，返回結果：") print(response.text) else: print(f"請求失敗，狀態代碼： {response.status_code}")
   返回樣本	event: Message data: {"answer": ""} event: Message data: {"answer": "The"} event: Message data: {"answer": " capital"} event: Message data: {"answer": " of"} event: Message data: {"answer": " France"} event: Message data: {"answer": " is"} event: Message data: {"answer": " Paris"} event: Message data: {"answer": "."} event: Message data: {"answer": ""}	{"answer":"The capital of France is Paris."}

   請求參數配置說明：

   參數	描述
   url	請求的目標URL。其中<your-endpoint-here>需要替換為步驟1中擷取的Endpoint。
   token	HTTP頭部資訊。其中<your-token-here>需要替換為步驟1中擷取的Token。
   data	請求的主體資料。格式為JSON對象，包含一個Key-Value對，即問題字串。其中Key需要與應用流中“開始節點”中的參數“對話輸入”欄位一致，此處為預設欄位question。
   "Accept": "text/event-stream"	表示Client接受SSE請求，返回的資訊為流式資訊。註：僅當LLM節點作為應用流的輸出節點時（結束節點的直接輸入必須是LLM節點），才支援流式調用。

   完整模式

   Langstudio支援SSE（Server-Sent Events），在發送請求時可以輸出應用流（Flow）執行時對應各節點的狀態、錯誤資訊、輸出訊息等，同時支援定製事件中node_run_infos的內容組成。本文以線上調試方式舉例說明，您需要在調用地址後面追加/run，然後編輯請求Body：

   

   請求Body參數欄位說明：

   欄位名	類型	預設值	描述
   inputs	Mapping[str, Any]	無	Flow的輸入資料字典。鍵（Key）應與Flow定義的輸入欄位名稱匹配。如果Flow無輸入，則忽略此欄位。
   stream	bool	True	控制響應格式。取值： True：以SSE流式響應。響應Header中的Content-Type為text/event-stream，資料採用DataOnly的方式返回，按照事件不同，分為RunStarted、NodeUpdated、RunOutput和RunTerminated，詳情請參見表格下文。 False：以單個JSON體響應。響應Header中的Content-Type為application/json，可參見線上調試中的響應資訊。
   response_config	Dict[str, Any]	-	控制流程式響應（當stream=True） 中包含的節點詳細資料。
   ∟ include_node_description	bool	False	（response_config內）是否在SSE事件流中包含節點描述。
   ∟ include_node_display_name	bool	False	（response_config內）是否在SSE事件流中包含節點名稱。
   ∟ include_node_output	bool	False	（response_config內）是否在SSE事件流中包含節點輸出。
   ∟ exclude_nodes	List[str]	[]	（response_config內）要從SSE事件流中排除的節點名稱列表。

   返回資料按事件不同，分為RunStarted、NodeUpdated、RunOutput和RunTerminated：

   RunStarted事件

   • 定義：RunStarted事件標誌著Flow執行的開始。通常作為啟動並執行SSE流中發送的第一個事件。

   • Payload樣本：

     data: {"event": "RunStarted", "run_id": "fb745e15-3b3b-4a10-9e0d-0bea08d47411", "timestamp": "2025-06-12T08:15:07.223611Z", "flow_run_info": {"run_id": "fb745e15-3b3b-4a10-9e0d-0bea08d47411", "status": "Running", "error": null, "otel_trace_id": ""}}

   • 欄位說明：

     欄位名	類型	描述
     event	string	事件類型，固定為RunStarted。
     run_id	string	當前Flow執行的唯一識別碼。
     timestamp	string	事件發生的時間戳記，遵循ISO 8601標準。
     flow_run_info	object	包含整個Flow啟動並執行最終狀態資訊。
     ∟ run_id	string	（flow_run_info內）Flow執行的唯一識別碼（與外層run_id相同）。
     ∟ status	string	（flow_run_info內）Flow執行的初始狀態，固定為Running。
     ∟ error	object or null	（flow_run_info內）如果Flow執行失敗，則包含錯誤資訊對象；否則為 null。
     ∟ otel_trace_id	string	（flow_run_info內）與此Flow執行關聯的OpenTelemetry追蹤ID（可能為空白或零值）。

   NodeUpdated事件

   • 定義：NodeUpdated事件表示Flow中一個或多個節點的狀態或輸出發生了變化。在一個Flow的執行過程中，當節點開始運行（Running）或完成執行（Completed/Failed）時，通常會發送此事件。如果設定了response_config，此事件還可以包含節點的描述、顯示名稱和輸出。註：如果在請求的response_config中指定了exclude_nodes，則相應節點的NodeUpdated事件將不會返回。

   • Payload樣本：

     data: {"event": "NodeUpdated", "run_id": "8f92b1a6-4d69-422a-a080-50713e488b56", "timestamp": "2025-04-25T08:57:15.208601Z", "node_run_infos": [{"node_name": "custom_python", "node": "custom_python", "status": "Running", "error": null, "duration": 0.0, "description": null, "display_name": null, "output": null}]}

     data: {"event": "NodeUpdated", "run_id": "8f92b1a6-4d69-422a-a080-50713e488b56", "timestamp": "2025-04-25T08:57:15.209621Z", "node_run_infos": [{"node_name": "custom_python", "node": "custom_python", "status": "Completed", "error": null, "duration": 0.001246, "description": null, "display_name": null, "output": {"text": "echo:你好", "input_length": 2}}]}

   • 欄位說明：

     欄位名	類型	描述
     event	string	事件類型，固定為NodeUpdated。
     run_id	string	當前Flow執行的唯一識別碼。
     timestamp	string	事件發生的時間戳記，遵循ISO 8601標準。
     node_run_infos	array[object]	包含一個或多個節點運行資訊的數組。每個對象代表一個狀態或輸出發生變化的節點。
     ∟ node_name	string	（node_run_infos內）節點的名稱（舊版欄位，與node欄位相同）。
     ∟ node	string	（node_run_infos內）節點的名稱。
     ∟ status	string	（node_run_infos內）節點當前的運行狀態，如Running、Completed、Failed。
     ∟ error	object or null	（node_run_infos內）如果節點執行失敗，則包含錯誤資訊對象；否則為null。
     ∟ duration	float	（node_run_infos內）節點執行所花費的時間（秒）。對於Running狀態，通常為0.0。
     ∟ description	string or null	（node_run_infos內）節點的描述。僅當請求中response_config.include_node_description為true時包含，否則為null。
     ∟ display_name	string or null	（node_run_infos內）節點的顯示名稱。僅當請求中response_config.include_node_display_name為true時包含，否則為null。
     ∟ output	object or null	（node_run_infos內）節點的輸出資料。僅當節點狀態為Completed且請求中response_config.include_node_output為true時包含，否則為null。

   RunOutput事件

   • 定義：RunOutput事件表示Flow執行已產生其最終輸出。通常在Flow運行結束時的RunTerminated事件之前發生。

   • Payload樣本：

     data: {"event": "RunOutput", "run_id": "4c185c72-1bb0-4beb-a288-f7a73e37fc3b_llm_3ce063ad-bc9b-417d-9e68-08ce92c3db1b", "timestamp": "2025-04-30T11:55:24.745130Z", "outputs": {"answer": "有什麼"}, "output_metadata": {"answer": {"is_stream": true, "status": "Streaming"}}}
     
     data: {"event": "RunOutput", "run_id": "4c185c72-1bb0-4beb-a288-f7a73e37fc3b_llm_3ce063ad-bc9b-417d-9e68-08ce92c3db1b", "timestamp": "2025-04-30T11:55:24.829133Z", "outputs": {"answer": "可以協助你的嗎？"}, "output_metadata": {"answer": {"is_stream": true, "status": "Streaming"}}}
     
     data: {"event": "RunOutput", "run_id": "4c185c72-1bb0-4beb-a288-f7a73e37fc3b_llm_3ce063ad-bc9b-417d-9e68-08ce92c3db1b", "timestamp": "2025-04-30T11:55:24.950055Z", "outputs": {"answer": ""}, "output_metadata": {"answer": {"is_stream": true, "status": "Streaming"}}}
     
     data: {"event": "RunOutput", "run_id": "4c185c72-1bb0-4beb-a288-f7a73e37fc3b_llm_3ce063ad-bc9b-417d-9e68-08ce92c3db1b", "timestamp": "2025-04-30T11:55:24.954983Z", "outputs": {}, "output_metadata": {"answer": {"is_stream": true, "status": "Finished"}}}
     
     data: {"event": "RunOutput", "run_id": "4c185c72-1bb0-4beb-a288-f7a73e37fc3b_python_oHG7_1c9fb0ac-0f45-4dbc-bf97-8e4175fd991c", "timestamp": "2025-04-30T11:55:24.957091Z", "outputs": {"python_output": "Hello: 你好！有什麼可以協助你的嗎？"}, "output_metadata": {"python_output": {"is_stream": false, "status": "Finished"}}}

   • 欄位說明：

     欄位名	類型	描述
     event	string	事件類型，固定為RunOutput。
     run_id	string	當前Flow執行的唯一識別碼。
     timestamp	string	事件發生的時間戳記，遵循ISO 8601標準。
     outputs	object	包含Flow最終輸出結果的字典。其具體結構取決於Flow設計時定義的輸出。
     output_metadata	object	包含Flow輸出中繼資料的字典。鍵是輸出名稱（與outputs中的鍵對應），值是包含該輸出中繼資料（例如is_stream和status）的對象。

   RunTerminated事件

   • 定義：RunTerminated事件標誌著Flow執行的結束。通常作為啟動並執行SSE流中發送的最後一個事件。

   • Payload樣本：

     data: {"event": "RunTerminated", "run_id": "8f92b1a6-4d69-422a-a080-50713e488b56", "timestamp": "2025-04-25T08:57:15.212791Z", "flow_run_info": {"run_id": "8f92b1a6-4d69-422a-a080-50713e488b56", "status": "Completed", "error": null, "otel_trace_id": "0x00000000000000000000000000000000"}}

   • 欄位說明：

     欄位名	類型	描述
     event	string	事件類型，固定為RunTerminate。
     run_id	string	當前Flow執行的唯一識別碼。
     timestamp	string	事件發生的時間戳記，遵循ISO 8601標準。
     flow_run_info	object	包含整個Flow啟動並執行最終狀態資訊。
     ∟ run_id	string	（flow_run_info內）Flow執行的唯一識別碼（與外層run_id相同）。
     ∟ status	string	（flow_run_info內）Flow執行的最終狀態，如Completed、Failed、Canceled。
     ∟ error	object or null	（flow_run_info內）如果Flow執行失敗，則包含錯誤資訊對象；否則為 null。
     ∟ otel_trace_id	string	（flow_run_info內）與此Flow執行關聯的OpenTelemetry追蹤ID（可能為空白或零值）。

OpenAI相容方式調用

部署的對話應用流（ChatFlow）支援以相容OpenAI的方式進行調用，同時也允許被其他支援OpenAI的用戶端使用。

curl --location '<Endpoint>/v1/chat/completions' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
    "model": "default",  
    "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user", 
            "content": "Who are you?"
        }
    ],
    "stream":true
}'

data: {"choices":[{"delta":{"content":"","role":"assistant"},"index":0,"logprobs":null,"finish_reason":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"finish_reason":null,"delta":{"content":"I am"},"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"delta":{"content":"a large"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"delta":{"content":"language model"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"delta":{"content":"created by Alibaba Cloud"},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"delta":{"content":". I am called Qwen."},"finish_reason":null,"index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: {"choices":[{"delta":{"content":""},"finish_reason":"stop","index":0,"logprobs":null}],"object":"chat.completion.chunk","usage":null,"created":1715931028,"system_fingerprint":null,"model":"qwen-plus","id":"chatcmpl-3bb05cf5cd819fbca5f0b8d67a025022"}

data: [DONE]

查看Trace

在調用服務後，系統會自動產生一條Trace記錄。您可以在鏈路追蹤頁簽下單擊指定鏈路操作列的查看鏈路，通過查看Trace詳情進行應用流效果的評估。

該Trace資料支援您查看應用流中各個節點的輸入和輸出資訊，如向量資料庫召回的結果，或LLM節點的輸入和輸出資訊等。

附錄：對話歷史

對於“對話型”應用流，LangStudio提供了多輪對話的歷史訊息儲存功能。您可以選擇使用本機存放區或外部儲存來儲存對話歷史。

儲存類型

• 本機存放區：服務將利用本地磁碟，在部署應用流的EAS執行個體上自動建立一個名為chat_history.db的SQLite資料庫來儲存交談記錄，預設儲存路徑為/langstudio/flow/。需要注意，本機存放區方案不支援多執行個體部署。請定期檢查本地磁碟的使用方式，您也可以通過下文提供的API介面進行對話歷史資料的查詢和刪除操作。當EAS執行個體被移除時，相關的對話歷史資料也將一併被清除。

• 外部儲存：目前支援使用RDS MySQL進行儲存。您需要在部署服務時，為對話歷史儲存配置一個RDS MySQL串連，具體配置方法請參見服務串連配置-資料庫。服務將在您配置的RDS MySQL資料庫中自動建立以服務名稱為尾碼的表，例如langstudio_chat_session_<服務名稱>和langstudio_chat_history_<服務名稱>，分別用於儲存對話Session及對話歷史訊息。

Session/User支援

每一次對應用流服務的對話請求都是無狀態的，當您希望多次請求被當作是同一個對話時，需要通過手動設定要求標頭的方式完成。服務要求方式詳情請參見API調用。

對話歷史API

應用流服務還提供了對話歷史資料管理API，您可以方便地通過API來查看和刪除這些資料。只需通過GET請求訪問 {Endpoint}/openapi.json，即可擷取完整的API Schema。該Schema基於Swagger標準構建，為了更直觀地理解和探索這些API，建議您使用Swagger UI進行可視化操作，使操作更加簡單明了。