OpenSearch：內容產生服務

參數

類型

必填

描述

樣本值

messages

List[Dict]

是

包含迄今為止對話的訊息列表：

• role為角色，可選system，user，assistant。

  • system：表示系統級訊息，只能用於對話歷史的第一條（messages[0]）。使用system角色是可選的，如果存在，必須位於列表的最開始。

  • user和assistant：表示使用者和模型的對話。這兩類角色應交替出現在對話中，類比實際對話流程。

• content為對話資訊， 不得為空白。

[

{"role": "system", "content": "你是一個機器人助手"},

{"role": "user", "content": "河南的省會是哪裡"},

{"role": "assistant", "content": "鄭州"},

{"role": "user", "content": "那裡有什麼好玩的"}

]

model

String

是

服務ID，支援的服務ID請參見

支援的服務列表。

ops-qwen-turbo

max_tokens

Int

否

聊天完成時產生的最大Token 數。如果已達到該值仍然沒有結束，finish_reason值為length，否則值為stop。

1024

temperature

Float

否

temperature值控制了產生文本時對每個候選詞的機率分布，用於控制模型回複的隨機性和多樣性，取值範圍： [0, 2)，取值為0時無意義。

較高的temperature值會降低機率分布的峰值，使得更多的低機率詞被選擇，產生結果更加多樣化；較低的temperature值則會增強機率分布的峰值，使得高機率詞更容易被選擇，產生結果更加確定。

1

top_p

Float

否

產生過程中的核採樣方法機率閾值，取值範圍為（0,1.0），取值越大，產生的隨機性越高；取值越低，產生的確定性越高。

0.8

presence_penalty

Float

否

控制模型產生時整個序列中的重複度，取值範圍[-2.0, 2.0]，預設值為0。

提高presence_penalty可以降低模型產生的重複度。

0

frequency_penalty

Float

否

頻率懲罰值，取值範圍[-2.0, 2.0]，預設值為0。

正值會根據新產生的詞彙在文本中目前的頻率來進行懲罰，減少模型重複同樣話語的可能性。

0

stop

String, List[String]

否

停止詞，在模型產生的內容即將包含指定的字串或token_id時自動停止，產生的內容不包含指定的內容。stop可以為String類型或Array類型。

預設null

stream

Boolean

否

控制是否使用流式輸出。當以stream模式輸出結果時，介面返回結果為generator，需要通過迭代擷取結果，每次輸出為當前產生的增量序列。預設值為false。

false

參數

類型

描述

樣本值

id

String

系統產生的標識本次調用的ID。

2244F3A8-4201-4F37-BF86-42013B1026D6

object

String

物件類型，固定為chat.completion。

chat.completion

created

Long

Unix目前時間戳，單位s。

1719313883

model

String

調用的模型名。

ops-qwen-turbo

choices.index

Int

模型產生結果的序號，0表示第一個結果。

0

choices.message

Map

模型輸出的訊息。

{

"role":"assistant",

"content":"這是個樣本"

}

choices.finish_reason

String

段式 + 流式

• stop：表示模型返回了完整的輸出。

• length：由於產生長度過長導致停止產生內容。如需增加產生內容長度，可通過入參max_tokens的值調整。

• 以 content_filter開頭的表示安全過濾的結果。

stop

usage.completion_tokens

Int

模型產生回複轉換為Token後的長度。

150

usage.prompt_tokens

Int

使用者請求大模型輸入的內容轉換後的Token數量。

180

usage.total_tokens

Int

總Token用量，usage.prompt_tokens與usage.completion_tokens的總和。

330