模型設定 - Realtime Compute for Apache Flink

本文為您介紹註冊、查詢、修改、刪除AI模型的DDL資料定義語句。

使用須知

註冊模型

主帳號已在對應地區開通 Flink AI服務，可使用內建模型模式建立模型。

CREATE TEMPORARY MODEL my_llm
INPUT (prompt String COMMENT '輸入提示詞')
OUTPUT (response String COMMENT '模型產生的文本')
WITH (
  'provider' = 'dashscope',
  'task' = 'chat/completions',
  'model' = 'qwen3.5-flash'
);

無需指定endpoint參數：系統自動選擇對應的服務端點。
無需指定api-key參數：系統使用Flink託管的API-Key進行認證。
需指定task參數：聲明模型的任務類型。

WITH參數

通用

參數	說明	資料類型	是否必填	預設值	備忘
provider	模型服務類型。	String	是	無	可選值`openai-compat`、`dashscope`、`triton`。 `dashscope`（推薦）：相容多模態任務。如多模態嵌入multimodal-embedding。 `openai-compat`：非多模態可選。 `triton`：用於調用Triton推理服務。具體操作請參見Triton推理服務調用。
task	模型任務類型。	String	是	無	參數取值如下： chat/completions embeddings multimodal-embedding
model	調用的服務端的具體模型。	String	是	無	根據不同的任務類型，選擇不同的模型，詳情請參見內建模型列表。
max-context-size	單個請求的內容相關的最大容量	Integer	否	無	如果超過了最大容量，會觸發context-overflow-action中定義的行為。
context-overflow-action	單個請求的上下文超過最大容量時的處理行為	String	否	`truncated-tail`	可選值如下： `truncated-tail`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。不記錄日誌。 `truncated-tail-log`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。記錄截斷日誌。 `truncated-head`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。 `truncated-head-log`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。記錄截斷日誌。 `skipped`: 直接丟棄該條資料。不記錄日誌。 `skipped-log`: 直接丟棄該條資料並記錄日誌。
error-handling-strategy	處理模型請求報錯的策略。	String	否	retry	可選值： retry：重試發送請求 failover：拋出異常 ignore：忽略異常、跳過該條資料
retry-num	重試次數。	int	否	100	僅`error-handling-strategy = retry`時生效
retry-fallback-strategy	達到最大重試次數後，報錯的兜底策略。	String	否	failover	可選值：僅`error-handling-strategy`配置除`retry`值時生效。
retry-backoff-strategy	重試退避策略。定義了重試之間的時間間隔如何計算。	String	否	fixed	可選值： fixed：固定間隔 exponential：指數間隔
retry-backoff-base-interval	重試退避的基礎時間間隔	Duration	否	1 s	-
content-type	輸入資料的類型。適用於 Chat/Completions 和 Multimodal-Embedding 任務。	String	否	text	單輸入列的內容類型。可取值`text`（預設）或`image_url`。與`content-types`互斥。
content-types	多模態模型的輸入列內容類型。適用於 Chat/Completions 和 Multimodal-Embedding 任務。	String	否	無	以分號分隔的列表，每個輸入列對應一個類型（如`text;image_url`）。支援的類型：`text`、`image_url`、`multi_image_urls`等。與`content-type`互斥。說明僅 VVR 11.8 及以上版本支援。詳情請參見通用調用。

chat/completions

文本產生類任務使用caht/completions，支援如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
system-prompt	請求回答時的系統提示。	String	否	"You are a helpful assistant."	支援設定該參數值為空白值。
temperature	控制產生文本時對每個候選詞機率分布的平滑程度。	Float	否	無	取值範圍： [0, 2)。不建議取值為0，無意義。較高的temperature值會降低機率分布的峰值，使得更多的低機率詞被選擇，產生結果更加多樣化；而較低的temperature值則會增強機率分布的峰值，使得高機率詞更容易被選擇，產生結果更加確定。
top-p	產生過程中核採樣方法的機率閾值。	Float	否	無	取值越大，產生的隨機性越高；取值越小，產生的確定性越高。
stop	停用詞。	String	否	無	在模型產生的內容即將包含指定的字串時自動停止。
max-tokens	指定模型可產生的最大token個數。	Integer	否	無	會受模型能力限制。
presence-penalty	重複內容控制。	Double	否	無	取值範圍在 -2.0 到 2.0 之間。正值會根據新詞是否已出現在文本中對其進行懲罰，從而增加模型討論新主題的可能性。
n	為每條輸入產生的輸出條數。	int	否	無	-
seed	模型回答的隨機數種子。	Long	否	無	如果指定，模型平台將儘力進行確定性採樣，使得使用相同 seed 和參數的重複請求盡量返回相同結果。
response-format	傳回值格式。	String	否	text	可選值： text json_object
extra-body	請求中額外的http body。	String	否	無	應為 JSON 格式字串。詳情請參見extra-body說明
user-prompt	請求回答時的使用者提示詞。	String	否	無	與system-prompt類似，區別在於是以使用者身份提交的提示詞。

embeddings

文本向量化任務使用embeddings，支援如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
dimension	控制輸出的向量維度。	Integer	否	無	以具體模型支援的維度取值為準。通常為 1024、768、512 等值。

multimodal-embedding

多模態向量化任務使用 multimodal-embedding，支援將文本、圖片或圖文混合輸入轉換為向量，支援如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
dimension	控制輸出的向量維度。	Integer	否	無	以具體模型支援的維度取值為準。通常為 1024、768、512 等值。

樣本一：僅圖片

CREATE TEMPORARY MODEL multimodal_embedding_model
INPUT (`input` STRING)
OUTPUT (`content` ARRAY<FLOAT>)
WITH (
  'provider' = 'dashscope',
  'task' = 'multimodal-embedding',
  'model' = 'qwen3-vl-embedding',
  'dimension' = '512',
  'content-type' = 'image_url'
);

樣本二：圖文混合

圖文融合僅支援多模態融合向量文檔中通過 enable_fusion 啟用融合能力的模型。Flink 根據模型的輸入列數自動判斷是否開啟融合，無需配置額外參數。

CREATE TEMPORARY MODEL fusion_embedding_model
INPUT (text_input STRING, image_input STRING)
OUTPUT (embedding ARRAY<FLOAT>)
WITH (
  'provider' = 'dashscope',
  'task' = 'multimodal-embedding',
  'model' = 'qwen3-vl-embedding',
  'dimension' = '512',
  'content-types' = 'text;image_url'
);

extra-body說明

extra-body 的值為 JSON 格式字串，用於向模型請求體中添加額外參數。具體可用參數取決於模型服務提供者，以下為百鍊平台常見參數（包括但不限於）：

參數	類型	說明
`top_k`	Integer	採樣候選集大小，值越大隨機性越高。詳情請參見請求體。
`enable_thinking`	Boolean	是否開啟深度思考模式（適用於 Qwen3 等支援思考的模型）。詳情請參見深度思考。
`thinking_budget`	Integer	思考過程的最大 token 長度。僅在 `enable_thinking` 為 `true` 時生效。詳情請參見限制思考長度。
`translation_options`	Object	翻譯模型的翻譯參數。詳情請參見翻譯能力。
`enable_search`	Boolean	是否使用互連網搜尋結果輔助產生回答，預設為 `false`。詳情請參見連網搜尋。
`search_options`	Object	連網搜尋策略配置。僅在 `enable_search` 為 `true` 時生效。詳情請參見設定搜尋量級策略。

樣本

CREATE MODEL my_model
USING openai_compatible
WITH (
  'provider' = 'openai-compat',
  'model' = 'qwen3.5-flash',
  'task' = 'chat/completions',
  'extra-body' = '{"enable_thinking": true, "thinking_budget": 4096}'
);

查看模型

在資料查詢文本編輯地區，輸入以下命令。

展示註冊的模型名字。

SHOW MODELS [ ( FROM | IN ) [catalog_name.]database_name ];

展示建立模型的語句。

SHOW CREATE MODEL [catalog_name.][db_name.]model_name;

展示模型的輸入輸出結構。

DESCRIBE MODEL [catalog_name.][db_name.]model_name;

樣本

SHOW MODELS;

-- RESULT
--+------------+
--| model name |
--+------------+
--|          m |
--+------------+

DESCRIBE MODEL m;

-- RESULT
-- +---------+--------+------+----------+
-- |    name |   type | null | is input |
-- +---------+--------+------+----------+
-- | content | String | TRUE |     TRUE |
-- |   label | BIGINT | TRUE |    FALSE |
-- +---------+--------+------+----------+

修改模型

在資料查詢文本編輯地區，輸入以下命令。

ALTER MODEL [IF EXISTS] [catalog_name.][db_name.]model_name {
  RENAME TO new_table_name
  SET (key1=val1, ...)
  RESET (key1, ...)
}

樣本

重新命名登入的模型。

ALTER MODEL m RENAME TO m1; -- 重新命名為 m1;

修改模型參數。

ALTER MODEL m SET ('endpoint' = '<Your_Endpoint>'); -- 調整 endpoint 路徑;

重設模型參數，還原為預設參數值。

ALTER MODEL m RESET ('endpoint'); -- 重設 endpoint 路徑;

刪除模型

在資料查詢文本編輯地區，輸入以下命令。

DROP [TEMPORARY] MODEL [IF EXISTS] [catalog_name.][db_name.]model_name

樣本

DROP MODEL m;