模型設定 - Realtime Compute for Apache Flink

本文為您介紹註冊、查詢、修改、刪除AI模型的DDL資料定義語句。

使用須知

支援Flink AI服務（內建模型）、阿里雲百鍊、人工智慧平台PAI以及其他OpenAI相容介面的大模型服務。
人工智慧平台PAI部署的大模型服務需與Realtime ComputeFlink版服務處於同一地區。
僅Realtime Compute引擎VVR 11.1及以上版本支援。

CREATE MODEL

註冊模型

在資料查詢文本編輯地區，輸入以下命令。

CREATE [TEMPORARY] MODEL [catalog_name.][db_name.]model_name
INPUT ( { <physical_column_definition> [, ...n] )
OUTPUT ( { <physical_column_definition> [, ...n] )
WITH (key1=val1, key2=val2, ...)

<physical_column_definition>:
  column_name column_type [COMMENT column_comment]

子句	描述	關鍵參數	Schema限制	樣本
INPUT	定義模型輸入資料的欄位、類型以及欄位的順序。	`column_name`（欄位名） `column_type`（類型） `COMMENT`（注釋）	有且僅有一個String類型的欄位。	INPUT (`input_text` String COMMENT '使用者評論')
OUTPUT	定義模型輸出資料的欄位、類型以及欄位順序。	`column_name`（欄位名） `column_type`（類型） `COMMENT`（注釋）	不同模型任務類型限制如下： chat/completions：有且僅有一個輸出欄位。通過ML_PREDICT調用時類型為String；通過垂類AI函數（AI_CLASSIFY、AI_SUMMARIZE等）調用時類型為VARIANT。 embeddings：有且僅有一個ARRAY<FLOAT>類型的欄位。	OUTPUT (`sentiment_label` String COMMENT '情感標籤')
WITH	請參見WITH參數。	`provider`（服務名） `endpoint`（接入地址） `apiKey`（密鑰） `model`（模型標識）	無。	`WITH ('provider'='openai-compat', 'endpoint'='${ENDPOINT}', 'model'='qwen-turbo', 'apiKey'='${KEY}')`

樣本

內建模型（推薦）

主帳號已在對應地區開通 Flink AI服務，可使用內建模型模式建立模型。

CREATE TEMPORARY MODEL my_llm
INPUT (prompt String COMMENT '輸入提示詞')
OUTPUT (response String COMMENT '模型產生的文本')
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.5-flash'
);

無需指定endpoint參數：系統自動選擇對應的服務端點。
無需指定api-key參數：系統使用Flink託管的API-Key進行認證。
需指定task參數：聲明模型的任務類型。

人工智慧平台PAI

CREATE MODEL model_pai
INPUT (`input` String)
OUTPUT (`embedding` ARRAY<FLOAT>) 
WITH (
  'provider'='openai-compat',
  'endpoint'='<VPC調用地址>',
  'api-key'='<Token>',
  'model'='qwen3-235b-a22b'
);

如何擷取endpoint和api-key？如果您還沒有相關服務，詳情請參見一鍵部署DeepSeek-V4、DeepSeek-R1模型，模型線上服務 EAS 快速入門。

Model Galley

登入人工智慧平台PAI控制台。
在左側導覽列選擇Model Gallery > 任務管理 > 部署任務，單擊對應服務名稱。
單擊查看調用資訊。
- VPC調用地址為http，需修改為https。地址尾碼需要添加/v1/<task>。task：模型任務類型。支援以下取值：
  - chat/completions
  - embeddings
  例如https://************.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/quickstart_deploy_20250722_7b22/v1/chat/completions。
- Token為參數api-key的值。

模型線上服務（EAS）

在左側導覽列選擇模型線上服務（EAS） > 推理服務，單擊目標服務名稱進入概覽頁面。
在基本資料地區，單擊查看調用資訊。
在調用資訊面板，複製訪問地址和Token：
- VPC調用地址為http，需修改為https。地址尾碼需要添加/v1/<task>。task：模型任務類型。支援以下取值：
  - chat/completions
  - embeddings
  例如https://************.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/quickstart_deploy_20250722_7b22/v1/chat/completions。
- Token為參數api-key的值。

更多詳情請參見通過網關進行公網或內網調用。

阿里雲百鍊

說明

為了更穩定，便捷地使用百鍊模型，請使用內建模型方式配置，支援國內及海外多地區，跨地區訪問自動打通。

CREATE MODEL model_bailian
INPUT (`input` String)
OUTPUT (`content` String)
WITH (
  'provider'='openai-compat',
  'endpoint'='<Endpoint>',
  'api-key'='<bailian-key>',
  'model'='qwen3-235b-a22b'
);

百鍊平台模型服務連接埠格式為：<base-url>/compatible-mode/v1/<task>。例如https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions。

base-url：
公網：https://dashscope-intl.aliyuncs.com。使用公網需要Flink開通公網訪問，詳情請參見網路連接選型。
私網：私網訪問阿里雲百鍊模型或應用 API。
支援同地區和跨地區訪問。跨地區訪問（例如位於上海的Flink執行個體訪問位於北京的百鍊服務）需額外配置雲企業網CEN，詳情請參見跨地區私網訪問阿里雲百鍊 API。
重要
百鍊側的資料處理在所選百鍊地區執行。如果存在資料出境管控要求，請根據合規需求選擇合適的百鍊地區，詳情請參見選擇地區、服務部署範圍和接入網域名稱。
task：模型任務類型。支援以下取值。
- chat/completions
- embeddings

WITH參數

通用

參數	說明	資料類型	是否必填	預設值	備忘
provider	模型服務類型。	String	是	無	VVR 11.1～11.2: 固定值為`bailian`。 VVR 11.3 ~ 11.7：可選值`openai-compat`, `bailian`；推薦使用`openai-compat`。說明支援PAI平台或其他相容OpenAI API模型服務，固定值不變。
task	模型任務類型。	String	否	無	參數取值如下： chat/completions embeddings 重要如使用內建模型，此參數為必填，聲明任務類型。僅VVR 11.7及以上版本支援。
endpoint	模型服務連接埠，或其他相容OpenAI API的Embeddings和Chat/Completions模型服務連接埠。	String	否	無	百鍊或PAI平台連接埠詳見樣本。其他相容OpenAI API的Embeddings和Chat/Completions模型服務，可根據相應的API文檔填寫連接埠值。說明如使用內建模型，無需配置。
api-key	用來訪問百鍊平台介面的密鑰。	String	否	無	詳情請參見擷取API Key。曾用鍵名：apiKey（vvr 11.1版本）說明如使用內建模型，無需配置。
max-context-size	單個請求的內容相關的最大容量	Integer	否	無	如果超過了最大容量，會觸發context-overflow-action中定義的行為。說明僅VVR 11.2及以上版本支援。
context-overflow-action	單個請求的上下文超過最大容量時的處理行為	String	否	`truncated-tail`	可選值如下： `truncated-tail`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。不記錄日誌。 `truncated-tail-log`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。記錄截斷日誌。 `truncated-head`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。 `truncated-head-log`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。記錄截斷日誌。 `skipped`: 直接丟棄該條資料。不記錄日誌。 `skipped-log`: 直接丟棄該條資料並記錄日誌。說明僅VVR 11.2及以上版本支援。
max-context-size	最大上下文長度（token數量）	int	否	無	說明僅VVR 11.2及以上版本支援。
context-overflow-action	上下文長度超過限制時的行為	String	否	truncated-tail	可選值 `truncated-tail`：自動從尾部裁剪超出容量的資料，保留最近 `max-context-size` 條 `truncated-head`：從頭部裁剪最早的資料，保留最新 `max-context-size` 條資料 `skipped`：直接丟棄超出容量的新資料，不更新上下文 `truncated-tail-log`：在truncated-tail的基礎上，將截斷內容相關的行為記錄在日誌中 `truncated-head-log`：在truncated-head的基礎上，將截斷內容相關的行為記錄在日誌中 `skipped-log`:在skipped的基礎上，將截斷內容相關的行為記錄在日誌中說明僅VVR 11.2及以上版本支援。
error-handling-strategy	處理模型請求報錯的策略。	String	否	retry	可選值： retry：重試發送請求 failover：拋出異常 ignore：忽略異常、跳過該條資料說明僅VVR 11.4及以上版本支援。
retry-num	重試次數。	int	否	100	僅`error-handling-strategy = retry`時生效說明僅VVR 11.4及以上版本支援。
retry-fallback-strategy	達到最大重試次數後，報錯的兜底策略。	String	否	failover	可選值：僅`error-handling-strategy`配置除`retry`值時生效。說明僅VVR 11.4及以上版本支援。
retry-backoff-strategy	重試退避策略。定義了重試之間的時間間隔如何計算。	String	否	fixed	可選值： fixed：固定間隔 exponential：指數間隔說明僅VVR 11.4及以上版本支援。
retry-backoff-base-interval	重試退避的基礎時間間隔	Duration	否	1 s	說明僅VVR 11.4及以上版本支援。

chat/completions

Chat/Completions模型任務依賴如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
model	調用的服務端的具體模型。	String	是	無	支援選擇模型類別的模型。說明根據所選模型、輸入內容及輸出結果的Token數量進行計算，將產生相應的費用。
system-prompt	請求回答時的系統提示。	String	是	"You are a helpful assistant."	曾用鍵名：systemPrompt（vvr 11.1版本）說明在VVR 11.6版本以後，支援設定該參數值為空白值。
temperature	控制產生文本時對每個候選詞機率分布的平滑程度。	Float	否	無	取值範圍： [0, 2)。不建議取值為0，無意義。較高的temperature值會降低機率分布的峰值，使得更多的低機率詞被選擇，產生結果更加多樣化；而較低的temperature值則會增強機率分布的峰值，使得高機率詞更容易被選擇，產生結果更加確定。
top-p	產生過程中核採樣方法的機率閾值。	Float	否	無	取值越大，產生的隨機性越高；取值越小，產生的確定性越高。曾用鍵名：topP（vvr 11.1版本）
stop	停用詞。	String	否	無	在模型產生的內容即將包含指定的字串時自動停止。
max-tokens	指定模型可產生的最大token個數。	Integer	否	無	曾用鍵名：maxTokens（vvr 11.1版本）
content-type	輸入資料的類型。	String	否	text	單輸入列的內容類型。值可取`text`（預設）或`image_url`。與`content-types`互斥。說明僅VVR 11.6及以上版本支援。
content-types	多模態模型的輸入列內容類型。	String	否	無	以分號分隔的列表，每個輸入列對應一個類型。（如`text;image_url`）支援的類型：`text`、`image_url`、`multi_image_urls`。與`content-type`互斥。說明僅VVR 11.8及以上版本支援。詳情請參見通用調用。
presence-penalty	重複內容控制。	Double	否	無	取值範圍在 -2.0 到 2.0 之間。正值會根據新詞是否已出現在文本中對其進行懲罰，從而增加模型討論新主題的可能性。說明僅VVR 11.3及以上版本支援。
n	為每條輸入產生的輸出條數。	int	否	無	說明僅VVR 11.3及以上版本支援。
seed	模型回答的隨機數種子。	Long	否	無	如果指定，模型平台將儘力進行確定性採樣，使得使用相同 seed 和參數的重複請求盡量返回相同結果。說明僅VVR 11.3及以上版本支援。
response-format	傳回值格式。	String	否	text	可選值： text json_object 說明僅VVR 11.3及以上版本支援。
extra-header	請求中額外的http header。	String	否	無	應為 JSON 格式字串，其 JSON 中各索引值對的值為字串或字串列表。說明僅VVR 11.3及以上版本支援。
extra-body	請求中額外的http body。	String	否	無	應為 JSON 格式字串。說明僅VVR 11.3及以上版本支援。
user-prompt	請求回答時的使用者提示詞。	String	否	無	與system-prompt類似，區別在於是以使用者身份提交的提示詞。說明僅VVR 11.7及以上版本支援

embeddings

Embeddings模型任務依賴如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
model	調用的服務端的具體模型。	String	是	無	支援選擇模型模型。說明根據所選模型、輸入內容及輸出結果的Token數量進行計算，將產生相應的費用。
dimension	控制輸出的向量維度。	Integer	否	無	以具體模型支援的維度取值為準。通常為1024, 768, 512等值。

查看模型

在資料查詢文本編輯地區，輸入以下命令。

展示註冊的模型名字。

SHOW MODELS [ ( FROM | IN ) [catalog_name.]database_name ];

展示建立模型的語句。

SHOW CREATE MODEL [catalog_name.][db_name.]model_name;

展示模型的輸入輸出結構。

DESCRIBE MODEL [catalog_name.][db_name.]model_name;

樣本

SHOW MODELS;

-- RESULT
--+------------+
--| model name |
--+------------+
--|          m |
--+------------+

DESCRIBE MODEL m;

-- RESULT
-- +---------+--------+------+----------+
-- |    name |   type | null | is input |
-- +---------+--------+------+----------+
-- | content | String | TRUE |     TRUE |
-- |   label | BIGINT | TRUE |    FALSE |
-- +---------+--------+------+----------+

修改模型

在資料查詢文本編輯地區，輸入以下命令。

ALTER MODEL [IF EXISTS] [catalog_name.][db_name.]model_name {
  RENAME TO new_table_name
  SET (key1=val1, ...)
  RESET (key1, ...)
}

樣本

重新命名登入的模型。

ALTER MODEL m RENAME TO m1; -- 重新命名為 m1;

修改模型參數。

ALTER MODEL m SET ('endpoint' = '<Your_Endpoint>'); -- 調整 endpoint 路徑;

重設模型參數，還原為預設參數值。

ALTER MODEL m RESET ('endpoint'); -- 重設 endpoint 路徑;

刪除模型

在資料查詢文本編輯地區，輸入以下命令。

DROP [TEMPORARY] MODEL [IF EXISTS] [catalog_name.][db_name.]model_name

樣本

DROP MODEL m;