模型設定 - Realtime Compute for Apache Flink

本文為您介紹註冊、查詢、修改、刪除AI模型的DDL資料定義語句。

使用須知

支援阿里雲百鍊、人工智慧平台PAI以及其他OpenAI相容介面的大模型服務。
人工智慧平台PAI部署的大模型服務需與Realtime ComputeFlink版服務處於同一地區。
僅Realtime Compute引擎VVR 11.1及以上版本支援。

CREATE MODEL

註冊模型

在資料查詢文本編輯地區，輸入以下命令。

CREATE [TEMPORARY] MODEL [catalog_name.][db_name.]model_name
INPUT ( { <physical_column_definition> [, ...n] )
OUTPUT ( { <physical_column_definition> [, ...n] )
WITH (key1=val1, key2=val2, ...)

<physical_column_definition>:
  column_name column_type [COMMENT column_comment]

子句	描述	關鍵參數	Schema限制	樣本
INPUT	定義模型輸入資料的欄位、類型以及欄位的順序。	`column_name`（欄位名） `column_type`（類型） `COMMENT`（注釋）	有且僅有一個STRING類型的欄位。	INPUT (`input_text` STRING COMMENT '使用者評論')
OUTPUT	定義模型輸出資料的欄位、類型以及欄位順序。	`column_name`（欄位名） `column_type`（類型） `COMMENT`（注釋）	不同模型任務類型限制如下： chat/completions：有且僅有一個STRING類型的欄位。 embeddings：有且僅有一個ARRAY<FLOAT>類型的欄位。	OUTPUT (`sentiment_label` STRING COMMENT '情感標籤')
WITH	請參見WITH參數。	`provider`（服務名） `endpoint`（接入地址） `apiKey`（密鑰） `model`（模型標識）	無。	`WITH ('provider'='bailian', 'endpoint'='${ENDPOINT}', 'model'='qwen-turbo', 'apiKey'='${KEY}')`

樣本

阿里雲百鍊

CREATE MODEL model_bailian
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
  'provider'='bailian',
  'endpoint'='<Endpoint>',
  'api-key'='<bailian-key>',
  'model'='qwen3-235b-a22b'
);

百鍊平台模型服務連接埠格式為：<base-url>/compatible-mode/v1/<task>。例如https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions。

base-url：
公網：https://dashscope-intl.aliyuncs.com。使用公網需要Flink開通公網訪問，詳情請參見網路連接選型。
私網：通過終端節點私網訪問阿里雲百鍊平台。暫時僅支援部署在新加坡地區的Realtime Compute服務。
task：模型任務類型。支援以下取值。
- chat/completions
- embeddings

人工智慧平台PAI

CREATE MODEL model_pai
INPUT (`input` STRING)
OUTPUT (`embedding` ARRAY<FLOAT>) 
WITH (
  'provider'='bailian',
  'endpoint'='<VPC調用地址>',
  'api-key'='<Token>',
  'model'='qwen3-235b-a22b'
);

如何擷取endpoint和api-key？如果您還沒有相關服務，詳情請參見一鍵部署DeepSeek-V3、DeepSeek-R1模型。

登入人工智慧平台PAI控制台。
在左側導覽列選擇Model Gallery > 任務管理 > 部署任務，單擊對應服務名稱。
單擊查看調用資訊。
重要
- VPC調用地址為http，需修改為https。地址尾碼需要添加/v1/<task>。task：模型任務類型。支援以下取值：
  - chat/completions
  - embeddings
  例如https://************.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/quickstart_deploy_20250722_7b22/v1/chat/completions。
- Token為參數api-key的值。

WITH參數

通用

參數	說明	資料類型	是否必填	預設值	備忘
provider	模型服務類型。	String	是	無	固定值為`bailian`。說明支援PAI平台或其他相容OpenAI API模型服務，固定值不變。
endpoint	模型服務連接埠，或其他相容OpenAI API的Embeddings和Chat/Completions模型服務連接埠。	String	是	無	百鍊或PAI平台連接埠詳見樣本。其他相容OpenAI API的Embeddings和Chat/Completions模型服務，可根據相應的API文檔填寫連接埠值。
api-key	用來訪問百鍊平台介面的密鑰。	String	是	無	詳情請參見擷取API Key。曾用鍵名：apiKey（vvr 11.1版本）
max-context-size	單個請求的內容相關的最大容量	Integer	否	無	vvr 11.2及以上版本支援。如果超過了最大容量，會觸發context-overflow-action中定義的行為。
context-overflow-action	單個請求的上下文超過最大容量時的處理行為	String	否	`truncated-tail`	vvr 11.2及以上版本支援。可選值如下： `truncated-tail`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。不記錄日誌。 `truncated-tail-log`: 自動從尾部裁剪超出容量的token，保留最近 `max-context-size` 個token。記錄截斷日誌。 `truncated-head`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。 `truncated-head-log`: 從頭部裁剪最早的token，保留最新 `max-context-size` 個token。記錄截斷日誌。 `skipped`: 直接丟棄該條資料。不記錄日誌。 `skipped-log`: 直接丟棄該條資料並記錄日誌。

chat/completions

Chat/Completions模型任務依賴如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
model	調用的服務端的具體模型。	String	是	無	支援文本產生類別的模型。說明根據所選模型、輸入內容及輸出結果的Token數量進行計算，將產生相應的費用。
system-prompt	請求回答時的系統提示。	String	是	"You are a helpful assistant."	曾用鍵名：systemPrompt（vvr 11.1版本）
temperature	控制產生文本時對每個候選詞機率分布的平滑程度。	float	否	無	取值範圍： [0, 2)。不建議取值為0，無意義。較高的temperature值會降低機率分布的峰值，使得更多的低機率詞被選擇，產生結果更加多樣化；而較低的temperature值則會增強機率分布的峰值，使得高機率詞更容易被選擇，產生結果更加確定。
top-p	產生過程中核採樣方法的機率閾值。	float	否	無	取值越大，產生的隨機性越高；取值越小，產生的確定性越高。曾用鍵名：topP（vvr 11.1版本）
stop	停用詞。	String	否	無	在模型產生的內容即將包含指定的字串時自動停止。
max-tokens	指定模型可產生的最大token個數。	Integer	否	無	曾用鍵名：maxTokens（vvr 11.1版本）

embeddings

Embeddings模型任務依賴如下參數：

參數	說明	資料類型	是否必填	預設值	備忘
model	調用的服務端的具體模型。	String	是	無	支援文本向量模型。說明根據所選模型、輸入內容及輸出結果的Token數量進行計算，將產生相應的費用。
dimension	控制輸出的向量維度。	Integer	否	1024	可選值：1024, 768, 512。暫不支援其他值，否則會提示錯誤。

查看模型

在資料查詢文本編輯地區，輸入以下命令。

展示註冊的模型名字。

SHOW MODELS [ ( FROM | IN ) [catalog_name.]database_name ];

展示建立模型的語句。

SHOW CREATE MODEL [catalog_name.][db_name.]model_name;

展示模型的輸入輸出結構。

DESCRIBE MODEL [catalog_name.][db_name.]model_name;

樣本

SHOW MODELS;

-- RESULT
--+------------+
--| model name |
--+------------+
--|          m |
--+------------+

DESCRIBE MODEL m;

-- RESULT
-- +---------+--------+------+----------+
-- |    name |   type | null | is input |
-- +---------+--------+------+----------+
-- | content | STRING | TRUE |     TRUE |
-- |   label | BIGINT | TRUE |    FALSE |
-- +---------+--------+------+----------+

修改模型

在資料查詢文本編輯地區，輸入以下命令。

ALTER MODEL [IF EXISTS] [catalog_name.][db_name.]model_name {
  RENAME TO new_table_name
  SET (key1=val1, ...)
  RESET (key1, ...)
}

樣本

重新命名登入的模型。

ALTER MODEL m RENAME TO m1; -- 重新命名為 m1;

修改模型參數。

ALTER MODEL m SET ('endpoint' = '<Your_Endpoint>'); -- 調整 endpoint 路徑;

重設模型參數，還原為預設參數值。

ALTER MODEL m RESET ('endpoint'); -- 重設 endpoint 路徑;

刪除模型

在資料查詢文本編輯地區，輸入以下命令。

DROP [TEMPORARY] MODEL [IF EXISTS] [catalog_name.][db_name.]model_name

樣本

DROP MODEL m;