Pengaturan Model - Realtime Compute for Apache Flink

Topik ini menjelaskan pernyataan bahasa definisi data (DDL) untuk mendaftarkan, melihat, memodifikasi, dan menghapus model AI.

Catatan penggunaan

Sistem mendukung Alibaba Cloud Model Studio, Platform for AI, serta layanan model besar lainnya dengan antarmuka yang Kompatibel dengan OpenAI.
Layanan model besar yang diterapkan pada Platform for AI harus berada di wilayah yang sama dengan layanan komputasi real-time Flink.
Hanya Ververica Runtime (VVR) 11.1 atau yang lebih baru yang didukung.

CREATE MODEL

Mendaftarkan sebuah model

Buat sebuah skrip dan masukkan perintah CREATE TABLE di editor SQL. Sintaks:

CREATE [TEMPORARY] MODEL [catalog_name.][db_name.]model_name
INPUT ( { <physical_column_definition> [, ...n] )
OUTPUT ( { <physical_column_definition> [, ...n] )
WITH (key1=val1, key2=val2, ...)

<physical_column_definition>:
  column_name column_type [COMMENT column_comment]

Klausa	Deskripsi	Parameter utama	Persyaratan skema	Contoh
INPUT	Mendefinisikan bidang, tipe bidang, dan urutan bidang dari data masukan.	`column_name` `column_type` `COMMENT`	Tepat satu bidang STRING diperlukan.	INPUT (`input_text` STRING COMMENT 'Komentar pengguna')
OUTPUT	Mendefinisikan bidang, tipe bidang, dan urutan bidang dari data keluaran.	`column_name` `column_type` `COMMENT`	Batasan untuk berbagai jenis tugas: chat/completions: Tepat satu bidang STRING diperlukan. embeddings: Tepat satu bidang ARRAY<FLOAT> diperlukan.	OUTPUT (`sentiment_label` STRING COMMENT 'Label sentimen')
WITH	Lihat Parameter.	`provider` `endpoint` `apiKey` `model`	Tidak ada.	`WITH ('provider'='bailian', 'endpoint'='${ENDPOINT}', 'model'='qwen-turbo', 'apiKey'='${KEY}')`

Contoh

Alibaba Cloud Model Studio

CREATE MODEL model_bailian
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
  'provider'='bailian',
  'endpoint'='<Endpoint>',
  'api-key'='<bailian-key>',
  'model'='qwen3-235b-a22b'
);

Format endpoint Alibaba Cloud Model Studio: <base-url>/compatible-mode/v1/<task>. Contohnya: https://dashscope-intl.aliyuncs.com/compatible-mode/v1/chat/completions.

base-url:
Akses Internet: https://dashscope-intl.aliyuncs.com. Untuk mengakses Alibaba Cloud Model Studio melalui internet, aktifkan akses publik untuk ruang kerja Flink Anda. Untuk informasi lebih lanjut, lihat Pilihan Konektivitas Jaringan.
Akses internal: Akses platform Alibaba Cloud Model Studio melalui endpoint jaringan internal. Saat ini hanya mendukung ruang kerja yang diterapkan di wilayah Singapura.
task: Jenis tugas model. Nilai valid:
- chat/completions
- embeddings

PAI

CREATE MODEL model_pai
INPUT (`input` STRING)
OUTPUT (`embedding` ARRAY<FLOAT>) 
WITH (
  'provider'='bailian',
  'endpoint'='<vpc_endpoint>',
  'api-key'='<Token>',
  'model'='qwen3-235b-a22b'
);

Untuk mendapatkan endpoint VPC dan kunci API, lihat Penyebaran Satu Klik Model DeepSeek-V3 dan DeepSeek-R1.

Masuk ke Konsol PAI.
Di panel navigasi kiri, pilih Model Gallery > Job Management > Deployment Jobs, lalu klik nama tugas yang sesuai.
Klik View Invocation Information.
Penting
- Alamat pemanggilan VPC menggunakan http, yang perlu diubah menjadi https. Akhiran alamat perlu ditambahkan dengan /v1/<task>. task: Jenis tugas model. Nilai berikut didukung:
  - chat/completions
  - embeddings
  Contoh: https://************.vpc.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/quickstart_deploy_20250722_7b22/v1/chat/completions.
- Token adalah nilai untuk parameter api-key.

Parameter

Umum

Parameter	Deskripsi	Tipe data	Diperlukan	Nilai default	Catatan
provider	Penyedia layanan model.	String	Ya	Tidak ada nilai default	Selalu atur ke `bailian`.
endpoint	Titik akhir API dari Alibaba Cloud Model Studio atau layanan lain yang menawarkan kompatibilitas API OpenAI untuk chat, completions, atau embeddings.	String	Ya	Tidak ada nilai default	Untuk endpoint untuk Alibaba Cloud Model Studio dan PAI, lihat Contoh. Untuk layanan lainnya, lihat dokumentasi API layanan tersebut.
api-key	Kunci API yang digunakan untuk mengakses API Alibaba Cloud Model Studio.	String	Ya	Tidak ada nilai default	Lihat Dapatkan Kunci API. Di VVR 11.1, parameter ini sebagai `apiKey`.
max-context-size	Panjang konteks maksimum dalam satu permintaan.	Integer	Tidak	Tidak ada nilai default	Parameter ini didukung di VVR 11.2 dan versi yang lebih baru. Jendela konteks yang melebihi batas ini memicu perilaku seperti yang didefinisikan dalam `context-overflow-action`.
context-overflow-action	Menentukan cara menangani konteks yang melebihi batas panjang konteks.	String	Tidak	`truncated-tail`	Parameter ini didukung di versi VVR 11.2 dan yang lebih baru. Nilai valid: `truncated-tail`: Memotong konteks dari akhir untuk sesuai dengan `max-context-size`, tanpa mencatat pemotongan. `truncated-tail-log`: Memotong konteks dari akhir untuk sesuai dengan `max-context-size` dan mencatat pemotongan. `truncated-head`: Memotong konteks dari awal untuk sesuai dengan `max-context-size`, tanpa mencatat pemotongan. `truncated-head-log`: Memotong konteks dari awal untuk sesuai dengan `max-context-size` dan mencatat pemotongan. `skipped`: Menghentikan data tanpa mencatat. `skipped-log`: Menghentikan data dan mencatatnya.

chat/completions

Tugas model chat/completions bergantung pada parameter berikut:

Parameter	Deskripsi	Tipe data	Diperlukan	Nilai default	Catatan
model	Model yang akan dipanggil.	String	Ya	Tidak ada nilai default	Mendukung model generasi teks. Catatan Anda akan ditagih berdasarkan LLM yang dipilih dan jumlah token input dan output.
system-prompt	Prompt sistem saat Anda meminta tanggapan.	String	Ya	"You are a helpful assistant."	Nama parameter di VVR 11.1: `systemPrompt`
temperature	Mengontrol keacakan output model.	float	Tidak	Tidak ada nilai default	Rentang nilai valid: [0, 2). Catatan: Nilai 0 tidak bermakna dan oleh karena itu tidak direkomendasikan. Suhu yang lebih tinggi membuat token yang kurang mungkin lebih cenderung dipilih; suhu yang lebih rendah meningkatkan kemungkinan model memilih token dengan probabilitas lebih tinggi.
top-p	Menentukan probabilitas kumulatif token yang dipertimbangkan untuk sampling.	float	Tidak	Tidak ada nilai default	Nilai yang lebih besar memperkenalkan lebih banyak keacakan pada konten yang dihasilkan. Nama parameter di VVR 11.1: `topP`
stop	Urutan stop.	String	Tidak	Tidak ada nilai default	Model berhenti menghasilkan teks setelah string yang ditentukan muncul.
max-tokens	Menentukan panjang maksimum teks yang dihasilkan.	Integer	Tidak	Tidak ada nilai default	Nama parameter di VVR 11.1: `maxTokens`

embeddings

Tugas model embeddings bergantung pada parameter berikut:

Parameter	Deskripsi	Tipe data	Diperlukan	Nilai default	Catatan
model	Model yang akan dipanggil.	String	Ya	Tidak ada nilai default	Mendukung model penyematan teks. Catatan Anda akan ditagih berdasarkan LLM yang dipilih dan jumlah token input dan output.
dimension	Mengontrol dimensi vektor keluaran.	Integer	Tidak	1024	Nilai valid: 1024, 768, 512. Menggunakan nilai lain akan menghasilkan kesalahan.

Lihat model

Buat skrip dan masukkan kueri di editor SQL.

Tampilkan nama model yang terdaftar.

SHOW MODELS [ ( FROM | IN ) [catalog_name.]database_name ];

Tampilkan pernyataan yang digunakan untuk mendaftarkan model.
```
SHOW CREATE MODEL [catalog_name.][db_name.]model_name;
```

Tampilkan skema input dan output dari model.

DESCRIBE MODEL [catalog_name.][db_name.]model_name;

Contoh

SHOW MODELS;

-- HASIL
--+------------+
--| nama model |
--+------------+
--|          m |
--+------------+

DESCRIBE MODEL m;

-- HASIL
-- +---------+--------+------+----------+
-- |    nama |   tipe | null | is input |
-- +---------+--------+------+----------+
-- | content | STRING | TRUE |     TRUE |
-- |   label | BIGINT | TRUE |    FALSE |
-- +---------+--------+------+----------+

Modifikasi model

Buat sebuah skrip dan masukkan kueri di editor SQL.

ALTER MODEL [IF EXISTS] [catalog_name.][db_name.]model_name {
  RENAME TO new_table_name
  SET (key1=val1, ...)
  RESET (key1, ...)
}

Contoh

Ganti nama model yang terdaftar.

ALTER MODEL m RENAME TO m1; -- Ganti nama menjadi m1;

Ubah parameter model.

ALTER MODEL m SET ('endpoint' = '<Your_Endpoint>'); -- Sesuaikan jalur endpoint;

Reset parameter model ke nilai default.

ALTER MODEL m RESET ('endpoint'); -- Reset jalur titik akhir;

Hapus model

Buat sebuah skrip dan masukkan kueri di editor SQL.

DROP [TEMPORARY] MODEL [IF EXISTS] [catalog_name.][db_name.]model_name

Contoh

DROP MODEL m;