Integrasikan model AI bawaan ke dalam pekerjaan data ingestion Flink untuk pemrosesan cerdas real-time, seperti ringkasan teks dan vektorisasi.
Prasyarat
-
Realtime Compute engine: VVR 11.9 (termasuk versi Preview) atau yang lebih baru.
-
Dependensi tambahan: Unggah paket JAR flink-cdc-pipeline-model-openai-compatible sebagai dependensi tambahan pekerjaan.
Cara kerja
Integrasi model inferensi AI melibatkan dua langkah:
-
Definisikan model: Definisikan model dalam blok pipeline draft pekerjaan YAML. Anda juga dapat langsung mereferensikan model yang telah dibuat di metastore.
-
Gunakan model: Panggil model inferensi AI atau generasi vektor dalam blok transform draft pekerjaan YAML.
Setiap model memerlukan nama unik, yang berfungsi sebagai nama fungsi untuk memanggil model tersebut dalam transformasi data.
Konfigurasikan dan panggil model bawaan Flink AI
Langkah 1: Siapkan prasyarat
Sebelum memulai, ikuti petunjuk dalam Flink AI service (built-in models) untuk mengaktifkan layanan Flink AI.
Selain itu, Anda harus mengunggah paket JAR flink-cdc-pipeline-model-openai-compatible sebagai dependensi tambahan pekerjaan dan menyambungkannya ke draft pekerjaan.
Langkah 2: Definisikan model dalam blok pipeline
Untuk mendefinisikan model AI, tambahkan daftar bidang model ke modul pipeline draft pekerjaan YAML. Setiap model harus memiliki nama unik yang memenuhi aturan pengidentifikasi umum: dimulai dengan huruf dan hanya boleh berisi huruf, garis bawah, serta angka.
Parameter berikut wajib diisi:
-
Identifikasi model
name, yang dapat dipilih secara bebas tetapi harus merupakan pengidentifikasi yang valid. -
Jenis model
type, yang tetap diatur keopenai-compatible. -
Nama model yang akan dipanggil di Model Studio, ditentukan oleh
model.
pipeline:
model:
- name: CHAT
type: openai-compatible
model: qwen-plus
user-prompt: Please summarize the input.
- name: GET_EMBEDDING
type: openai-compatible
model: text-embedding-v4
Tabel berikut mencantumkan semua parameter yang dapat Anda tentukan.
|
Parameter |
Type |
Required |
Default value |
Description |
|
name |
STRING |
Yes |
N/A |
Alias model dalam pipeline, yang direferensikan oleh fungsi AI. Harus unik dan mematuhi aturan penamaan pengidentifikasi. |
|
type |
STRING |
Yes |
N/A |
Jenis model. Atur parameter ini ke openai-compatible. |
|
model |
STRING |
Yes |
N/A |
Nama model aktual yang digunakan oleh layanan Flink AI untuk inferensi. Untuk informasi selengkapnya tentang model yang tersedia, lihat Built-in models. |
|
task |
STRING |
No |
cdc-yaml-ai-task |
Nama task model, digunakan sebagai kelompok task dalam metrik pemantauan. |
|
error-handling-strategy |
STRING |
No |
retry |
Strategi penanganan permintaan yang gagal. Nilai yang valid: retry, failover, dan ignore. |
|
retry-num |
INT |
No |
100 |
Jumlah maksimum upaya untuk satu panggilan model ketika error-handling-strategy diatur ke retry. |
|
retry-fallback-strategy |
STRING |
No |
failover |
Strategi setelah upaya retry habis. Nilai yang valid: failover dan ignore. Parameter ini tidak dapat diatur ke retry. |
|
retry-backoff-strategy |
STRING |
No |
fixed |
Strategi backoff retry. Nilai yang valid: fixed dan exponential. |
|
retry-backoff-base-interval |
DURATION |
No |
1 s |
Interval dasar antar retry, misalnya 500 ms, 1 s, atau 2 min. |
|
system-prompt |
STRING |
No |
N/A |
Prompt sistem yang ditambahkan ke permintaan. Untuk generasi teks biasa, prompt ini ditempatkan sebelum prompt sistem dari fungsi AI itu sendiri. |
|
user-prompt |
STRING |
No |
N/A |
Prompt pengguna yang ditambahkan setelah input model. |
|
temperature |
DOUBLE |
No |
Determined by the model service |
Suhu pengambilan sampel. |
|
top-p |
DOUBLE |
No |
Determined by the model service |
Massa probabilitas untuk pengambilan sampel inti. |
|
stop |
STRING |
No |
N/A |
Menghentikan generasi saat string tertentu ditemui. |
|
max-tokens |
INT |
No |
Determined by the model service |
Jumlah maksimum token yang dapat dihasilkan dalam satu permintaan. |
|
presence-penalty |
DOUBLE |
No |
Determined by the model service |
Penalti keberadaan, digunakan untuk mengurangi kecenderungan model mengulang topik yang sudah ada. |
|
n |
LONG |
No |
Determined by the model service |
Jumlah hasil kandidat yang akan dihasilkan. Klien saat ini hanya mengembalikan hasil pertama. |
|
seed |
LONG |
No |
N/A |
Seed acak, yang dapat digunakan untuk meningkatkan reproduktibilitas hasil jika didukung oleh layanan model. |
|
response-format |
STRING |
No |
json_object |
Format respons. Hanya json_object yang didukung. |
|
content-type |
STRING |
No |
text |
Jenis input model. Nilai yang valid: text dan image_url. Ketika diatur ke image_url, string input dikirim sebagai URL gambar. |
|
extra-header |
STRING |
No |
N/A |
Header HTTP yang dilampirkan ke permintaan, dideklarasikan sebagai objek JSON. |
|
extra-body |
STRING |
No |
N/A |
Parameter ekstensi spesifik vendor yang dilampirkan ke badan permintaan, dideklarasikan sebagai objek JSON. |
|
dimension |
INT |
No |
Determined by the model service |
Dimensi vektor yang dikembalikan oleh AI_EMBED. Parameter ini hanya berlaku jika model mendukung dimensi kustom. |
Langkah 3: Panggil Fungsi AI dalam modul transform
Fungsi AI bawaan berikut dapat dipanggil dalam modul transform, dikelompokkan berdasarkan modalitas.
Parameter pertama setiap fungsi AI bawaan adalah identifikasi model yang Anda definisikan dalam blok pipeline, yaitu nilai parameter name dalam model.
Fungsi generasi teks
-
AI_COMPLETE
-
Tujuan: Fungsi generasi teks tujuan umum yang memproses teks input sesuai dengan prompt tertentu. Cocok untuk pembuatan konten, penulisan ulang teks, dan tanya jawab umum.
-
Contoh penggunaan:
AI_COMPLETE('chat_model', content_string, 'Summarize the input content') -
Contoh output:
{"result":"Summary of the input content"}
-
-
AI_CLASSIFY
-
Tujuan: Mengklasifikasikan teks input ke dalam kategori kandidat yang ditentukan. Pisahkan beberapa kategori dengan koma.
-
Contoh penggunaan:
AI_CLASSIFY('chat_model', content_string, 'news,sports,entertainment') -
Contoh output:
{"category":"sports","confidence":0.95}
-
-
AI_TRANSLATE
-
Tujuan: Menerjemahkan teks input dari bahasa sumber ke bahasa target. Ketika bahasa sumber diatur ke
auto, model akan mendeteksinya secara otomatis. -
Contoh penggunaan:
AI_TRANSLATE('chat_model', content_string, 'auto', 'en') -
Contoh output:
{"translated_text":"Hello, world.","detected_language":"zh"}
-
-
AI_SUMMARIZE
-
Tujuan: Menghasilkan ringkasan dari teks input. Parameter ketiga menentukan jumlah maksimum karakter yang diizinkan dalam ringkasan.
-
Contoh penggunaan:
AI_SUMMARIZE('chat_model', content_string, 200) -
Contoh output:
{"summary":"Summary of the input content"}
-
-
AI_SENTIMENT
-
Tujuan: Menganalisis sentimen dari teks input. Rentang nilai skor sentimen
scoreadalah-1.0hingga1.0. -
Contoh penggunaan:
AI_SENTIMENT('chat_model', review_content) -
Contoh output:
{"score":0.8,"label":"positive","confidence":0.92}
-
-
AI_EXTRACT
-
Tujuan: Mengekstraksi informasi terstruktur dari teks tidak terstruktur sesuai dengan skema yang ditentukan.
-
Contoh penggunaan:
AI_EXTRACT('chat_model', content_string, '{"name":"string","age":"integer"}') -
Contoh output:
{"extracted_json":"{\"name\":\"John\",\"age\":25}"}
-
-
AI_MASK
-
Tujuan: Mengidentifikasi dan menyamarkan informasi sensitif dari jenis yang ditentukan. Pisahkan beberapa jenis entitas dengan koma.
-
Contoh penggunaan:
AI_MASK('chat_model', content_string, 'name,phone,email') -
Contoh output:
{"masked_text":"Contact: Zhang*, phone: 138****8000","detected_entities":"name,phone"}
-
Fungsi vektorisasi teks
-
AI_EMBED
-
Tujuan: Mengonversi teks input menjadi vektor floating-point. Cocok untuk pencarian semantik, komputasi kemiripan, dan pengelompokan teks.
-
Contoh penggunaan:
AI_EMBED('embedding_model', content_string) -
Contoh output:
[0.0123, -0.0876, 0.2345, ...]
-
Fungsi generasi multimodal
-
AI_IMAGE_COMPLETE
-
Tujuan: Menghasilkan teks dari data biner gambar dan prompt. Cocok untuk keterangan gambar, pengenalan konten, dan tanya jawab visual.
-
Contoh penggunaan:
AI_IMAGE_COMPLETE('vision_model', image_bytes, 'Describe the product in the image') -
Contoh output:
"The image shows a pair of white sneakers."
-
Fungsi vektorisasi multimodal
-
AI_IMAGE_EMBED
-
Tujuan: Mengonversi data biner gambar menjadi vektor floating-point. Cocok untuk pencarian gambar-ke-gambar, pengelompokan gambar, dan pengambilan multimodal.
-
Contoh penggunaan:
AI_IMAGE_EMBED('image_embedding_model', image_bytes) -
Contoh output:
[0.0312, -0.1024, 0.2867, ...]
-
Contoh konfigurasi lengkap
Contoh berikut membaca artikel dan gambar dari MySQL, memanggil fungsi ringkasan teks dan vektorisasi, lalu menulis hasilnya ke data lake DLF Paimon.
Secara default, model inferensi AI dievaluasi secara berurutan. Karena dibatasi oleh laju I/O jaringan, hal ini dapat menyebabkan masalah seperti throughput yang berkurang dan checkpoint yang lambat.
Anda dapat mengatur parameter transform.async-execution.enabled untuk mengaktifkan optimasi inferensi AI asinkron, yang merupakan fitur eksperimental. Untuk informasi selengkapnya tentang fitur dan batasan parameter ini, lihat Pipeline parameters.
source:
type: mysql
using.built-in-catalog: mysql_catalog
tables: inventory.articles
sink:
type: paimon
using.built-in-catalog: dlf_catalog
transform:
- source-table: inventory.articles
projection: >-
id,
AI_SUMMARIZE('chat_model', content, 200) AS summary,
AI_EMBED('embedding_model', content) AS text_embedding,
AI_IMAGE_COMPLETE('chat_model', image_bytes, 'Describe the content of the image') AS image_description,
AI_IMAGE_EMBED('embedding_model', image_bytes) AS image_embedding
pipeline:
# Enable the experimental asynchronous AI inference optimization
transform.async-execution.enabled: true
parallelism: 4
model:
- name: chat_model
type: openai-compatible
model: qwen3.7-max
- name: embedding_model
type: openai-compatible
model: qwen3-vl-embedding
dimension: 1024
Gunakan kembali definisi model AI dari Flink SQL
Saat ini, hanya model AI jenis openai-compat dan dashscope yang didefinisikan dalam Flink SQL yang didukung.
Buat model inferensi
VVR 11.7 dan yang lebih baru mendukung pembuatan model persisten di metastore menggunakan CREATE MODEL. Saat menggunakan model bawaan, Anda tidak perlu mengonfigurasi endpoint atau api-key.
CREATE MODEL qwen_chat
USING openai_compatible
WITH (
'provider' = 'openai-compat',
'task' = 'chat/completions',
'model' = 'qwen3.7-max'
);
CREATE MODEL multimodal_embedding
USING openai_compatible
WITH (
'provider' = 'dashscope',
'task' = 'multimodal-embedding',
'model' = 'qwen3-vl-embedding',
'content-type' = 'image_url',
'dimension' = '512'
);
Gunakan kembali model yang sudah ada
Setelah model dibuat, Anda dapat mereferensikan model Flink SQL tersebut dengan nama lengkapnya dalam pipeline YAML:
pipeline:
model:
- name: chat_model
reuse-model: vvp.default.qwen_chat
- name: image_embedding_model
reuse-model: vvp.default.multimodal_embedding