Realtime Compute for Apache Flink:Pemanggilan umum

Parameter tipe konten

• Untuk masukan satu kolom, gunakan content-type untuk menentukan tipe konten. Nilai yang didukung: text, image_url.

• Untuk masukan multi-kolom, gunakan content-types untuk menentukan tipe konten setiap kolom. Nilai yang didukung dan pemetaannya ke tipe kolom Flink SQL tercantum di bawah ini:

• Kami menyarankan Anda menentukan content-types dalam parameter. Jika Anda menetapkan keduanya content-type dan content-types, framework akan melaporkan error. Catatan: pengaturan content-type dan content-types dalam parameter model dan pengaturan per-pemanggilan saling memengaruhi:

Parameter tingkat kolom

Pemrosesan bundel

• Pemrosesan: Pemrosesan bundel pertama-tama menggabungkan beberapa catatan masukan menjadi satu batch, lalu memanggil model AI untuk batch tersebut. Hal ini mengurangi jumlah pemanggilan model tetapi meningkatkan waktu inferensi model untuk setiap permintaan. Saat catatan dapat digabungkan secara efektif, pemrosesan bundel dapat meningkatkan throughput operator secara signifikan.

• Deskripsi parameter: bundle-size menentukan jumlah maksimum catatan yang dikumpulkan dalam satu batch. bundle-allow-latency menentukan waktu tunggu maksimum saat batch belum mencapai nilai bundle-size. Pemrosesan dimulai ketika salah satu kondisi ukuran batch atau waktu tunggu terpenuhi.

• Tipe data: Hanya text yang didukung.

• Fungsi yang didukung: ML_PREDICT, klasifikasi teks (AI_CLASSIFY), analisis sentimen (AI_SENTIMENT), ekstraksi informasi (AI_EXTRACT), Ringkasan teks (AI_SUMMARIZE), translation teks (AI_TRANSLATE), penyamaran data (AI_MASK), dan text embedding (AI_EMBED).

• Konfigurasi global: Konfigurasi ini berlaku untuk setiap pemanggilan ML_PREDICT dan setiap pemanggilan fungsi AI spesifik domain yang tercantum dalam pekerjaan. Gunakan parameter global berikut untuk mengaktifkan pemrosesan bundel:

  SET 'table.exec.ml-predict.bundle-size' = '10';
  SET 'table.exec.ml-predict.bundle-allow-latency' = '5s';

• Konfigurasi per-pemanggilan: Parameter ini hanya berlaku untuk pemanggilan fungsi tempat mereka ditentukan. ML_PREDICT dan fungsi AI spesifik domain yang tercantum menggunakan metode konfigurasi yang sama. Untuk parameter dan contoh, lihat Konfigurasi per-pemanggilan.

Teks

Contoh berikut mendaftarkan dan menggunakan model bawaan Flink AI Service untuk mengklasifikasikan teks masukan berdasarkan sentimen. Contoh 1 menggunakan parameter tingkat MODEL. Contoh 2 mengganti user-prompt saat pemanggilan.

-- Mendaftarkan model bawaan. Saat content-type tidak ditentukan, nilai default-nya adalah text
CREATE MODEL sentiment_model
INPUT (prompt STRING)
OUTPUT (response STRING)
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.6-flash',
  'system-prompt' = 'You are a sentiment classifier. Output one label: negative, positive, or neutral'
);

-- Membuat tabel sumber: data ulasan produk simulasi
CREATE TEMPORARY VIEW input_table(id, content)
AS VALUES
  (1, 'Great quality, soft fabric, fits perfectly'),
  (2, 'Had loose threads on arrival, faded badly after one wash'),
  (3, 'Received the item, looks as pictured'),
  (4, 'Started pilling after two weeks, customer service refused returns'),
  (5, 'Flattering fit, color is even better than the photo, already ordered a third one');

-- Membuat tabel hasil
CREATE TEMPORARY TABLE output_table (
  id INT,
  content STRING,
  sentiment STRING
) WITH (
  'connector' = 'print'
);

-- Menggunakan ML_PREDICT untuk inferensi real-time
-- Contoh 1: Menggunakan parameter tingkat MODEL
INSERT INTO output_table
SELECT
  id,
  content,
  response AS sentiment
FROM ML_PREDICT(
  TABLE input_table,
  MODEL sentiment_model,
  DESCRIPTOR(content));

-- Contoh 2: Menentukan parameter per-pemanggilan
INSERT INTO output_table
SELECT
  id,
  content,
  response AS sentiment
FROM ML_PREDICT(
  TABLE input_table,
  MODEL sentiment_model,
  DESCRIPTOR(content),
  MAP['user-prompt', 'Reply in Chinese']);

Output Contoh 1:

Output Contoh 2:

Gambar

Contoh berikut mendaftarkan model multimodal dan mengklasifikasikan gambar masukan.

-- Mendaftarkan model bawaan dengan content-type diatur ke image_url
CREATE TEMPORARY MODEL sentiment_model
INPUT (prompt STRING)
OUTPUT (response STRING)
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.6-flash',
  'content-type' = 'image_url'
);

-- Menggunakan ML_PREDICT untuk inferensi real-time
INSERT INTO output_table
SELECT
  id,
  content,
  response AS sentiment
FROM ML_PREDICT(
  TABLE input_table,
  MODEL sentiment_model,
  DESCRIPTOR(content));

Video

Contoh berikut mendaftarkan model multimodal untuk memahami video masukan.

CREATE TEMPORARY MODEL sentiment_model
INPUT (video_url STRING)
OUTPUT (response STRING)
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.6-plus',
  'content-types' = 'video_url',
  'system-prompt' = 'Briefly describe the video content'
);

CREATE TEMPORARY VIEW input_table(content)
AS VALUES ('https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20251111/ckgcxt/%E5%8D%95%E4%BA%BA%E8%AF%B4%E8%AF%9D-1.mp4');

SELECT
  content,
  response AS sentiment
FROM ML_PREDICT(
  TABLE input_table,
  MODEL sentiment_model,
  DESCRIPTOR(content));

Teks + gambar tunggal

Contoh berikut mendaftarkan model multimodal untuk inferensi berbasis chat pada masukan teks dan gambar.

CREATE MODEL vl_model
INPUT (text_input STRING, image_input STRING)
OUTPUT (content STRING)
WITH (
  'provider' = 'openai-compat',
  'model' = 'qwen3.5-plus',
  'task' = 'chat/completions',
  'content-types' = 'text;image_url'
);

INSERT INTO result_sink
SELECT content FROM TABLE(ML_PREDICT(
  TABLE image_source,
  MODEL vl_model,
  DESCRIPTOR(text_input, image_input)
));         

Teks + beberapa gambar (beberapa kolom)

Teruskan setiap gambar melalui kolom INPUT terpisah. Tentukan image_url untuk setiap kolom gambar dalam content-types.

CREATE MODEL vl_model_multi
INPUT (prompt STRING, img1 STRING, img2 STRING)
OUTPUT (content STRING)
WITH (
  'provider' = 'openai-compat',
  'model' = 'qwen3.5-plus',
  'task' = 'chat/completions',
  'content-types' = 'text;image_url;image_url'
);

SELECT content FROM TABLE(ML_PREDICT(
  TABLE my_source,
  MODEL vl_model_multi,
  DESCRIPTOR(prompt, img1, img2)
));          

Teks + beberapa gambar (array)

Teruskan beberapa gambar dalam kolom ARRAY<STRING>. Gunakan multi_image_urls dalam content-types.

CREATE MODEL vl_model_array
INPUT (prompt STRING, images ARRAY<STRING>)
OUTPUT (content STRING)
WITH (
  'provider' = 'openai-compat',
  'model' = 'qwen3.5-plus',
  'task' = 'chat/completions',
  'content-types' = 'text;multi_image_urls'
);

SELECT content FROM TABLE(ML_PREDICT(
  TABLE my_source,
  MODEL vl_model_array,
  DESCRIPTOR(prompt, images)
)); 

Teks + video

CREATE TEMPORARY MODEL sentiment_model
INPUT (video_url STRING, question STRING)
OUTPUT (response STRING)
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.6-plus',
  'content-types' = 'video_url;text'
);

CREATE TEMPORARY VIEW input_table(content, question)
AS VALUES ('https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20251111/ckgcxt/%E5%8D%95%E4%BA%BA%E8%AF%B4%E8%AF%9D-1.mp4', 'How many people are there?');

SELECT
  content,
  response AS sentiment
FROM ML_PREDICT(
  TABLE input_table,
  MODEL sentiment_model,
  DESCRIPTOR(content, question));