All Products
Search
Document Center

Realtime Compute for Apache Flink:Konfigurasikan dan panggil model AI

Last Updated:Sep 30, 2026

Integrasikan model AI bawaan ke dalam pekerjaan data ingestion Flink untuk pemrosesan cerdas real-time, seperti ringkasan teks dan vektorisasi.

Prasyarat

Cara kerja

Integrasi model inferensi AI melibatkan dua langkah:

  1. Definisikan model: Definisikan model dalam blok pipeline draft pekerjaan YAML. Anda juga dapat langsung mereferensikan model yang telah dibuat di metastore.

  2. Gunakan model: Panggil model inferensi AI atau generasi vektor dalam blok transform draft pekerjaan YAML.

Setiap model memerlukan nama unik, yang berfungsi sebagai nama fungsi untuk memanggil model tersebut dalam transformasi data.

Konfigurasikan dan panggil model bawaan Flink AI

Langkah 1: Siapkan prasyarat

Sebelum memulai, ikuti petunjuk dalam Flink AI service (built-in models) untuk mengaktifkan layanan Flink AI.

Selain itu, Anda harus mengunggah paket JAR flink-cdc-pipeline-model-openai-compatible sebagai dependensi tambahan pekerjaan dan menyambungkannya ke draft pekerjaan.

Langkah 2: Definisikan model dalam blok pipeline

Untuk mendefinisikan model AI, tambahkan daftar bidang model ke modul pipeline draft pekerjaan YAML. Setiap model harus memiliki nama unik yang memenuhi aturan pengidentifikasi umum: dimulai dengan huruf dan hanya boleh berisi huruf, garis bawah, serta angka.

Parameter berikut wajib diisi:

  • Identifikasi model name, yang dapat dipilih secara bebas tetapi harus merupakan pengidentifikasi yang valid.

  • Jenis model type, yang tetap diatur ke openai-compatible.

  • Nama model yang akan dipanggil di Model Studio, ditentukan oleh model.

pipeline:
  model:
    - name: CHAT
      type: openai-compatible
      model: qwen-plus
      user-prompt: Please summarize the input.

    - name: GET_EMBEDDING
      type: openai-compatible
      model: text-embedding-v4

Tabel berikut mencantumkan semua parameter yang dapat Anda tentukan.

Parameter

Type

Required

Default value

Description

name

STRING

Yes

N/A

Alias model dalam pipeline, yang direferensikan oleh fungsi AI. Harus unik dan mematuhi aturan penamaan pengidentifikasi.

type

STRING

Yes

N/A

Jenis model. Atur parameter ini ke openai-compatible.

model

STRING

Yes

N/A

Nama model aktual yang digunakan oleh layanan Flink AI untuk inferensi. Untuk informasi selengkapnya tentang model yang tersedia, lihat Built-in models.

task

STRING

No

cdc-yaml-ai-task

Nama task model, digunakan sebagai kelompok task dalam metrik pemantauan.

error-handling-strategy

STRING

No

retry

Strategi penanganan permintaan yang gagal. Nilai yang valid: retry, failover, dan ignore.

retry-num

INT

No

100

Jumlah maksimum upaya untuk satu panggilan model ketika error-handling-strategy diatur ke retry.

retry-fallback-strategy

STRING

No

failover

Strategi setelah upaya retry habis. Nilai yang valid: failover dan ignore. Parameter ini tidak dapat diatur ke retry.

retry-backoff-strategy

STRING

No

fixed

Strategi backoff retry. Nilai yang valid: fixed dan exponential.

retry-backoff-base-interval

DURATION

No

1 s

Interval dasar antar retry, misalnya 500 ms, 1 s, atau 2 min.

system-prompt

STRING

No

N/A

Prompt sistem yang ditambahkan ke permintaan. Untuk generasi teks biasa, prompt ini ditempatkan sebelum prompt sistem dari fungsi AI itu sendiri.

user-prompt

STRING

No

N/A

Prompt pengguna yang ditambahkan setelah input model.

temperature

DOUBLE

No

Determined by the model service

Suhu pengambilan sampel.

top-p

DOUBLE

No

Determined by the model service

Massa probabilitas untuk pengambilan sampel inti.

stop

STRING

No

N/A

Menghentikan generasi saat string tertentu ditemui.

max-tokens

INT

No

Determined by the model service

Jumlah maksimum token yang dapat dihasilkan dalam satu permintaan.

presence-penalty

DOUBLE

No

Determined by the model service

Penalti keberadaan, digunakan untuk mengurangi kecenderungan model mengulang topik yang sudah ada.

n

LONG

No

Determined by the model service

Jumlah hasil kandidat yang akan dihasilkan. Klien saat ini hanya mengembalikan hasil pertama.

seed

LONG

No

N/A

Seed acak, yang dapat digunakan untuk meningkatkan reproduktibilitas hasil jika didukung oleh layanan model.

response-format

STRING

No

json_object

Format respons. Hanya json_object yang didukung.

content-type

STRING

No

text

Jenis input model. Nilai yang valid: text dan image_url. Ketika diatur ke image_url, string input dikirim sebagai URL gambar.

extra-header

STRING

No

N/A

Header HTTP yang dilampirkan ke permintaan, dideklarasikan sebagai objek JSON.

extra-body

STRING

No

N/A

Parameter ekstensi spesifik vendor yang dilampirkan ke badan permintaan, dideklarasikan sebagai objek JSON.

dimension

INT

No

Determined by the model service

Dimensi vektor yang dikembalikan oleh AI_EMBED. Parameter ini hanya berlaku jika model mendukung dimensi kustom.

Langkah 3: Panggil Fungsi AI dalam modul transform

Fungsi AI bawaan berikut dapat dipanggil dalam modul transform, dikelompokkan berdasarkan modalitas.

Catatan

Parameter pertama setiap fungsi AI bawaan adalah identifikasi model yang Anda definisikan dalam blok pipeline, yaitu nilai parameter name dalam model.

Fungsi generasi teks

  • AI_COMPLETE

    • Tujuan: Fungsi generasi teks tujuan umum yang memproses teks input sesuai dengan prompt tertentu. Cocok untuk pembuatan konten, penulisan ulang teks, dan tanya jawab umum.

    • Contoh penggunaan: AI_COMPLETE('chat_model', content_string, 'Summarize the input content')

    • Contoh output: {"result":"Summary of the input content"}

  • AI_CLASSIFY

    • Tujuan: Mengklasifikasikan teks input ke dalam kategori kandidat yang ditentukan. Pisahkan beberapa kategori dengan koma.

    • Contoh penggunaan: AI_CLASSIFY('chat_model', content_string, 'news,sports,entertainment')

    • Contoh output: {"category":"sports","confidence":0.95}

  • AI_TRANSLATE

    • Tujuan: Menerjemahkan teks input dari bahasa sumber ke bahasa target. Ketika bahasa sumber diatur ke auto, model akan mendeteksinya secara otomatis.

    • Contoh penggunaan: AI_TRANSLATE('chat_model', content_string, 'auto', 'en')

    • Contoh output: {"translated_text":"Hello, world.","detected_language":"zh"}

  • AI_SUMMARIZE

    • Tujuan: Menghasilkan ringkasan dari teks input. Parameter ketiga menentukan jumlah maksimum karakter yang diizinkan dalam ringkasan.

    • Contoh penggunaan: AI_SUMMARIZE('chat_model', content_string, 200)

    • Contoh output: {"summary":"Summary of the input content"}

  • AI_SENTIMENT

    • Tujuan: Menganalisis sentimen dari teks input. Rentang nilai skor sentimen score adalah -1.0 hingga 1.0.

    • Contoh penggunaan: AI_SENTIMENT('chat_model', review_content)

    • Contoh output: {"score":0.8,"label":"positive","confidence":0.92}

  • AI_EXTRACT

    • Tujuan: Mengekstraksi informasi terstruktur dari teks tidak terstruktur sesuai dengan skema yang ditentukan.

    • Contoh penggunaan: AI_EXTRACT('chat_model', content_string, '{"name":"string","age":"integer"}')

    • Contoh output: {"extracted_json":"{\"name\":\"John\",\"age\":25}"}

  • AI_MASK

    • Tujuan: Mengidentifikasi dan menyamarkan informasi sensitif dari jenis yang ditentukan. Pisahkan beberapa jenis entitas dengan koma.

    • Contoh penggunaan: AI_MASK('chat_model', content_string, 'name,phone,email')

    • Contoh output: {"masked_text":"Contact: Zhang*, phone: 138****8000","detected_entities":"name,phone"}

Fungsi vektorisasi teks

  • AI_EMBED

    • Tujuan: Mengonversi teks input menjadi vektor floating-point. Cocok untuk pencarian semantik, komputasi kemiripan, dan pengelompokan teks.

    • Contoh penggunaan: AI_EMBED('embedding_model', content_string)

    • Contoh output: [0.0123, -0.0876, 0.2345, ...]

Fungsi generasi multimodal

  • AI_IMAGE_COMPLETE

    • Tujuan: Menghasilkan teks dari data biner gambar dan prompt. Cocok untuk keterangan gambar, pengenalan konten, dan tanya jawab visual.

    • Contoh penggunaan: AI_IMAGE_COMPLETE('vision_model', image_bytes, 'Describe the product in the image')

    • Contoh output: "The image shows a pair of white sneakers."

Fungsi vektorisasi multimodal

  • AI_IMAGE_EMBED

    • Tujuan: Mengonversi data biner gambar menjadi vektor floating-point. Cocok untuk pencarian gambar-ke-gambar, pengelompokan gambar, dan pengambilan multimodal.

    • Contoh penggunaan: AI_IMAGE_EMBED('image_embedding_model', image_bytes)

    • Contoh output: [0.0312, -0.1024, 0.2867, ...]

Contoh konfigurasi lengkap

Contoh berikut membaca artikel dan gambar dari MySQL, memanggil fungsi ringkasan teks dan vektorisasi, lalu menulis hasilnya ke data lake DLF Paimon.

Penting

Secara default, model inferensi AI dievaluasi secara berurutan. Karena dibatasi oleh laju I/O jaringan, hal ini dapat menyebabkan masalah seperti throughput yang berkurang dan checkpoint yang lambat.

Anda dapat mengatur parameter transform.async-execution.enabled untuk mengaktifkan optimasi inferensi AI asinkron, yang merupakan fitur eksperimental. Untuk informasi selengkapnya tentang fitur dan batasan parameter ini, lihat Pipeline parameters.

source:
  type: mysql
  using.built-in-catalog: mysql_catalog
  tables: inventory.articles

sink:
  type: paimon
  using.built-in-catalog: dlf_catalog


transform:
  - source-table: inventory.articles
    projection: >-
      id, 
      AI_SUMMARIZE('chat_model', content, 200) AS summary,
      AI_EMBED('embedding_model', content) AS text_embedding,
      AI_IMAGE_COMPLETE('chat_model', image_bytes, 'Describe the content of the image') AS image_description,
      AI_IMAGE_EMBED('embedding_model', image_bytes) AS image_embedding

pipeline:
  # Enable the experimental asynchronous AI inference optimization
  transform.async-execution.enabled: true

  parallelism: 4
  model:
    - name: chat_model
      type: openai-compatible
      model: qwen3.7-max
    - name: embedding_model
      type: openai-compatible
      model: qwen3-vl-embedding
      dimension: 1024

Gunakan kembali definisi model AI dari Flink SQL

Penting

Saat ini, hanya model AI jenis openai-compat dan dashscope yang didefinisikan dalam Flink SQL yang didukung.

Buat model inferensi

VVR 11.7 dan yang lebih baru mendukung pembuatan model persisten di metastore menggunakan CREATE MODEL. Saat menggunakan model bawaan, Anda tidak perlu mengonfigurasi endpoint atau api-key.

CREATE MODEL qwen_chat
USING openai_compatible
WITH (
  'provider' = 'openai-compat',
  'task' = 'chat/completions',
  'model' = 'qwen3.7-max'
);

CREATE MODEL multimodal_embedding
USING openai_compatible
WITH (
  'provider' = 'dashscope',
  'task' = 'multimodal-embedding',
  'model' = 'qwen3-vl-embedding',
  'content-type' = 'image_url',
  'dimension' = '512'
);

Gunakan kembali model yang sudah ada

Setelah model dibuat, Anda dapat mereferensikan model Flink SQL tersebut dengan nama lengkapnya dalam pipeline YAML:

pipeline:
  model:
    - name: chat_model
      reuse-model: vvp.default.qwen_chat

    - name: image_embedding_model
      reuse-model: vvp.default.multimodal_embedding