Topik ini menjelaskan cara menggunakan fungsi ML_PREDICT untuk inferensi dengan model AI skala besar.
Batasan
Hanya Ververica Runtime (VVR) versi 11.1 atau lebih baru yang didukung.
Throughput operator ML_PREDICT tunduk pada pembatasan laju dari Alibaba Cloud Model Studio. Saat lalu lintas mencapai batas laju untuk suatu model, pekerjaan Flink mengalami backpressure dengan operator ML_PREDICT sebagai bottleneck. Jika pembatasan laju cukup parah, hal ini dapat memicu timeout operator dan restart pekerjaan. Untuk informasi selengkapnya mengenai kondisi pembatasan laju berbagai model, lihat dokumentasi Model Studio tentang rate limits.
Sintaksis
ML_PREDICT(TABLE <TABLE NAME>, MODEL <MODEL NAME>, DESCRIPTOR(<INPUT COLUMN NAMES>))Parameter input
Parameter | Tipe data | Deskripsi |
TABLE <TABLE NAME> | TABLE | Aliran data masukan untuk inferensi model. Ini dapat berupa nama tabel fisik atau nama view. |
MODEL <MODEL NAME> | MODEL | Nama layanan model yang telah didaftarkan. Untuk informasi selengkapnya tentang cara mendaftarkan layanan model, lihat Model settings. |
DESCRIPTOR(<INPUT COLUMN NAMES>) | - | Kolom dalam data masukan yang digunakan untuk inferensi model. |
Contoh
Data uji
id | movie_name | user_comment | actual_label |
1 | Quality item | Bagian favorit saya adalah ketika anak itu menebak suara-suara tersebut. Itu romantis, menghangatkan hati, dan penuh cinta. | POSITIVE |
2 | The Dumpling Queen | Tidak ada yang istimewa. | NEGATIVE |
Pernyataan uji
Contoh SQL berikut membuat model Qwen-Turbo dan menggunakan fungsi ML_PREDICT untuk melakukan klasifikasi sentimen pada ulasan film.
CREATE TEMPORARY MODEL ai_analyze_sentiment
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
'provider'='bailian',
'endpoint'='<YOUR ENDPOINT>',
'apiKey' = '<YOUR KEY>',
'model'='qwen-turbo',
'systemPrompt' = 'Classify the text below into one of the following labels: [positive, negative, neutral, mixed]. Output only the label.'
);
CREATE TEMPORARY VIEW movie_comment(id, movie_name, user_comment, actual_label)
AS VALUES (1, 'The Good Stuff', 'I love the part where the child guesses the voice. It is one of the most romantic narratives in any movie I have seen. Very gentle and full of love.', 'positive'), (2, 'Dumpling Queen', 'Unremarkable', 'negative');
SELECT id, movie_name, content as predict_label, actual_label
FROM ML_PREDICT(TABLE movie_comment, MODEL ai_analyze_sentiment, DESCRIPTOR(user_comment));Hasil keluaran
Hasil prediksi di kolom predict_label sesuai dengan hasil aktual di kolom actual_label.
id | movie_name | predict_label | actual_label |
1 | Benefits | POSITIVE | POSITIVE |
2 | The Dumpling Queen | NEGATIVE | NEGATIVE |