Memulai dengan analitik data real-time berbasis LLM - Realtime Compute for Apache Flink

Topik ini menjelaskan cara menggunakan Realtime Compute for Apache Flink dan model bahasa besar (LLM) yang tersedia di Alibaba Cloud Model Studio untuk analitik data real-time.

Informasi latar belakang

Alibaba Cloud Model Studio adalah platform satu atap bagi pengembang AI dan tim bisnis untuk mengembangkan LLM. Dengan mengintegrasikan Alibaba Cloud Model Studio dengan Realtime Compute for Apache Flink, Anda dapat memanfaatkan model AI dari Model Studio dan kemampuan pemrosesan aliran dari Flink untuk membangun pipa data real-time, sehingga meningkatkan kecerdasan dalam pengambilan keputusan. Berikut adalah skenario aplikasi untuk dua model inti:

Model penyelesaian percakapan
Model penyelesaian percakapan adalah LLM yang berfokus pada pembuatan percakapan dan pemahaman teks. Mereka menangani berbagai macam kasus penggunaan, termasuk analisis sentimen, pengenalan maksud, dan jawaban atas pertanyaan.
- Analisis sentimen: Menganalisis komentar media sosial secara real-time untuk menentukan apakah nada emosional pengguna positif, negatif, atau netral.
- Layanan pelanggan cerdas: Berinteraksi dengan pelanggan dalam bahasa alami berdasarkan kemampuan generasi dialog LLM.
- Moderasi konten: Secara otomatis mendeteksi konten sensitif atau dilarang dalam teks untuk meningkatkan efisiensi moderasi konten.
Model penyematan
Model penyematan mengonversi teks menjadi representasi vektor dimensi tinggi. Mereka cocok untuk skenario seperti pencarian semantik, sistem rekomendasi, dan konstruksi graf pengetahuan.
- Pencarian semantik: Mengimplementasikan pencarian relevansi semantik dengan memvektorkan deskripsi produk atau kueri pengguna.
- Sistem rekomendasi: Menemukan hubungan potensial antara minat pengguna dan fitur produk untuk meningkatkan akurasi rekomendasi berdasarkan vektorisasi teks.
- Graf pengetahuan: Mengonversi teks tidak terstruktur menjadi vektor untuk memfasilitasi ekstraksi pengetahuan dan pemodelan hubungan.

Prasyarat

Anda telah membuat ruang kerja Flink.
Anda telah membuat ruang kerja Model Studio dan menetapkan koneksi jaringannya dengan Realtime Compute for Apache Flink. Untuk informasi tentang mengakses Model Studio melalui VPC, lihat Akses API model atau aplikasi melalui jaringan pribadi.

Batasan

Hanya Ververica Runtime (VVR) versi 11.1 atau lebih baru yang didukung.

Langkah 1: Daftarkan model

Untuk instruksi terperinci, lihat DDL Model.

Model Chat/completions

Kode SQL berikut menunjukkan cara mendaftarkan model qwen-turbo:

CREATE MODEL ai_analyze_sentiment
INPUT (`input` STRING)
OUTPUT (`content` STRING)
WITH (
    'provider'='bailian',
    'endpoint'='<base_url>/compatible-mode/v1/chat/completions',    -- titik akhir model chat/komplet
    'api-key' = '<YOUR KEY>',
    'model'='qwen-turbo',                                                               -- Gunakan model qwen-turbo
    'system-prompt' = 'Klasifikasikan teks di bawah ini dengan salah satu label berikut: [positif, negatif, netral, campuran]. Keluarkan hanya labelnya.'
);

Ganti <base_url> dalam nilai endpoint sesuai dengan situasi aktual Anda:

Akses Internet: Ganti <base_url> dengan https://dashscope-intl.aliyuncs.com.
Akses VPC: Ganti <base_url> dengan https://vpc-ap-southeast-1.dashscope.aliyuncs.com.
Catatan
Konfigurasikan endpoint untuk menggunakan protokol HTTPS.

Langkah 2: Buat draf SQL

Lihat Pekerjaan SQL untuk membuat draf aliran SQL.

Langkah 3: Tulis kode untuk analisis berbasis AI

Model obrolan/pelengkapan

Gunakan fungsi AI ML_PREDICT untuk memanggil model ai_analyze_sentiment yang didaftarkan di Langkah 1 untuk analisis sentimen ulasan film.

Penting

Throughput operator ML_PREDICT bergantung pada batas laju dari Alibaba Cloud Model Studio. Ketika batas laju untuk sebuah model tercapai, pekerjaan Flink akan mengalami tekanan balik dengan operator ML_PREDICT sebagai hambatan utama. Dalam beberapa kasus, kesalahan timeout dan restart pekerjaan mungkin dipicu. Untuk meningkatkan batas laju, hubungi perwakilan penjualan Anda.

Salin dan tempel kode berikut ke editor SQL.

-- Buat tabel sink sementara.
CREATE TEMPORARY TABLE print_sink(
  id BIGINT,
  movie_name VARCHAR, 
  predict_label VARCHAR, 
  actual_label VARCHAR
) WITH (
  'connector' = 'print',   -- Gunakan konektor Print.
  'logger' = 'true'        -- Tampilkan hasilnya di Konsol.
);

-- Buat tampilan sementara yang berisi data uji.
-- | id | movie_name | user_comment   | actual_label |
-- | 1  | Her Story | Bagian favorit saya adalah ketika anak itu menebak suaranya. Itu romantis, menyentuh hati, dan penuh cinta. | POSITIVE |
-- | 2  | The Dumpling Queen | Tidak ada yang istimewa. | NEGATIVE |
CREATE TEMPORARY VIEW movie_comment(id, movie_name,  user_comment, actual_label)
AS VALUES (1, 'Her Story', 'Bagian favorit saya adalah ketika anak itu menebak suaranya. Itu romantis, menyentuh hati, dan penuh cinta.', 'positive'), (2, 'The Dumpling Queen', 'Tidak ada yang istimewa.', 'negative');

INSERT INTO print_sink
SELECT id, movie_name, content as predict_label, actual_label 
FROM ML_PREDICT(
  TABLE movie_comment, 
  MODEL ai_analyze_sentiment,  -- Gunakan model Qwen-Turbo yang telah didaftarkan.
  DESCRIPTOR(user_comment));

Langkah 4: Mulai pekerjaan

Lihat Pekerjaan SQL untuk menerapkan draf SQL dan mulai pekerjaan.

Langkah 5: Lihat hasilnya

Model Chat/Pelengkapan

Navigasikan ke O&M > Deployments, dan verifikasi bahwa pekerjaan Anda telah selesai.
Klik nama penyebaran target.
Di tab Logs, pilih sub-tab Task Managers dan pilih TaskManager dari daftar drop-down Current TaskManager.
Klik tab samping Logs, dan cari PrintSinkOutputWriter.
Hasil di predict_label setelah analisis model sesuai dengan hasil aktual di actual_label.

Realtime Compute for Apache Flink：Memulai dengan analitik real-time berbasis AI