E-MapReduce:Pusat AI

Persyaratan versi kernel

• 3.3.20-2.1.1 dan yang lebih baru

• 3.5.16-2.1.1 dan yang lebih baru

Konfigurasi akses jaringan

Node BE StarRocks memerlukan akses internet arah keluar untuk mencapai titik akhir layanan model eksternal. Siapkan Gateway NAT pada VPC tempat kluster Anda berjalan:

1. Buat Gateway NAT dan bind Elastic IP Address (EIP) ke gateway tersebut.

2. Tambahkan aturan SNAT yang mengarahkan traffic dari Blok CIDR node BE melalui Gateway NAT.

3. Konfirmasi bahwa tabel rute VPC dan kebijakan security group Anda mengizinkan lalu lintas outbound.

Untuk detail penyiapan, lihat Gateway NAT Internet.

ai_sentiment

Mengklasifikasikan sentimen dari teks input.

Sintaks

ai_sentiment(text)

Parameter

Nilai Kembali

VARCHAR — 'positive', 'negative', 'neutral', 'mixed', atau 'unknown'. Mengembalikan NULL jika sentimen tidak dapat ditentukan.

Contoh

Pengujian nilai tunggal:

SELECT ai_sentiment('I am happy');
-- Returns: 'positive'

Terapkan ke kolom tabel:

SELECT
  review_id,
  review_text,
  ai_sentiment(review_text) AS sentiment
FROM customer_reviews
LIMIT 10;

ai_classify

Menetapkan satu label dari daftar yang Anda definisikan.

Sintaks

ai_classify(text, labels)

Parameter

Nilai Kembali

JSON — berisi hasil klasifikasi. Mengembalikan NULL jika klasifikasi gagal.

Contoh

Pengujian nilai tunggal:

SELECT ai_classify('My password is leaked.', ['urgent', 'not urgent']);
-- Returns: {"labels": ["urgent"]}

Tag deskripsi produk secara massal:

SELECT
  product_id,
  description,
  ai_classify(description, ['clothing', 'shoes', 'accessories', 'furniture']) AS category
FROM products
LIMIT 10;

ai_extract

Mengekstraksi entitas bernama dari teks dan mengembalikannya sebagai objek JSON.

Sintaks

ai_extract(text, entity_labels)

Parameter

Mengembalikan

Objek JSON di mana kunci adalah jenis entitas dan nilai adalah teks yang diekstraksi.

Contoh

SELECT ai_extract(
  'John Doe lives in New York and works for Acme Corp.',
  ['person', 'location', 'organization']
);
-- Returns: {"person":"John Doe","location":"New York","organization":"Acme Corp"}

ai_redact

Mengganti kategori PII tertentu dengan [REDACTED].

Sintaks

ai_redact(text, categories)

Parameter

Mengembalikan

VARCHAR dengan entitas yang cocok diganti oleh [REDACTED].

Contoh

Pengujian nilai tunggal:

SELECT ai_redact(
  'John Doe lives in New York. His email is john.doe@example.com.',
  ['person', 'email']
);
-- Returns: "[REDACTED] lives in New York. His email is [REDACTED]."

Aburkan PII di seluruh tabel log sebelum ekspor:

SELECT
  log_id,
  ai_redact(log_text, ['person', 'email', 'phone']) AS redacted_log
FROM audit_logs
LIMIT 10;

ai_fix_grammar

Memperbaiki tata bahasa dan ejaan dalam teks.

Sintaks

ai_fix_grammar(text)

Parameter

Nilai Kembali

VARCHAR dengan tata bahasa dan ejaan yang telah diperbaiki.

Contoh

SELECT ai_fix_grammar('This sentence have some mistake');
-- Returns: "This sentence has some mistake"

ai_summarize

Menghasilkan ringkasan singkat dari teks input.

Sintaks

ai_summarize(text)

Parameter

Pengembalian

Ringkasan VARCHAR.

Contoh

SELECT ai_summarize(
  'Apache Spark is a unified analytics engine for large-scale data processing...',
  10
);
-- Returns: "Spark: unified engine for large-scale data processing with APIs and tools."

ai_translate

Menerjemahkan teks dari satu bahasa ke bahasa lain.

Sintaks

ai_translate(text, source_lang, target_lang)

Parameter

Kode bahasa umum:

Mengembalikan

VARCHAR diterjemahkan.

Contoh

SELECT ai_translate('Hello, how are you?', 'en', 'es');
-- Returns: "Hola, ¿cómo estás?"

ai_similarity

Menghitung kemiripan semantik antara dua teks.

Sintaks

ai_similarity(text1, text2)

Parameter

Mengembalikan

FLOAT antara 0 dan 1. Skor 1,0 berarti teks identik. Skor ini terutama digunakan untuk pengurutan.

Contoh

SELECT ai_similarity(
  'I enjoy hiking in the mountains.',
  'I love walking through mountain trails.'
);
-- Returns: 0.82

ai_complete

Menghasilkan konten menggunakan model tertentu. Mendukung dua bentuk overload: bentuk sederhana dan bentuk berparameter.

Sintaks

-- Overload 1: Sederhana
ai_complete(model, prompt)
-- Overload 2: Dengan parameter
ai_complete(model, prompt, params)

Parameter

Pengembalian

VARCHAR — teks yang dihasilkan.

Contoh

Bentuk sederhana:

SELECT ai_complete('qwen-plus', 'Write a catchy email subject for a summer bike sale with a 20% discount');
-- Returns: "Summer Cycling Carnival: 20% Off for a Limited Time!"

Dengan parameter:

SELECT ai_complete('qwen-plus', 'Summarize the benefits of cloud computing', map{'temperature':'0.7', 'max_tokens':'200'});
-- Returns: "Cloud computing offers scalable resources, cost efficiency..."

ai_filter

Mengevaluasi kondisi bahasa alami terhadap teks dan mengembalikan TRUE atau FALSE. Berguna untuk menyaring baris dalam klausa WHERE.

Sintaks

ai_filter(text, condition)

Parameter

Nilai Kembali

BOOLEAN — TRUE jika teks memenuhi kondisi, FALSE jika tidak.

Contoh

SELECT * FROM reviews WHERE ai_filter(review_text, 'mentions product quality issues');
-- Returns rows where the review text discusses product quality problems

ai_custom_query

Menjalankan kueri terhadap resource atau basis pengetahuan kustom.

Sintaks

ai_custom_query(resource, prompt)

Parameter

Mengembalikan

VARCHAR.

Contoh

SELECT ai_custom_query('my_knowledge_base', 'What is StarRocks?');
-- Returns: "StarRocks is a high-performance analytical data warehouse..."

ai_complete (pemahaman dan generasi)

Antarmuka pemanggilan model tujuan umum yang mendukung inferensi teks dan pemahaman multimodal. Ini adalah fungsi paling fleksibel di antara Fungsi AI StarRocks. Fungsi ini menangani inferensi teks sederhana serta input multimodal seperti gambar, video, dan fusi multi-konten. Untuk generasi teks, lihat ai_complete di bagian fungsi teks. Bagian ini menjelaskan pemahaman dan generasi multimodal.

Pemahaman dan generasi multimodal

Anda dapat memasukkan data gambar biner, URL bersama modalitas, atau array multi-konten untuk menggerakkan LLM multimodal guna pemahaman dan generasi.

Sintaks

-- Input gambar biner
ai_complete(prompt, binary_image)
ai_complete(prompt, binary_image, extra_params)
ai_complete(model, prompt, binary_image)
ai_complete(model, prompt, binary_image, extra_params)

-- Input URL + modalitas
ai_complete(model, prompt, input, modality)
ai_complete(model, prompt, input, modality, extra_params)

-- Input fusi multi-konten
ai_complete(model, prompt, contents)
ai_complete(model, prompt, contents, extra_params)

Parameter

• model: Disarankan untuk menentukan secara eksplisit untuk generasi multimodal (misalnya, qwen-vl-max). Bentuk URL/video dan multi-konten tidak memiliki overload model default yang tidak ambigu, sehingga Anda harus meneruskan model secara eksplisit.

• prompt: Wajib. Prompt tersebut.

• binary_image: Data gambar biner bertipe VARBINARY.

• input: Input URL atau berkode base64 bertipe VARCHAR. Harus digunakan bersama modalitas.

• modality: Jenis modalitas input. Nilai valid: image dan text. Catatan: Meneruskan video saat ini mengembalikan NULL (Anda perlu mengekstraksi frame secara eksternal dan menurunkan spesifikasi ke gambar).

• contents: Input fusi multi-konten bertipe ARRAY<MAP<VARCHAR,VARCHAR>>. Mendukung penerusan beberapa gambar atau konten campuran dalam satu panggilan.

• extra_params: Opsional. Parameter generasi sebagai MAP.

Mengembalikan

Mengembalikan respons model bertipe VARCHAR.

Contoh

-- Memahami gambar dari URL
SELECT ai_complete('qwen-vl-max',
  'Describe the main content of this image',
  'https://bucket.oss-cn-hangzhou.aliyuncs.com/demo.jpg',
  'image');

-- Memahami gambar biner
SELECT ai_complete('qwen-vl-max', 'Recognize the text in the image', image_binary)
FROM scanned_docs LIMIT 10;

-- Fusi multi-konten (gambar dan teks)
SELECT ai_complete('qwen-vl-max', 'Compare the differences between these two images',
  array[
    map{'type': 'image_url', 'image_url': 'https://bucket.oss-cn-hangzhou.aliyuncs.com/img1.jpg'},
    map{'type': 'image_url', 'image_url': 'https://bucket.oss-cn-hangzhou.aliyuncs.com/img2.jpg'}
  ]);

ai_embed

Mengonversi teks menjadi vektor semantik berdimensi tetap.

Sintaks

ai_embed(text)
ai_embed(model, text)
ai_embed(model, text, extra_params)

Parameter

• model: Opsional. Nama model embedding.

• text: Wajib. Teks yang akan divectorisasi.

• extra_params: Opsional (misalnya, dimensi).

Mengembalikan

Vektor ARRAY<FLOAT>. Mengembalikan NULL jika teks NULL.

ai_custom_embedding

Memanggil model embedding kustom melalui Resource untuk menghasilkan vektor teks.

Sintaks

ai_custom_embedding(resource_name, text)
ai_custom_embedding(resource_name, text, extra_params)

Mengembalikan

Vektor ARRAY<FLOAT>.

ai_embed_multimodal

Mengonversi gambar, video, atau teks menjadi vektor semantik dalam ruang vektor terpadu, mendukung pengambilan lintas-modal dan fusi multi-konten.

Sintaks

ai_embed_multimodal(input, modality)
ai_embed_multimodal(model, input, modality)
ai_embed_multimodal(binary_image)
ai_embed_multimodal(contents)

Parameter

• input: Input URL atau berkode Base64. Harus digunakan dengan modalitas.

• modality: Salah satu dari image, video, atau text.

• binary_image: Data gambar biner, tipe VARBINARY.

• contents: Input fusi multi-konten, ARRAY<MAP<VARCHAR,VARCHAR>>.

Mengembalikan

Vektor ARRAY<FLOAT>.

ai_custom_multimodal_embedding

Memanggil model embedding multimodal kustom melalui Resource.

Sintaks

ai_custom_multimodal_embedding(resource_name, input, modality)
ai_custom_multimodal_embedding(resource_name, binary_image)
ai_custom_multimodal_embedding(resource_name, contents)

Nilai Kembali

Vektor ARRAY<FLOAT>.

ai_agg

Menjalankan agregasi berbasis LLM pada sekelompok teks menggunakan prompt (fungsi agregat GROUP BY).

Sintaks

ai_agg(text, instruction)
ai_agg(model, text, instruction)

Parameter

• text: Wajib. Kolom teks yang akan diagregasi.

• instruction: Wajib. Instruksi agregasi.

Mengembalikan

VARCHAR — hasil agregasi (satu per grup).

ai_agg_summary

Menghasilkan ringkasan agregat untuk sekelompok teks — pembungkus kemudahan pakai di sekitar ai_agg untuk ringkasan.

Sintaks

ai_agg_summary(text)
ai_agg_summary(model, text)

Mengembalikan

VARCHAR — ringkasan agregat (satu per grup).

Penyaringan semantik + routing klasifikasi

Gunakan ai_filter dalam WHERE untuk memilih catatan yang relevan secara semantik, lalu terapkan ai_classify untuk menetapkan label — memungkinkan routing semantik untuk tiket atau ulasan. Ideal untuk pengiriman tiket otomatis, kategorisasi umpan balik pengguna, dan skenario serupa.

-- Langkah 1: Menyaring tiket keluhan secara semantik
-- Langkah 2: Mengklasifikasikan keluhan berdasarkan lini bisnis
SELECT ticket_id, content,
       ai_classify(content, ['logistics', 'product quality', 'after-sales', 'pricing dispute']) AS category
FROM tickets
WHERE ai_filter(content, 'the content expresses a customer complaint or dissatisfaction');

Pembangunan dataset pengambilan multimodal

Gunakan ai_embed_multimodal untuk memvectorisasi gambar/video secara massal, menulisnya ke kolom vektor, dan menggabungkan indeks vektor dengan indeks teks penuh untuk pengambilan hibrid. Data tidak pernah meninggalkan lakehouse. Ideal untuk pencarian produk visual, pengambilan konten video, dan pembangunan basis pengetahuan RAG multimodal.

-- Memvectorisasi gambar produk secara massal
INSERT INTO product_vectors (product_id, image_vec)
SELECT product_id,
       ai_embed_multimodal('qwen3-vl-embedding', image_url, 'image') AS image_vec
FROM products;

-- Pencarian teks-ke-gambar: temukan produk yang paling mirip dengan deskripsi
SELECT product_id, image_url
FROM product_vectors
ORDER BY cosine_similarity(image_vec,
  ai_embed_multimodal('qwen3-vl-embedding', 'red summer dress', 'text'))
DESC LIMIT 10;

Ringkasan AI tingkat pelanggan/produk

Gunakan ai_agg / ai_agg_summary dalam GROUP BY untuk mengkonsolidasikan beberapa teks per entitas menjadi profil atau ringkasan, menghasilkan kolom output siap analisis. Ideal untuk profil pelanggan, ringkasan ulasan produk, dan ekstraksi catatan rapat.

-- Menghasilkan profil masalah untuk setiap pelanggan
SELECT customer_id,
       ai_agg(content, 'Summarize all tickets for this customer in one sentence, covering main issues and sentiment') AS customer_profile
FROM support_tickets
GROUP BY customer_id;

-- Ringkasan agregat ulasan produk
SELECT product_id,
       ai_agg_summary(review_text) AS review_digest
FROM product_reviews
GROUP BY product_id;

Pengaburan PII sebelum analisis

Gunakan ai_redact untuk menganonimkan teks sebelum menyimpannya untuk analisis — menyeimbangkan kepatuhan dengan kegunaan. Ideal untuk persiapan data dev/test, sanitasi log audit, dan skenario kepatuhan privasi.

-- Aburkan umpan balik pengguna dan tulis ke tabel analisis
INSERT INTO feedback_anonymized (ticket_id, content_clean)
SELECT ticket_id,
       ai_redact(content, ['name', 'phone', 'ID number', 'email', 'bank card']) AS content_clean
FROM user_feedback;

Generasi dan terjemahan konten massal

Gunakan ai_complete untuk generasi salinan pemasaran massal, dikombinasikan dengan ai_translate untuk pelokalan multibahasa — semuanya dalam SQL, tidak perlu alat eksternal.

-- Hasilkan slogan pemasaran massal dan terjemahkan ke Bahasa Inggris
SELECT product_name,
       ai_complete('qwen3.6-plus',
         concat('Write a promotional slogan (15 words max) for: ', product_name)) AS slogan,
       ai_translate(
         ai_complete('qwen3.6-plus',
           concat('Write a promotional slogan (15 words max) for: ', product_name)),
         'en', 'ja') AS slogan_ja
FROM products
WHERE category = 'summer_new';

Koneksi model

Ukuran batch

Setiap fungsi mengirim permintaan ke model dalam batch. Batch yang lebih besar mengurangi jumlah panggilan model dan dapat mempersingkat waktu respons total.

Templat prompt

Setiap fungsi menggunakan templat prompt yang dapat dikonfigurasi. Placeholder templat menggunakan $0, $1, dll.