Gunakan fungsi bawaan berikut dalam ekspresi modul transform untuk Pekerjaan Ingesti Data Flink CDC.
Fungsi bawaan
Flink CDC menyediakan fungsi bawaan yang dapat digunakan langsung dalam ekspresi proyeksi dan filter pada modul transform.
Fungsi aritmetika
| Function | Description |
|---|---|
numeric1 + numeric2 |
Mengembalikan jumlah dari numeric1 dan numeric2. |
numeric1 - numeric2 |
Mengembalikan numeric1 dikurangi numeric2. |
numeric1 * numeric2 |
Mengembalikan numeric1 dikalikan dengan numeric2. |
numeric1 / numeric2 |
Mengembalikan numeric1 dibagi dengan numeric2. |
numeric1 % numeric2 |
Mengembalikan sisa bagi numeric1 modulo numeric2. |
ABS(numeric) |
Mengembalikan nilai absolut dari numeric. |
CEIL(numeric) |
Mengembalikan bilangan bulat terkecil yang lebih besar dari atau sama dengan numeric. |
FLOOR(numeric) |
Mengembalikan bilangan bulat terbesar yang lebih kecil dari atau sama dengan numeric. |
ROUND(numeric, int) |
Mengembalikan nilai numeric yang dibulatkan ke n tempat desimal. |
UUID() |
Menghasilkan string identifier unik global (UUID), seperti 3d3c68f7-f608-473f-b60c-b0c44ad4cc4e. Menggunakan RFC 4122 tipe 4 untuk menghasilkan UUID pseudo-acak. |
Fungsi waktu
| Function | Description |
|---|---|
LOCALTIME |
Mengembalikan waktu lokal di zona waktu saat ini. Tipe kembalian: TIME(0). |
LOCALTIMESTAMP |
Mengembalikan stempel waktu lokal di zona waktu saat ini. Tipe kembalian: TIMESTAMP(3). |
CURRENT_TIME |
Mengembalikan waktu lokal di zona waktu saat ini. Setara dengan LOCALTIME. |
CURRENT_DATE |
Mengembalikan tanggal lokal di zona waktu saat ini. |
CURRENT_TIMESTAMP |
Mengembalikan stempel waktu lokal di zona waktu saat ini. Tipe kembalian: TIMESTAMP_LTZ(3). |
NOW() |
Mengembalikan stempel waktu lokal di zona waktu saat ini. Setara dengan CURRENT_TIMESTAMP. |
DATE_FORMAT(timestamp, string) |
Memformat stempel waktu input menggunakan string format yang ditentukan. String format kompatibel dengan Java SimpleDateFormat. |
DATE_FORMAT_TZ(timestamp, string) |
Memformat stempel waktu input sebagai string dalam zona waktu yang ditentukan. String format kompatibel dengan Java SimpleDateFormat. Format output: yyyy-MM-dd HH:mm:ss. |
DATE_FORMAT_TZ(timestamp, string1[, string2]) |
Mengonversi stempel waktu input ke string yang diformat sebagai string1 dalam zona waktu string2. String format kompatibel dengan Java SimpleDateFormat. |
TIMESTAMPADD(timeintervalunit, interval, timepoint) |
Mengembalikan timepoint setelah menambahkan interval (dalam satuan timeintervalunit) ke timepoint. Nilai valid untuk timeintervalunit: SECOND, MINUTE, HOUR, DAY, MONTH, YEAR. |
DATE_ADD(timestamp, integer, string) |
Mengonversi timestamp ke waktu lokal di zona waktu yang ditentukan oleh string, lalu menambahkan jumlah hari yang ditentukan oleh integer. Mengembalikan hasil sebagai string dalam format yyyy-MM-dd. |
TIMESTAMPDIFF(timepointunit, timepoint1, timepoint2) |
Mengembalikan selisih antara timepoint1 dan timepoint2 dalam satuan timepointunit. Nilai valid untuk timepointunit: SECOND, MINUTE, HOUR, DAY, MONTH, YEAR. |
TO_DATE(string1[, string2]) |
Mengurai string tanggal string1 menjadi tipe DATE menggunakan string format string2. Format default: yyyy-MM-dd. Jika data hulu menggunakan format berbeda, seperti MySQL DATETIME (yyyy-MM-dd HH:mm:ss), Anda harus secara eksplisit menentukan string2 dengan format aktualnya. Jika tidak, penguraian gagal dan mengembalikan hasil salah seperti 1970-01-01. |
TO_TIMESTAMP(string1[, string2]) |
Mengurai string stempel waktu string1 menjadi tipe TIMESTAMP tanpa zona waktu menggunakan string format string2. Format default: yyyy-MM-ddHH:mm:ss. |
TO_TIMESTAMP_LTZ(string1[, string2][, string3]) |
Mengurai string stempel waktu string1 menjadi tipe TIMESTAMP_LTZ di zona waktu string3 menggunakan string format string2. Format default: yyyy-MM-dd HH:mm:ss.SSS. Zona waktu default: UTC. |
TO_TIMESTAMP_LTZ(bigint[, integer]) |
Mengonversi stempel waktu (bigint) ke TIMESTAMP_LTZ dengan presisi yang ditentukan oleh integer. Integer harus bernilai 0 atau 3. |
FROM_UNIXTIME(numeric[, string]) |
Mengonversi numeric (detik sejak 1970-01-01 00:00:00 UTC) ke string stempel waktu dalam format yang ditentukan oleh string. Format default: yyyy-MM-ddHH:mm:ss. |
UNIX_TIMESTAMP() |
Mengembalikan stempel waktu UNIX saat ini dalam detik. |
UNIX_TIMESTAMP(string1[, string2]) |
Mengurai string datetime string1 menggunakan string format string2 dan mengembalikan stempel waktu UNIX yang sesuai dalam detik. |
Saat mengevaluasi ekspresi proyeksi dan filter, setiap subekspresi mengembalikan titik waktu yang sama. Misalnya, NOW() AS t1, NOW() AS t2, NOW() AS t3 selalu mengembalikan stempel waktu yang sama untuk t1, t2, dan t3, terlepas dari urutan atau waktu evaluasi.
Fungsi string
| Function | Description |
|---|---|
string1 || string2 |
Mengembalikan gabungan dari string1 dan string2. Catatan: ini adalah operator penggabungan string, bukan operator OR logika. |
CHAR_LENGTH(string) |
Mengembalikan jumlah karakter dalam string. |
UPPER(string) |
Mengembalikan string dalam huruf kapital. |
LOWER(string) |
Mengembalikan string dalam huruf kecil. |
TRIM(string1) |
Menghapus spasi awal dan akhir dari string1. |
REGEXP_REPLACE(string1, string2, string3) |
Mengganti semua substring dalam string1 yang cocok dengan ekspresi reguler string2 dengan string3. Contoh: REGEXP_REPLACE('foobar', 'oo|ar', '__') mengembalikan f__b__. |
SUBSTRING(string FROM integer1 [FOR integer2]) |
Mengembalikan substring dari string mulai dari posisi integer1 hingga posisi integer2. Jika FOR integer2 dihilangkan, substring berlanjut hingga akhir string. |
CONCAT(string1, string2, ...) |
Mengembalikan string baru yang dibentuk dengan menggabungkan string1, string2, dan seterusnya. Contoh: CONCAT('AA', 'BB', 'CC') mengembalikan AABBCC. |
Fungsi konversi tipe
Gunakan sintaks CAST(<expression> AS <type>) untuk konversi tipe eksplisit.
Gunakan VARCHAR sebagai tipe target untuk string. STRING bukan tipe target yang valid.
| Source type | Target type | Description |
|---|---|---|
| Any | VARCHAR |
Bidang dengan tipe apa pun dapat dikonversi ke string. |
NUMERIC, STRING |
BOOLEAN |
Setiap literal string yang bukan '0' atau 'FALSE' dikonversi ke 'TRUE'. |
NUMERIC, STRING |
TINYINT |
Hasil dipotong ke rentang -128 hingga 127. |
NUMERIC, STRING |
SMALLINT |
Hasil dipotong ke rentang -32768 hingga 32767. |
NUMERIC, STRING |
INTEGER |
Hasil dipotong ke rentang -2147483648 hingga 2147483647. |
NUMERIC, STRING |
BIGINT |
Hasil dipotong ke rentang -9223372036854775808 hingga 9223372036854775807. |
NUMERIC, STRING |
FLOAT |
|
NUMERIC |
DOUBLE |
|
NUMERIC |
DECIMAL |
|
STRING, TIMESTAMP_TZ, TIMESTAMP_LTZ |
TIMESTAMP |
String harus dalam format ISO_LOCAL_DATE_TIME yang valid. |
Fungsi perbandingan
Fungsi-fungsi ini mengembalikan NULL jika ada parameter input yang bernilai NULL, kecuali dinyatakan lain.
| Function | Description |
|---|---|
value1 = value2 |
Mengembalikan TRUE jika value1 sama dengan value2; jika tidak, mengembalikan FALSE. |
value1 <> value2 |
Mengembalikan TRUE jika value1 tidak sama dengan value2; jika tidak, mengembalikan FALSE. |
value1 > value2 |
Mengembalikan TRUE jika value1 lebih besar dari value2; jika tidak, mengembalikan FALSE. |
value1 >= value2 |
Mengembalikan TRUE jika value1 lebih besar dari atau sama dengan value2; jika tidak, mengembalikan FALSE. |
value1 < value2 |
Mengembalikan TRUE jika value1 lebih kecil dari value2; jika tidak, mengembalikan FALSE. |
value1 <= value2 |
Mengembalikan TRUE jika value1 lebih kecil dari atau sama dengan value2; jika tidak, mengembalikan FALSE. |
value IS NULL |
Mengembalikan TRUE jika value bernilai NULL; jika tidak, mengembalikan FALSE. |
value IS NOT NULL |
Mengembalikan TRUE jika value tidak bernilai NULL; jika tidak, mengembalikan FALSE. |
value1 BETWEEN value2 AND value3 |
Mengembalikan TRUE jika value1 berada di antara value2 dan value3 (inklusif); jika tidak, mengembalikan FALSE. Contoh: 12 BETWEEN 10 AND 15 mengembalikan TRUE; 12 BETWEEN 15 AND 20 mengembalikan FALSE. |
value1 NOT BETWEEN value2 AND value3 |
Mengembalikan TRUE jika value1 tidak berada di antara value2 dan value3 (inklusif); jika tidak, mengembalikan FALSE. |
string1 LIKE string2 |
Mengembalikan TRUE jika ekspresi reguler yang didefinisikan oleh string2 ditemukan dalam string1 (pencocokan substring); jika tidak, mengembalikan FALSE. |
string1 NOT LIKE string2 |
Mengembalikan TRUE jika ekspresi reguler yang didefinisikan oleh string2 tidak ditemukan dalam string1; jika tidak, mengembalikan FALSE. |
value1 IN (value2 [, value3]*) |
Mengembalikan TRUE jika value1 ada dalam daftar [value2, value3, ...]; jika tidak, mengembalikan FALSE. |
value1 NOT IN (value2 [, value3]*) |
Mengembalikan TRUE jika value1 tidak ada dalam daftar [value2, value3, ...]; jika tidak, mengembalikan FALSE. |
Semantik pencocokan LIKE dan NOT LIKE berbeda dari standar SQL dalam dua hal penting:
• Pola merupakan ekspresi reguler Java, bukan wildcard SQL % dan _. Karakter % dan _ diperlakukan sebagai literal regex dan tidak berfungsi sebagai wildcard.
• Pencocokan menggunakan semantik substring (Java regex find()). Pola hanya perlu muncul di suatu posisi dalam string untuk mengembalikan TRUE; pencocokan seluruh string tidak diperlukan. Contoh: col LIKE 'V.*' cocok dengan V123, ABC_V, ABC_V123, dan string apa pun yang mengandung V, yang setara dengan col LIKE '%V%' dalam SQL.
Untuk mencapai semantik yang setara ketat dengan SQL LIKE, gunakan anchor ^ dan $ untuk membatasi posisi pencocokan, seperti pada contoh berikut:
| Sintaks SQL | Regex CDC setara | Makna |
|---|---|---|
col LIKE 'HSRS%' |
col LIKE '^HSRS' |
Diawali dengan HSRS (HSRS juga dapat berdiri sendiri tanpa diikuti apa pun) |
col LIKE '%HSRS' |
col LIKE 'HSRS$' |
Diakhiri dengan HSRS |
col LIKE '%HSRS%' |
col LIKE 'HSRS' |
Mengandung HSRS |
col LIKE 'HSRS' |
col LIKE '^HSRS$' |
Sama persis dengan HSRS |
col LIKE 'H_SRS' |
col LIKE '^H.SRS$' |
H diikuti oleh satu karakter apa pun, lalu SRS |
| (Tidak ada padanan langsung dalam SQL) | col LIKE '^V.+' |
Diawali dengan V dan memiliki setidaknya satu karakter setelah V |
Fungsi logika
| Function | Description |
|---|---|
boolean1 OR boolean2 |
Mengembalikan TRUE jika boolean1 atau boolean2 bernilai TRUE. |
boolean1 AND boolean2 |
Mengembalikan TRUE jika boolean1 dan boolean2 keduanya bernilai TRUE. |
NOT boolean |
Mengembalikan FALSE jika boolean bernilai TRUE. Mengembalikan TRUE jika boolean bernilai FALSE. |
boolean IS FALSE |
Mengembalikan FALSE jika boolean bernilai TRUE. Mengembalikan TRUE jika boolean bernilai FALSE. |
boolean IS NOT FALSE |
Mengembalikan TRUE jika boolean bernilai TRUE. Mengembalikan FALSE jika boolean bernilai FALSE. |
boolean IS TRUE |
Mengembalikan TRUE jika boolean bernilai TRUE. Mengembalikan FALSE jika boolean bernilai FALSE. |
boolean IS NOT TRUE |
Mengembalikan FALSE jika boolean bernilai TRUE. Mengembalikan TRUE jika boolean bernilai FALSE. |
Fungsi kondisional
| Function | Description |
|---|---|
CASE value WHEN value1_1 [, value1_2]* THEN result1 (WHEN value2_1 [, value2_2]* THEN result2)* (ELSE result_z) END |
Memeriksa apakah value sama dengan setiap nilai dalam klausa WHEN secara berurutan. Mengembalikan hasil dari klausa pertama yang cocok. Jika tidak ada yang cocok, mengembalikan nilai ELSE. Jika tidak ada klausa ELSE, mengembalikan NULL. |
CASE WHEN condition1 THEN result1 (WHEN condition2 THEN result2)* (ELSE result_z) END |
Memeriksa setiap kondisi dalam klausa WHEN secara berurutan. Mengembalikan hasil dari kondisi pertama yang bernilai true. Jika tidak ada kondisi yang true, mengembalikan nilai ELSE. Jika tidak ada klausa ELSE, mengembalikan NULL. |
COALESCE(value1 [, value2]*) |
Mengembalikan nilai non-NULL pertama dalam daftar [value1, value2, ...]. Mengembalikan NULL jika semua nilai bernilai NULL. |
IF(condition, true_value, false_value) |
Mengembalikan true_value jika kondisi bernilai true; jika tidak, mengembalikan false_value. |
Fungsi JSON
Tipe VARIANT dan fungsi terkait tersedia dalam Pekerjaan Ingesti Data mulai dari Ververica Runtime (VVR) 11.6.
| Function | Description |
|---|---|
PARSE_JSON(json_string[, allow_duplicate_keys]) |
Mengurai string JSON menjadi VARIANT. Melemparkan error jika string JSON tidak valid. Untuk mengembalikan NULL sebagai gantinya, gunakan TRY_PARSE_JSON. Saat input berisi kunci duplikat, parser menyimpan field terakhir dengan kunci yang sama jika allowDuplicateKeys bernilai true, atau melemparkan error jika false. Default: allowDuplicateKeys = false. |
TRY_PARSE_JSON(json_string[, allow_duplicate_keys]) |
Mengurai string JSON menjadi VARIANT. Mengembalikan NULL jika string JSON tidak valid. Untuk melemparkan error sebagai gantinya, gunakan PARSE_JSON. Saat input berisi kunci duplikat, parser menyimpan field terakhir dengan kunci yang sama jika allowDuplicateKeys bernilai true, atau melemparkan error jika false. Default: allowDuplicateKeys = false. |
|
JSON_EXISTS(json_string, json_path) |
Memeriksa apakah path yang ditentukan ada dalam string JSON. Contoh:
Path mendukung simbol berikut:
Catatan
Hanya didukung di Ververica Runtime (VVR) 11.7 dan versi setelahnya. |
|
JSON_VALUE(json_string, json_path) |
Mengekstraksi objek pada path yang ditentukan dari string JSON. Mendukung nilai skalar maupun nilai objek. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.7 dan versi setelahnya. |
Fungsi hash
Fungsi hash tersedia dalam Pekerjaan Ingesti Data mulai dari Ververica Runtime (VVR) 11.6. Semua fungsi hash mengembalikan NULL jika string input bernilai NULL.
| Function | Description |
|---|---|
MD5(string) |
Mengembalikan hash MD5 dari string sebagai string heksadesimal 32 karakter. |
SHA1(string) |
Mengembalikan hash SHA-1 dari string sebagai string heksadesimal 40 karakter. |
SHA224(string) |
Mengembalikan hash SHA-224 dari string sebagai string heksadesimal 56 karakter. |
SHA256(string) |
Mengembalikan hash SHA-256 dari string sebagai string heksadesimal 64 karakter. |
SHA384(string) |
Mengembalikan hash SHA-384 dari string sebagai string heksadesimal 96 karakter. |
SHA512(string) |
Mengembalikan hash SHA-512 dari string sebagai string heksadesimal 128 karakter. |
SHA2(string, hashLength) |
Mengembalikan hash menggunakan fungsi keluarga SHA-2. hashLength menentukan panjang bit hasil: 224, 256, 384, atau 512. Mengembalikan NULL jika string atau hashLength bernilai NULL. |
Fungsi AI
Mulai dari Ververica Runtime (VVR) 11.8.0 preview2, modul Transform CDC YAML mendukung fungsi AI dalam ekspresi projection. Sebelum menggunakan fungsi ini, aktifkan layanan Flink AI (model bawaan).
|
Function |
Signature |
Return fields |
Purpose |
|
AI_COMPLETE |
|
|
Generasi teks tujuan umum. |
|
|
|
Klasifikasi teks. |
|
|
|
|
Translation teks. |
|
|
|
|
Ringkasan teks. |
|
|
|
|
Analisis sentimen. |
|
|
|
|
Ekstraksi informasi terstruktur. |
|
|
|
|
Penyembunyian informasi sensitif. |
|
|
AI_EMBED |
|
|
Mengonversi teks menjadi vektor. Fungsi ini cocok untuk pelabelan set data multimodal, filtering dan Pengambilan RAG, Backfill fitur, serta skenario serupa. Catatan
Tersedia di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
|
AI_IMAGE_COMPLETE |
|
|
Menghasilkan teks berdasarkan gambar dan prompt. Fungsi ini cocok untuk pengenalan konten gambar, ekstraksi informasi, klasifikasi, dan skenario serupa. Catatan
Tersedia di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
|
AI_IMAGE_EMBED |
|
|
Mengonversi gambar menjadi vektor. Fungsi ini cocok untuk pelabelan set data multimodal, filtering dan Pengambilan RAG, Backfill fitur, serta skenario serupa. Catatan
Tersedia di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
Dalam ekspresi projection, gunakan ['fieldName'] untuk mengakses field kembalian. Contoh: AI_COMPLETE('mymodel', content, '')['result'].
Untuk instruksi dan contoh detail fungsi AI, lihat Anotasi teks cerdas AI dan Konfigurasikan dan panggil Fungsi AI.
Fungsi multimodal
|
Function signature |
Return type |
Description |
|
FETCH_CONTENT(uri) |
BYTES |
Mengambil konten biner dari URI yang ditentukan. Secara default, permintaan HTTP yang gagal dicoba ulang 3 kali. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.8 dan versi setelahnya. |
|
FETCH_CONTENT(uri, httpRetryCount) |
BYTES |
Mengambil konten biner dari URI yang ditentukan dan menentukan jumlah percobaan ulang untuk permintaan HTTP. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.8 dan versi setelahnya. |
|
FFMPEG_VIDEO_FILTER(content, filters) |
BYTES |
Menerapkan filter video FFmpeg ke gambar atau video. Gambar dikeluarkan dalam format PNG secara default, dan video dikeluarkan dalam format MP4 secara default. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
|
FFMPEG_VIDEO_FILTER(content, filters, outputExtension) |
BYTES |
Menerapkan filter video FFmpeg ke gambar atau video dan menentukan format output. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
|
FFMPEG_AUDIO_FILTER(content, filters) |
BYTES |
Menerapkan filter audio FFmpeg ke aliran audio. Output dalam format WAV secara default. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
|
FFMPEG_AUDIO_FILTER(content, filters, outputExtension) |
BYTES |
Menerapkan filter audio FFmpeg ke aliran audio dan menentukan format output. Catatan
Hanya didukung di Ververica Runtime (VVR) 11.9 dan versi setelahnya. |
Akses tipe data bersarang
Gunakan operator [] untuk mengakses elemen dalam bidang bersarang bertipe ARRAY, MAP, atau VARIANT. Fitur ini tersedia mulai dari Ververica Runtime (VVR) 11.6.
Metode akses
Sintaks akses bergantung pada format internal bidang bersarang. Contoh berikut menggunakan bidang bernama nest_col.
Format array (`ARRAY` atau array `VARIANT`)
Gunakan nest_col[integer] untuk mengambil elemen pada indeks yang ditentukan. Pengindeksan array dimulai dari 1.
Contoh: Jika nest_col adalah [{"id": 1, "name": "Project A"}, {"id": 2, "name": "Project B"}], maka nest_col[1] mengembalikan {"id": 1, "name": "Project A"}.
Format tabel hash (`MAP` atau objek `VARIANT`)
Gunakan nest_col[string] untuk mengambil nilai untuk kunci yang ditentukan.
Contoh: Jika nest_col adalah {"id": 1, "name": "Project A"}, maka nest_col['id'] mengembalikan 1.
Bidang bersarang mendalam
Rangkai operator [] untuk mengakses elemen bersarang mendalam.
Contoh: Jika nest_col adalah [{"id": 1, "name": "Project A"}, {"id": 2, "name": "Project B"}], maka nest_col[1]['id'] mengembalikan 1.
Tipe kembalian
Tipe kembalian dari [] bergantung pada tipe bidang aslinya:
| Original field type | Access syntax | Return type |
|---|---|---|
ARRAY[T] |
nest_col[integer] |
T |
MAP<K, V> |
nest_col[string] |
V |
VARIANT |
nest_col[integer] atau nest_col[string] |
VARIANT |