Buat dan gunakan resource serta fungsi Flink - DataWorks

Topik ini menjelaskan cara menggunakan Resource Management untuk membuat berbagai jenis resource dan fungsi Flink. Anda dapat menggunakan resource tersebut untuk membuat fungsi kustom atau untuk pengembangan data.

Prasyarat

Anda telah mengikat resource komputasi fully managed Flink ke ruang kerja Anda, yang akan digunakan untuk membuat resource dan fungsi.
Anda telah menyiapkan file resource dari mesin lokal Anda untuk diunggah.

Buat dan gunakan resource

Sumber Daya

Di halaman Resource Management pada Data Studio, Anda dapat mengunggah resource lokal ke Flink melalui DataWorks. Resource tersebut kemudian dapat digunakan untuk mengembangkan pekerjaan Flink di DataWorks atau untuk membuat fungsi kustom.

Batasan

Resource yang diunggah harus memenuhi batasan berikut:

Ukuran resource:
- Edit daring: Ukuran maksimum adalah 10 MB untuk resource Python dan 500 KB untuk resource File.
- Unggah dari file lokal: Ukuran maksimum untuk satu resource adalah 500 MB.
- Unggah dari file OSS: Ukuran maksimum untuk satu resource adalah 500 MB.
Penerbitan resource: Jika Anda menggunakan ruang kerja mode standar, Anda harus menerbitkan resource ke lingkungan produksi sebelum dapat menggunakannya.
Catatan
Informasi sumber data dapat berbeda antara lingkungan pengembangan dan produksi. Sebelum melakukan kueri terhadap tabel atau resource, pastikan informasi sumber data sesuai dengan lingkungan saat ini.
Manajemen resource: Di DataWorks, Anda hanya dapat melihat dan mengelola resource yang diunggah melalui antarmuka DataWorks.

Membuat sumber daya

Anda dapat mengunggah sumber daya Flink dari file lokal, lalu mereferensikannya secara langsung untuk pengembangan data atau mendaftarkannya sebagai fungsi. Sumber daya Flink mencakup jenis-jenis berikut:

Flink Jar: Paket JAR Java yang telah dikompilasi dengan ekstensi .jar, digunakan untuk menjalankan program Java atau membuat fungsi kustom.
Flink File: Untuk mengunggah file jenis apa pun ke Flink. File-file ini dapat digunakan sebagai dependensi tambahan untuk node Flink JAR dan Flink Python, seperti pustaka Python dan arsip Python.
Flink Python: Untuk mengunggah file Python dengan ekstensi .py ke Flink guna pengembangan pada node Flink Python. Untuk mengunggah file .zip, gunakan tipe resource Flink File. File yang diunggah juga dapat berfungsi sebagai titik masuk utama untuk pekerjaan Python.

Di halaman Resource Management, buat resource untuk membuka kotak dialog Create Resource and Function. Konfigurasikan Type resource, Path penyimpanan, dan Name resource.
Setelah membuat resource, unggah file lokal ke dalamnya.
Pada bilah alat atas, klik Save dan Publish resource tersebut, karena hanya resource yang telah diterbitkan yang dapat digunakan dalam pengembangan data.

Gunakan resource

Setelah membuat resource, saat mengedit node pengembangan data, klik Resource Management di bilah navigasi kiri, temukan resource atau fungsi yang dituju, lalu klik kanan dan pilih Insert Resource Path. Setelah resource berhasil direferensikan, kode dalam format --@resource_reference{"Resource Name"} akan ditampilkan.

Catatan

Sebagai contoh, node Flink SQL Streaming ditampilkan sebagai --@resource_reference{"example.jar"}. Format tampilan bervariasi tergantung jenis node. Silakan merujuk pada antarmuka aktual.

Selain menggunakan resource secara langsung, Anda juga dapat mendaftarkan resource tersebut sebagai fungsi, lalu menggunakannya dalam node pengembangan.

Buat dan gunakan fungsi

Fungsi

Di Data Studio, Anda dapat menggunakan Resource Management untuk mendaftarkan resource sebagai fungsi. Dalam pengembangan data, Anda dapat menggunakan built-in functions Flink dan custom functions.

Buat fungsi

Di halaman Resource Management, buat fungsi untuk membuka kotak dialog Create Resource and Function. Konfigurasikan Type fungsi, Path penyimpanan, dan Name fungsi.

Klik Confirm untuk membuat resource fungsi baru dan konfigurasikan informasi terkait fungsi berdasarkan jenisnya.

Untuk mengonfigurasi fungsi Flink, Anda harus terlebih dahulu membuat kluster Flink sebagai resource komputasi di DataWorks dan membuat resource Flink terkait. Tabel berikut menjelaskan parameter untuk Flink function.

Parameter	Description
Function type	Pilih jenis fungsi: MATH (fungsi operasi matematika), AGGREGATE (fungsi agregat), STRING (fungsi pemrosesan string), DATE (fungsi tanggal), ANALYTIC (fungsi jendela), dan OTHER (fungsi lainnya).
Flink cluster	Pilih kluster Flink yang telah terdaftar dari daftar drop-down.
Resource List	Anda hanya dapat mengonfigurasi fungsi Flink melalui antarmuka visual. Dari daftar drop-down, pilih resource Flink Jar.
Command Format	Contoh penggunaan UDF ini.

Pada bilah alat atas, klik Save dan Publish fungsi tersebut. Hanya fungsi yang telah diterbitkan yang dapat digunakan dalam pengembangan data.

Gunakan fungsi

Setelah fungsi dibuat dan diterbitkan, saat mengedit node pengembangan data, klik Resource Management di bilah navigasi kiri, temukan resource atau fungsi yang dituju, lalu klik kanan dan pilih Insert Function. Aksi ini akan secara cepat menghasilkan nama fungsi kustom, seperti example_function(), pada halaman edit node saat ini.

Kelola resource dan fungsi

Setelah Anda mengunggah resource atau membuat fungsi melalui antarmuka visual Data Studio, Anda dapat mengelolanya di halaman manajemen resource dengan mengklik resource atau fungsi yang dituju.

Lihat riwayat versi: Klik tombol versi di sisi kanan halaman editor resource atau fungsi untuk melihat dan membandingkan versi fungsi yang telah disimpan atau diajukan serta melihat perubahan antar versi berbeda.

Catatan
Untuk perbandingan versi, Anda harus memilih minimal dua versi.
Hapus resource atau fungsi: Klik kanan resource atau fungsi yang dituju, lalu klik tombol Delete untuk menghapusnya.

Untuk menghapus resource atau fungsi di lingkungan produksi, Anda harus menerapkan tugas dan menerapkan penghapusan ke lingkungan produksi. Setelah penerapan berhasil, resource atau fungsi tersebut akan dihapus secara sinkron dari lingkungan produksi.