DataWorks：Sumber daya dan fungsi Flink

Deskripsi sumber daya

Dalam Manajemen Sumber Daya dan Fungsi Data Studio, Anda dapat mengunggah sumber daya lokal ke Flink melalui DataWorks untuk mengembangkan pekerjaan Flink di DataWorks atau membuat fungsi kustom Flink.

Batasan

Sumber daya yang diunggah harus mematuhi batasan berikut:

• Ukuran Sumber Daya: Anda dapat mengunggah sumber daya hingga 500 MB.

• Publikasi Sumber Daya: Jika Anda menggunakan ruang kerja mode standar, Anda harus menerbitkan sumber daya ke lingkungan produksi. Setelah sumber daya diterbitkan, sumber daya tersebut akan tersedia untuk proyek dalam lingkungan produksi.

  Catatan

  Informasi sumber data di lingkungan pengembangan dan produksi mungkin berbeda. Sebelum menjalankan kueri tabel, sumber daya, dan operasi lainnya di lingkungan yang sesuai, konfirmasikan informasi sumber data untuk lingkungan tersebut.

• Manajemen Sumber Daya: Di DataWorks, Anda hanya dapat melihat dan mengelola sumber daya yang Anda unggah menggunakan DataWorks.

Membuat sumber daya

Sumber Daya Flink mendukung unggahan lokal. Sumber daya yang dibuat dapat langsung dirujuk dalam pengembangan data atau dibuat sebagai fungsi.

1. Di halaman Manajemen Sumber Daya, dalam kotak dialog Create Resource And Function yang muncul, konfigurasikan Type, Path, dan Name sumber daya.

2. Setelah membuat sumber daya, Anda perlu mengunggah file lokal ke sumber daya sebagai sumber file.

3. Save dan Publish sumber daya dari bilah alat di bagian atas. Hanya sumber daya yang diterbitkan yang dapat digunakan dalam pengembangan data.

Menggunakan sumber daya

Setelah membuat sumber daya, saat melakukan pengembangan data, Anda dapat mengklik Resource Management di panel navigasi di sebelah kiri saat mengedit node pengembangan data. Kemudian temukan sumber daya atau fungsi target, klik kanan, dan pilih Reference Resource. Setelah berhasil mereferensikan sumber daya, kode dalam format ##@resource_reference{"nama sumber daya"} akan ditampilkan.

Selain menggunakan sumber daya secara langsung, Anda juga dapat membuat sumber daya sebagai fungsi dan kemudian menggunakannya di node pengembangan.

Deskripsi fungsi

Dalam Manajemen Sumber Daya dan Fungsi Data Studio, Anda dapat mendaftarkan sumber daya sebagai fungsi. Dalam pengembangan data, Anda dapat menggunakan fungsi bawaan dan fungsi kustom Flink yang disediakan oleh Flink.

Membuat fungsi

1. Di halaman Manajemen Sumber Daya, dalam kotak dialog New Resource And Function yang muncul, konfigurasikan Type, Path, dan Name fungsi.

2. Klik Confirm untuk membuat sumber daya fungsi, dan konfigurasikan informasi terkait sesuai dengan tipe fungsi.

   Sebelum mengonfigurasi fungsi Flink, pastikan bahwa Anda telah membuat kluster Flink sebagai sumber daya komputasi di DataWorks dan telah mengunggah sumber daya Flink. Berikut adalah deskripsi parameter untuk fungsi Flink.

   Parameter	Deskripsi
   Function Type	Pilih tipe fungsi, termasuk MATH (fungsi operasi matematika), AGGREGATE (fungsi agregat), STRING (fungsi pemrosesan string), DATE (fungsi tanggal), ANALYTIC (fungsi jendela), dan OTHER (fungsi lainnya).
   Flink Cluster	Pilih kluster Flink yang terdaftar dari daftar dropdown.
   Resource List	Saat mengonfigurasi fungsi Flink, hanya operasi antarmuka visual yang didukung. Pilih sumber daya Flink JAR dari daftar dropdown.
   Command Format	Contoh cara menggunakan UDF.

3. Save dan Publish fungsi dari bilah alat di bagian atas. Hanya fungsi yang diterbitkan yang dapat digunakan dalam pengembangan data.

Menggunakan fungsi

Setelah membuat dan menerbitkan fungsi, saat mengedit node pengembangan data, klik Resource Management di panel navigasi di sebelah kiri, lalu temukan sumber daya atau fungsi target, klik kanan, dan pilih Reference Function. Ini akan dengan cepat menghasilkan nama fungsi kustom di halaman pengeditan node saat ini, misalnya: contoh_fungsi().