Buat dan gunakan resource MaxCompute di DataWorks - DataWorks

Jika kode atau fungsi Anda memerlukan resource MaxCompute, Anda harus terlebih dahulu membuat atau mengunggah resource tersebut. Anda dapat membuat atau mengunggah resource melalui perintah SQL MaxCompute atau antarmuka visual DataWorks, lalu mereferensikannya di node dan mendaftarkan fungsi.

Ikhtisar

Resource MaxCompute memungkinkan penggunaan user-defined functions (UDFs) atau pekerjaan MapReduce. DataWorks memungkinkan Anda mengunggah paket resource dari lokal atau OSS, atau membuat resource secara langsung. Tabel berikut mencantumkan jenis resource yang didukung.

Resource type	Description	Creation methods
Python	Kode Python untuk mendaftarkan UDF Python. Ekstensi: .py.	Create in the online editor
JAR	Paket Java Archive terkompilasi untuk menjalankan program Java. Ekstensi: .jar.	Upload a local resource Upload an OSS resource
Archive	File terkompresi: format .zip, .tgz, .tar.gz, dan .tar. Ekstensi menunjukkan jenis kompresi.	Upload a local resource Upload an OSS resource
File	Mendukung file .zip, .so, dan .jar.	Upload a local resource Upload an OSS resource Create in the online editor

Manajemen resource: Manage resources, Manage resources by using commands, dan Add external resources to DataWorks for management.

Limits

Ukuran resource
- Pengeditan daring: hingga 10 MB untuk resource Python dan 500 KB untuk resource file.
- Unggah lokal: hingga 500 MB.
- Unggah OSS: hingga 500 MB.
Deployment resource
Di ruang kerja mode standar, deploy resource ke lingkungan produksi agar berlaku.
Catatan
Lingkungan pengembangan dan produksi menggunakan mesin komputasi yang berbeda. Verifikasi mesin komputasi untuk setiap lingkungan sebelum melakukan kueri tabel atau resource. Data Studio (legacy version): Associate a MaxCompute compute engine.
Manajemen resource
DataWorks hanya menampilkan resource yang diunggah melalui antarmuka visualnya. Resource yang ditambahkan melalui alat lain (seperti MaxCompute Studio) harus dimuat secara manual menggunakan fitur MaxCompute Resources. Setelah dimuat, Anda dapat melihat dan mengelola resource tersebut di DataWorks. Manage MaxCompute resources.

Billing

DataWorks tidak membebankan biaya untuk pembuatan atau pengunggahan resource. MaxCompute membebankan biaya untuk penyimpanan resource. Storage pricing.

Prerequisites

Anda telah mengasosiasikan mesin komputasi MaxCompute untuk tugas pengembangan.
(Opsional) Untuk mengunggah resource dari OSS:
- OSS telah diaktifkan, bucket telah dibuat, dan file telah diunggah. Saat mengunggah dari OSS, Anda harus memilih file dari bucket tertentu. Create a bucket dan Upload objects.
- Akun Alibaba Cloud memiliki izin yang diperlukan untuk mengakses bucket target. Untuk menghindari error izin, berikan izin tersebut ke akun terlebih dahulu. Access control overview.

Go to the resource creation page

Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Di halaman Data Studio, klik kanan alur kerja target, pilih Create Resource, lalu pilih jenis resource dari direktori MaxCompute.
Catatan
Jika tidak tersedia alur kerja, Create a workflow.

Step 1: Create or upload a resource

Unggah paket resource lokal atau OSS ke DataWorks. Misalnya, kemas dan unggah UDF yang dikembangkan secara lokal sebelum mendaftarkannya sebagai fungsi. Resource Python dan resource file (hingga 500 KB) juga dapat dibuat secara langsung.

Catatan

Saat membuat atau mengunggah resource:

Jika resource belum diunggah ke MaxCompute, pilih Upload to MaxCompute. Jika resource sudah ada di MaxCompute, hapus centang Upload to MaxCompute. Jika tidak, pengunggahan akan gagal.
Memilih Upload to MaxCompute menyimpan resource di DataWorks dan MaxCompute. Menghapusnya dari MaxCompute melalui perintah tidak menghapusnya dari DataWorks.
Nama resource tidak perlu sama dengan nama file yang diunggah.

Online editor

Konfigurasikan resource sesuai kebutuhan.

Catatan

Untuk resource Python lebih besar dari 10 MB atau resource file lebih besar dari 500 KB, gunakan Metode 2: Unggah resource lokal atau Metode 3: Unggah resource OSS.
Untuk tutorial, lihat Analyze IP address origins by using a MaxCompute UDF.

Saat membuat resource Python atau resource File, konfigurasikan bidang berikut:

Engine type: Pilih MaxCompute.
Engine instance: Pilih instans mesin target.
Path: Pilih path alur bisnis untuk menyimpan resource.
Upload to ODPS: Jika dipilih, resource akan diunggah secara sinkron ke MaxCompute.
Name: Masukkan nama resource. Untuk resource Python, nama file harus menyertakan ekstensi .py.

Untuk resource File, Anda juga perlu mengonfigurasi File source, yang dapat diatur ke Local, OSS (one-click authorization), atau Online editor.

Local resource

Konfigurasikan resource sesuai kebutuhan.

Di kotak dialog Create resource, konfigurasikan bidang berikut berdasarkan jenis resource (JAR, Archive, atau File):

Engine type: Pilih MaxCompute.
Engine instance: Pilih instans mesin target.
Resource type: Pilih JAR, Archive, atau File.
Path: Pilih path penyimpanan untuk resource.
Upload to ODPS: Jika dipilih, resource akan diunggah secara sinkron ke MaxCompute.
File source: Pilih Local atau OSS (one-click authorization). Jenis File juga mendukung Online editor.
Upload file: Klik Click to upload untuk mengunggah file lokal.
Name: Masukkan nama resource. Jenis JAR memerlukan ekstensi .jar. Jenis Archive memerlukan ekstensi .zip, .tgz, .tar.gz, atau .tar.

OSS resource

Konfigurasikan resource sesuai kebutuhan.

Catatan

Anda dapat menggunakan metode ini untuk mengunggah resource hingga 500 MB.
Akun Alibaba Cloud yang digunakan untuk pengunggahan harus diberikan kebijakan AliyunDataWorksAccessingOSSRole. Ikuti petunjuk di layar untuk memberikan izin tersebut dengan satu klik.

Step 2: Submit and deploy

Setelah membuat resource, klik ikon Submit di bilah alat untuk mengirimkannya ke server penjadwalan di lingkungan pengembangan.

Catatan

Untuk menggunakan resource ini di produksi, deploy ke lingkungan produksi. Deploy tasks.

Step 3: Use the resource

Use in a node

Referensikan resource di node terkait. Referensi yang berhasil menambahkan baris seperti @resource_reference{"Resource Name"} ke konfigurasi node. Formatnya bervariasi tergantung jenis node. Misalnya, node PyODPS 2 menggunakan ##@resource_reference{"Resource Name"}.

Catatan

Jika belum ada node, Create a compute node.
Jika kode PyODPS Anda bergantung pada paket pihak ketiga, gunakan custom image untuk menginstalnya di lingkungan runtime. Custom images.

Referensikan resource seperti contoh berikut.

Di antarmuka Data Studio DataWorks, ikuti langkah-langkah berikut untuk mereferensikan resource:

Klik ganda node PyODPS target untuk membukanya.
Di direktori Resource di sebelah kiri, klik kanan file resource target (misalnya, pyodps_packagetest.py), lalu pilih Reference resource dari menu konteks.
Editor kode secara otomatis menghasilkan ##@resource_reference{"pyodps_packagetest.py"} di bagian atas file, menandakan referensi berhasil. Anda kemudian dapat memanggil metode dari resource tersebut menggunakan import.

Register a function

Untuk mendaftarkan fungsi, pertama-tama Create and use a custom function. Di halaman konfigurasi fungsi, masukkan nama resource.

Penting

Resource harus dikirimkan terlebih dahulu sebelum Anda mendaftarkan fungsi. Langkah 2: Kirim dan deploy.

Di formulir Register function, atur bidang Resource list ke nama resource yang diunggah (misalnya, xc_ip2region.jar), lalu konfigurasikan bidang Class name (misalnya, org.alidata.odps.udf.Ip2Region) dan Command format (misalnya, getregion('ip')).

Fungsi bawaan MaxCompute: Use built-in functions.

Untuk melihat fungsi di mesin komputasi, mengelola riwayat fungsi, atau melakukan operasi manajemen lainnya: Manage MaxCompute functions.

Manage resources

Di direktori resource suatu alur kerja, klik kanan resource target untuk melakukan operasi manajemen:

View History: Lihat dan bandingkan versi yang disimpan atau dikirimkan untuk melacak perubahan.
Catatan
Untuk membandingkan versi, Anda harus memilih minimal dua versi.
Delete: Menghapus resource hanya dari lingkungan pengembangan. Deploy perubahan ini untuk menghapusnya dari produksi; resource akan dihapus dari produksi setelah deployment berhasil. Deploy tasks.

Appendix 1: Manage resources with commands

Tabel berikut menjelaskan perintah umum untuk operasi resource.

Operation	Description	Role	Platform
Tambahkan sumber daya	Menambahkan resource ke proyek MaxCompute.	Pengguna dengan izin `Write` pada resource.	Anda dapat menjalankan perintah ini di platform berikut: Connect to MaxCompute with odpscmd Analyze connections using SQL Connect using odpscmd in Cloud Shell Connect by using DataWorks Develop and submit an SQL script
Melihat informasi sumber daya	Menampilkan detail resource.	Pengguna dengan izin `Read` pada resource.
Daftar sumber daya	Menampilkan semua resource di proyek saat ini.	Pengguna dengan izin `List` pada proyek.
Buat alias untuk sumber daya	Membuat alias untuk resource.	Pengguna dengan izin `Write` pada resource.
Unduh Sumber Daya	Mengunduh resource dari proyek MaxCompute ke mesin lokal Anda.	Pengguna dengan izin `Write` pada resource.
Hapus sumber daya	Menghapus resource yang ada dari proyek MaxCompute.	Pengguna dengan izin `Delete` pada resource.

Jika nama proyek tidak ditentukan, perintah beroperasi pada proyek saat ini. Contoh:

Lihat semua resource di proyek saat ini. Di Data Studio, ini secara default melakukan kueri terhadap mesin komputasi lingkungan pengembangan.
```
list resources;
```

Lihat resource di proyek tertentu:

use <MaxCompute_project_name>;
list resources;

Referensi perintah lengkap: Resource operations.

Appendix 2: Add external resources to DataWorks

Gunakan fitur MaxCompute Resource untuk memuat resource MaxCompute (hingga 500 MB) ke DataWorks guna manajemen visual. Manage MaxCompute resources.