Cara membuat resource MaxCompute - DataWorks

Untuk menggunakan resource MaxCompute dalam kode atau fungsi Anda, Anda harus terlebih dahulu membuat atau mengunggah resource tersebut ke ruang kerja target. Setelah diunggah, resource dapat digunakan dalam task di ruang kerja tersebut. Resource dapat diunggah melalui perintah SQL MaxCompute atau dibuat dan diunggah langsung di konsol DataWorks. Topik ini menjelaskan cara membuat resource di konsol DataWorks, menggunakannya dalam node, serta mendaftarkan fungsi berdasarkan resource tersebut.

Ikhtisar Fungsi

Resource MaxCompute memungkinkan Anda menggunakan user-defined functions (UDFs) atau MapReduce. DataWorks menyediakan antarmuka visual untuk mengunggah paket resource dari mesin lokal atau dari file Object Storage Service (OSS). Anda juga dapat membuat resource secara langsung di DataWorks. UDF dan job MapReduce dapat membaca serta menggunakan resource ini selama eksekusi. DataWorks mendukung jenis resource berikut:

Jenis sumber daya	Deskripsi	Metode pembuatan yang didukung
Python	Menyimpan kode Python yang Anda tulis. Anda dapat menggunakan kode ini untuk mendaftarkan UDF Python. Ekstensi nama file harus berupa .py.	Pengarangan visual
JAR	Paket JAR Java yang telah dikompilasi yang digunakan untuk menjalankan program Java. Ekstensi nama file harus berupa .jar.	Resource lokal Resource OSS
Archive	Anda hanya dapat mengunggah file terkompresi seperti .zip, .tgz, .tar.gz, dan .tar sebagai resource. Jenis kompresi diidentifikasi berdasarkan ekstensi nama file.	Resource lokal Resource OSS
File	Anda hanya dapat mengunggah file dengan tipe .zip, .so, dan .jar sebagai resource File.	Resource lokal Resource OSS Buat langsung (pengeditan daring)

Untuk informasi lebih lanjut tentang cara mengelola resource dan melakukan operasi terkait, lihat Kelola resource, Kelola resource menggunakan perintah, dan Tambahkan resource ke DataWorks untuk dikelola.

Batasan

Ukuran sumber daya
- Pengeditan daring: Resource Python dapat mencapai maksimal 10 MB. Resource File dapat mencapai maksimal 500 KB.
- Unggah file lokal: Anda dapat mengunggah resource hingga maksimal 500 MB.
- Unggah file OSS: Anda dapat mengunggah resource hingga maksimal 500 MB.
Penerapan resource
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan resource ke lingkungan produksi agar resource tersebut berlaku.
Catatan
Informasi mesin komputasi berbeda antara lingkungan pengembangan dan produksi. Sebelum melakukan kueri tabel atau resource di suatu lingkungan, pastikan informasi mesin komputasi untuk lingkungan tersebut telah dikonfigurasi dengan benar. Untuk informasi lebih lanjut tentang cara melihat mesin komputasi MaxCompute untuk berbagai lingkungan, lihat DataStudio (versi lama): Bind a MaxCompute compute engine.
Manajemen resource
DataWorks hanya memungkinkan Anda melihat dan mengelola resource yang diunggah melalui konsol DataWorks. Jika Anda menambahkan resource ke MaxCompute menggunakan alat lain seperti MaxCompute Studio, Anda harus menggunakan fitur MaxCompute Resource di DataWorks untuk memuat resource tersebut secara manual. Setelah dimuat, resource tersebut dapat dilihat dan dikelola di DataWorks. Untuk informasi lebih lanjut, lihat Manajemen resource MaxCompute.

Penagihan

Membuat dan mengunggah resource di DataWorks tidak dikenai biaya. Namun, Anda akan dikenai biaya untuk penyimpanan resource di MaxCompute. Untuk informasi lebih lanjut, lihat Biaya penyimpanan.

Persiapan

Mesin komputasi MaxCompute telah di-bind. Anda dapat melakukan operasi pengembangan menggunakan mesin komputasi ini.
(Opsional) Untuk membuat resource dengan mengunggah file OSS, penuhi prasyarat berikut:
- Aktifkan OSS dan buat bucket. Lalu, unggah file yang diperlukan ke bucket OSS tersebut. Saat mengunggah resource dari OSS, Anda harus memilih file dari bucket tertentu. Untuk informasi lebih lanjut, lihat Buat bucket dan Unggah file.
- Berikan izin yang diperlukan kepada Akun Alibaba Cloud yang Anda gunakan untuk mengunggah file agar dapat mengakses bucket tujuan. Untuk mencegah masalah terkait izin, berikan izin tersebut sebelum mengunggah file. Untuk informasi lebih lanjut, lihat Ikhtisar izin dan kontrol akses.

Buka titik masuk untuk membuat resource

Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Studio.
Di halaman Pengembangan Data, klik kanan alur kerja target, pilih New Resource, lalu pilih jenis resource di bawah direktori MaxCompute.
Catatan
Jika tidak tersedia alur kerja, buat satu terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat alur kerja.

Langkah 1: Buat atau unggah resource

DataWorks memungkinkan Anda mengunggah paket resource yang dikembangkan di mesin lokal atau disimpan di OSS. Misalnya, untuk mengunggah UDF yang dikembangkan di mesin lokal, Anda harus memaketkan dan mengunggahnya ke DataWorks sebelum mendaftarkan fungsi tersebut. Anda juga dapat membuat beberapa jenis resource secara langsung di DataWorks, seperti resource Python dan resource file yang ukurannya tidak lebih dari 500 KB.

Catatan

Resource yang dibuat atau diunggah melalui antarmuka visualisasi DataWorks:

Jika resource belum diunggah menggunakan klien MaxCompute (ODPS), pilih Upload As ODPS Resource. Jika resource sudah diunggah menggunakan klien MaxCompute (ODPS), kosongkan centang pada Upload As ODPS Resource. Jika tidak, proses unggah akan gagal.
Jika Anda memilih Upload As ODPS Resource saat mengunggah, resource tersebut akan disimpan di DataWorks dan MaxCompute. Jika Anda kemudian menghapus resource tersebut dari MaxCompute menggunakan perintah, resource di DataWorks tetap ada dan ditampilkan seperti biasa.
Nama resource tidak perlu sama dengan nama file yang diunggah.

Metode 1: Buat resource di konsol DataWorks

Gambar berikut menunjukkan konfigurasi untuk membuat resource di konsol DataWorks. Konfigurasikan parameter sesuai jenis resource yang berbeda.

Catatan

Untuk resource Python yang lebih besar dari 10 MB atau resource file yang lebih besar dari 500 KB, gunakan Metode 2: Unggah resource lokal atau Metode 3: Unggah resource OSS untuk membuatnya.
Untuk contoh cara membuat resource Python di konsol DataWorks dan mendaftarkan fungsi, lihat Analisis sumber alamat IP menggunakan UDF MaxCompute.

Create a resource in the DataWorks console

Metode 2: Unggah resource lokal

Gambar berikut menunjukkan konfigurasi untuk mengunggah resource lokal. Konfigurasikan parameter sesuai jenis resource yang berbeda.

Upload a local resource

Metode 3: Unggah resource OSS

Gambar berikut menunjukkan konfigurasi untuk mengunggah resource OSS. Konfigurasikan parameter sesuai jenis resource yang berbeda.

Catatan

Anda dapat menggunakan metode ini untuk mengunggah resource hingga 500 MB.
Berikan kebijakan AliyunDataWorksAccessingOSSRole kepada Akun Alibaba Cloud yang Anda gunakan untuk mengunggah file. Anda dapat mengikuti petunjuk di layar untuk memberikan izin tersebut dengan satu klik.

Langkah 2: Commit dan terapkan resource

Setelah membuat resource, klik ikon Commit di bilah alat pada halaman konfigurasi resource untuk melakukan commit resource ke lingkungan pengembangan.

Catatan

Jika task produksi menggunakan resource ini, Anda juga harus menerapkan resource tersebut ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Publish a task.

Langkah 3: Gunakan resource

Skenario 1: Gunakan resource dalam node

Setelah membuat resource DataWorks, Anda harus mereferensikannya dalam sebuah node. Setelah node berhasil mereferensikan resource, kode dalam format @resource_reference{"Nama Resource"} akan ditampilkan. Format tampilan bervariasi tergantung jenis node. Misalnya, node PyODPS 2 menampilkan kode sebagai ##@resource_reference{"Nama Resource"}.

Catatan

Jika Anda belum membuat node, buat satu terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat node komputasi.
Kode PyODPS bergantung pada paket pihak ketiga. Anda harus menggunakan custom image untuk menginstal paket yang diperlukan di lingkungan runtime, lalu menjalankan kode PyODPS di lingkungan tersebut. Untuk informasi lebih lanjut tentang custom image, lihat Custom images.

Gambar berikut menunjukkan cara mereferensikan resource. Reference a resource

Skenario 2: Gunakan resource untuk mendaftarkan fungsi

Sebelum menggunakan resource untuk mendaftarkan fungsi, Anda harus terlebih dahulu membuat fungsi tersebut. Untuk informasi lebih lanjut, lihat Buat dan gunakan user-defined function. Di halaman konfigurasi fungsi, masukkan nama resource yang telah Anda buat, seperti yang ditunjukkan pada gambar berikut.

Penting

Sebelum menggunakan resource untuk mendaftarkan fungsi, pastikan resource tersebut telah di-commit. Untuk informasi lebih lanjut tentang cara melakukan commit resource, lihat Langkah 2: Commit dan terapkan resource.

Use a resource to register a function

Untuk melihat fungsi bawaan MaxCompute, lihat Gunakan fungsi bawaan.

Untuk melihat fungsi yang ada di mesin komputasi MaxCompute, melihat riwayat perubahan fungsi, atau melakukan operasi terkait, lihat Manajemen fungsi MaxCompute.

Kelola resource

Di direktori resource di bawah alur kerja, klik kanan resource target untuk melakukan operasi manajemen:

View history: Lihat dan bandingkan versi resource yang disimpan atau di-commit untuk melihat perubahan antar versi berbeda.
Catatan
Saat membandingkan versi, Anda harus memilih minimal dua versi.
Delete resource: Operasi ini hanya menghapus resource dari proyek yang sesuai di lingkungan pengembangan. Untuk menghapus resource dari lingkungan produksi, Anda harus mempublikasikan task tersebut. Tindakan ini akan mempublikasikan operasi penghapusan ke lingkungan produksi. Setelah task dipublikasikan, resource akan dihapus dari lingkungan produksi. Untuk informasi lebih lanjut, lihat Publish a task.

Lampiran 1: Kelola resource menggunakan perintah

Tabel berikut menjelaskan perintah umum untuk operasi resource.

Jenis operasi	Fungsi	Peran	Platform operasi
Tambahkan Sumber Daya	Menambahkan resource ke proyek MaxCompute.	Pengguna yang memiliki izin Write pada resource.	Anda dapat menjalankan perintah dalam topik ini di platform berikut: Klien MaxCompute (odpscmd) Gunakan analisis SQL Cloud Shell (odpscmd) DataWorks MaxCompute Studio
Lihat Informasi Sumber Daya	Menampilkan informasi detail resource.	Pengguna yang memiliki izin Read pada resource.
Lihat Daftar Sumber Daya	Menampilkan semua resource di proyek saat ini.	Pengguna yang memiliki izin List pada objek dalam proyek.
Buat Alias untuk Sumber Daya	Membuat alias untuk resource.	Pengguna yang memiliki izin Write pada resource.
Unduh Sumber Daya	Mengunduh resource dari proyek MaxCompute ke mesin lokal Anda.	Pengguna yang memiliki izin Write pada resource.
Hapus Sumber Daya	Menghapus resource yang ada dari proyek MaxCompute.	Pengguna yang memiliki izin Delete pada resource.

Saat Anda melihat resource di DataWorks, jika Anda tidak menentukan nama proyek, resource di proyek saat ini akan ditampilkan secara default. Bagian berikut menjelaskan detailnya:

Lihat semua resource di proyek saat ini. Saat Anda menjalankan perintah ini di DataStudio, perintah tersebut mengakses mesin komputasi MaxCompute yang di-bind ke lingkungan pengembangan secara default.
```
list resources;
```

Lihat semua resource di proyek tertentu.

use MaxCompute_project_name;
list resources;

Untuk informasi lebih lanjut tentang operasi perintah, lihat Operasi resource.

Lampiran 2: Tambahkan resource ke DataWorks untuk dikelola

Anda dapat menggunakan fitur resource MaxCompute untuk memuat resource MaxCompute hingga 500 MB ke DataWorks guna mengelolanya secara visual. Untuk informasi lebih lanjut, lihat Manajemen resource MaxCompute.