Untuk menggunakan sumber daya MaxCompute dalam kode atau fungsi Anda, Anda harus membuat sumber daya di ruang kerja atau mengunggah sumber daya yang ada sebelum merujuknya. Anda dapat menjalankan perintah SQL MaxCompute untuk mengunggah sumber daya. Anda juga dapat membuat atau mengunggah sumber daya di konsol DataWorks. Topik ini menjelaskan cara membuat sumber daya MaxCompute dan menggunakannya di node di konsol DataWorks, serta cara mendaftarkan fungsi berdasarkan sumber daya tersebut.
Informasi latar belakang
Sumber daya adalah konsep spesifik untuk MaxCompute. Untuk menjalankan pekerjaan dengan menggunakan fungsi yang ditentukan pengguna (UDF) atau MapReduce di MaxCompute, Anda harus mengunggah sumber daya yang diperlukan. Untuk informasi lebih lanjut tentang sumber daya, lihat Sumber Daya. Anda dapat mengunggah paket sumber daya yang dikembangkan di mesin lokal Anda atau disimpan di Object Storage Service (OSS) ke DataWorks, atau membuat sumber daya langsung di konsol DataWorks. Sumber daya tersebut dapat dibaca dan digunakan oleh UDF dan pekerjaan MapReduce. Tabel berikut menjelaskan jenis-jenis sumber daya yang didukung oleh DataWorks.
Jenis Sumber Daya | Deskripsi | Metode Pembuatan |
Python | Kode Python yang Anda tulis. Anda dapat menggunakan kode Python untuk mendaftarkan UDF Python. Nama sumber daya jenis ini harus diakhiri dengan .py. | Buat sumber daya di konsol DataWorks |
JAR | Paket JAR yang telah dikompilasi yang digunakan untuk menjalankan program Java. Nama sumber daya jenis ini harus diakhiri dengan .jar. |
|
Archive | Paket terkompresi dalam salah satu format berikut: .zip, .tgz, .tar.gz, .tar, dan .jar. Anda dapat menentukan tipe kompresi berdasarkan ekstensi nama file. |
|
File | File dalam salah satu format berikut: .zip, .so, dan .jar. |
|
Prosedur untuk membuat dan menggunakan sumber daya di konsol DataWorks:
Untuk informasi lebih lanjut tentang cara mengelola sumber daya dan melakukan operasi lainnya pada sumber daya, lihat Kelola Sumber Daya, Kelola Sumber Daya Menggunakan Perintah, dan Tambahkan Sumber Daya yang Sesuai ke DataWorks untuk Manajemen.
Prasyarat
Sumber daya komputasi MaxCompute telah dihubungkan dengan DataStudio.
Alur kerja telah dibuat. DataWorks menggunakan alur kerja untuk menyimpan sumber daya. Anda harus membuat alur kerja sebelum membuat sumber daya. Untuk informasi tentang cara membuat alur kerja, lihat Buat Alur Kerja.
Node telah dibuat. Sumber daya yang dibuat harus dirujuk oleh node. Anda harus membuat node berdasarkan kebutuhan bisnis Anda sebelum dapat merujuk sumber daya. Untuk informasi tentang cara membuat node, lihat Node Mesin Komputasi.
Opsional. Persyaratan berikut harus dipenuhi jika Anda ingin mengunggah file dari OSS:
OSS telah diaktifkan, Bucket OSS telah dibuat, dan file yang ingin Anda unggah disimpan di Bucket OSS. Untuk informasi lebih lanjut, lihat Buat Bucket dan Unggah Sederhana.
Akun Alibaba Cloud yang ingin Anda gunakan untuk mengunggah data diberikan izin untuk mengakses Bucket OSS. Untuk informasi tentang cara memberikan izin kepada akun, lihat Kontrol Akses.
Batasan
Ukuran Sumber Daya
Anda dapat langsung membuat sumber daya Python dengan ukuran maksimum 200 MB di konsol DataWorks. Anda dapat membuat sumber daya file dengan ukuran maksimum 500 KB jika Anda memilih Online Editing untuk sumber daya tersebut.
Anda dapat mengunggah file dengan ukuran maksimum 500 MB dari mesin lokal Anda ke DataWorks sebagai sumber daya.
Anda dapat mengunggah objek OSS dengan ukuran maksimum 500 MB ke DataWorks sebagai sumber daya.
Penyebaran Sumber Daya
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menyebarkan sumber daya ke lingkungan produksi. Dengan cara ini, sumber daya dapat digunakan oleh proyek di lingkungan produksi.
CatatanAda perbedaan antara sumber daya komputasi yang digunakan di lingkungan pengembangan dan produksi. Sebelum menanyakan tabel, sumber daya, atau melakukan operasi lainnya di lingkungan tertentu, pastikan bahwa konfigurasi sumber daya komputasi untuk lingkungan tersebut benar. Untuk detail lebih lanjut, lihat DataStudio (versi lama): Hubungkan Sumber Daya Komputasi MaxCompute.
Manajemen Sumber Daya
DataWorks memungkinkan Anda melihat dan mengelola sumber daya yang diunggah menggunakan konsol DataWorks. Jika Anda menambahkan sumber daya ke MaxCompute menggunakan alat lain seperti MaxCompute Studio, Anda harus menggunakan fitur MaxCompute resource di DataStudio DataWorks untuk memuat sumber daya secara manual ke DataWorks. Kemudian, Anda dapat melihat dan mengelola sumber daya di DataWorks. Untuk informasi lebih lanjut, lihat Kelola Sumber Daya MaxCompute.
Penagihan
Anda tidak dikenakan biaya untuk membuat dan mengunggah sumber daya di DataWorks. Namun, Anda dikenakan biaya untuk penyimpanan data dan pencadangan di MaxCompute. Untuk informasi lebih lanjut, lihat Biaya Penyimpanan.
Pergi ke titik masuk untuk membuat sumber daya
Pergi ke halaman DataStudio.
Masuk ke konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Pergi ke titik masuk untuk membuat sumber daya.
Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, pilih Create Resource, dan kemudian pilih jenis sumber daya di bawah MaxCompute.
Di alur kerja tertentu pada halaman DataStudio, Anda dapat membuat sumber daya, mengunggah sumber daya yang ada dari mesin lokal Anda, atau mengunggah sumber daya yang ada dari OSS. Anda dapat memilih metode berdasarkan GUI untuk setiap jenis sumber daya.
CatatanJika tidak ada alur kerja yang tersedia, buat satu. Untuk informasi tentang cara membuat alur kerja, lihat Buat Alur Kerja.
Langkah 1: Buat sumber daya atau unggah sumber daya yang ada
DataWorks memungkinkan Anda mengunggah paket sumber daya yang dikembangkan di mesin lokal Anda dan paket sumber daya yang disimpan di OSS ke DataWorks. Misalnya, untuk mengunggah UDF yang dikembangkan di mesin lokal Anda ke DataWorks, Anda harus mengemas UDF terlebih dahulu. Kemudian, Anda dapat mendaftarkan UDF di DataWorks. Anda juga dapat membuat sumber daya jenis tertentu di konsol DataWorks. Misalnya, Anda dapat membuat sumber daya Python atau sumber daya file yang ukurannya tidak lebih dari 500 KB.
Perhatikan item berikut:
Jika Anda membuat atau mengunggah sumber daya yang belum pernah diunggah ke MaxCompute, Anda harus memilih Upload to MaxCompute. Jika sumber daya telah diunggah ke MaxCompute, kosongkan Upload to MaxCompute. Jika tidak, kesalahan akan dilaporkan saat Anda mengunggah sumber daya.
Jika Anda memilih Upload to MaxCompute saat Anda membuat atau mengunggah sumber daya, sumber daya tersebut disimpan di DataWorks dan MaxCompute setelah sumber daya dibuat atau diunggah. Jika Anda menjalankan perintah untuk menghapus sumber daya dari MaxCompute nanti, sumber daya yang disimpan di DataWorks masih ada dan ditampilkan secara normal.
Nama sumber daya dapat berbeda dari nama file yang diunggah.
Metode 1: Buat sumber daya di konsol DataWorks
Gambar berikut menunjukkan konfigurasi untuk membuat sumber daya di konsol DataWorks. Anda dapat mengonfigurasi informasi tentang berbagai jenis sumber daya berdasarkan kebutuhan bisnis Anda.
Untuk sumber daya Python yang ukurannya lebih besar dari 200 MB, gunakan Metode 2 atau Metode 3 untuk mengunggah sumber daya dari OSS ke DataWorks.
Untuk sumber daya file yang ukurannya lebih besar dari 500 KB, gunakan Metode 2 atau Metode 3 untuk mengunggah file dari mesin lokal Anda atau OSS ke DataWorks.
Untuk informasi tentang cara membuat sumber daya Python di konsol DataWorks dan mendaftarkan fungsi menggunakan sumber daya Python, lihat Gunakan MaxCompute untuk Menanyakan Lokasi GeografisAlamat IP.
Metode 2: Unggah sumber daya dari mesin lokal Anda
Gambar berikut menunjukkan konfigurasi untuk mengunggah sumber daya dari mesin lokal Anda ke DataWorks. Anda dapat mengonfigurasi informasi tentang berbagai jenis sumber daya berdasarkan kebutuhan bisnis Anda.
Metode 3: Unggah sumber daya dari OSS
Gambar berikut menunjukkan konfigurasi untuk mengunggah sumber daya dari OSS ke DataWorks. Anda dapat mengonfigurasi informasi tentang berbagai jenis sumber daya berdasarkan kebutuhan bisnis Anda.
Anda dapat menggunakan metode ini untuk mengunggah sumber daya yang ukurannya tidak lebih dari 500 MB dari OSS.
Anda harus mengikuti petunjuk di layar untuk menetapkan peran AliyunDataWorksAccessingOSSRole ke akun Alibaba Cloud yang ingin Anda gunakan untuk mengunggah data.
Langkah 2: Komit dan terapkan sumber daya
Setelah Anda membuat sumber daya, Anda dapat mengklik ikon 
di bilah alat atas pada tab konfigurasi sumber daya untuk mengomitm sumber daya ke lingkungan pengembangan.
Jika node di lingkungan produksi perlu menggunakan sumber daya, Anda juga harus menyebarkan sumber daya ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node.
Langkah 3: Gunakan sumber daya
Skenario 1: Aktifkan node untuk menggunakan sumber daya
Setelah Anda membuat sumber daya di konsol DataWorks, sumber daya tersebut harus dirujuk oleh node. Setelah sumber daya dirujuk, kode dalam format @resource_reference{"Nama Sumber Daya"} ditampilkan. Format tampilan kode bervariasi berdasarkan jenis node yang merujuk sumber daya. Misalnya, kode dalam format ##@resource_reference{"Nama Sumber Daya"} ditampilkan jika node PyODPS 2 merujuk sumber daya.
Jika tidak ada node yang tersedia, buat satu. Untuk informasi tentang cara membuat node, lihat Node Mesin Komputasi.
Pelaksanaan kode PyODPS bergantung pada paket pihak ketiga. Anda harus menggunakan gambar kustom untuk menginstal paket yang diperlukan di lingkungan runtime, dan kemudian menjalankan kode PyODPS di lingkungan runtime. Untuk informasi lebih lanjut tentang gambar kustom, lihat Kelola Gambar.
Gambar berikut menunjukkan langkah-langkah referensi.
Skenario 2: Gunakan sumber daya untuk mendaftarkan fungsi
Sebelum Anda dapat menggunakan sumber daya untuk mendaftarkan fungsi, Anda harus membuat fungsi MaxCompute dengan mengikuti instruksi yang dijelaskan di Buat dan Gunakan UDF MaxCompute. Pada tab konfigurasi fungsi, Anda harus memasukkan nama sumber daya yang diinginkan, seperti yang ditunjukkan pada gambar berikut.
Sebelum Anda menggunakan sumber daya untuk mendaftarkan fungsi, pastikan bahwa sumber daya telah dikomit. Untuk informasi tentang cara mengomit sumber daya, lihat bagian Langkah 2: Komit dan Terapkan Sumber Daya dalam topik ini.
Untuk informasi tentang fungsi bawaan yang disediakan oleh MaxCompute, lihat Gunakan Fungsi Bawaan.
Untuk informasi tentang cara melihat fungsi dalam sumber daya komputasi MaxCompute dan riwayat perubahan fungsi, serta cara melakukan operasi lainnya pada fungsi, lihat Kelola Fungsi MaxCompute.
Kelola sumber daya
Di direktori Sumber Daya dari alur kerja tempat sumber daya yang dibuat dimiliki, Anda dapat mengklik kanan nama sumber daya dan memilih opsi untuk melakukan operasi yang sesuai pada sumber daya.
Lihat Versi Sebelumnya: Anda dapat melihat versi sumber daya yang disimpan atau dikomit dan membandingkan perubahan pada sumber daya antara versi yang berbeda.
CatatanSaat Anda membandingkan versi sumber daya, Anda harus memilih setidaknya dua versi untuk perbandingan.
Hapus: Anda dapat menghapus sumber daya. Hanya sumber daya yang digunakan oleh sumber data yang ditambahkan ke ruang kerja di lingkungan pengembangan yang dapat dihapus. Jika Anda ingin menghapus sumber daya dari ruang kerja di lingkungan produksi, Anda harus menyebarkan operasi penghapusan sumber daya di lingkungan pengembangan ke lingkungan produksi agar penghapusan berlaku di lingkungan produksi. Setelah operasi diterapkan, sumber daya dapat dihapus dari ruang kerja di lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node.
Lampiran 1: Kelola sumber daya menggunakan perintah
Tabel berikut menjelaskan operasi sumber daya umum.
Operasi | Deskripsi | Dilakukan oleh | Platform Operasi |
Menambahkan sumber daya ke proyek MaxCompute. | Pengguna yang memiliki izin Tulis pada sumber daya | Anda dapat menjalankan perintah yang dijelaskan dalam topik ini di platform berikut: | |
Menampilkan informasi rinci tentang sumber daya. | Pengguna yang memiliki izin Baca pada sumber daya | ||
Menampilkan semua sumber daya di proyek saat ini. | Pengguna yang memiliki izin Daftar pada objek di proyek | ||
Membuat alias untuk sumber daya. | Pengguna yang memiliki izin Tulis pada sumber daya | ||
Mengunduh sumber daya di proyek MaxCompute ke mesin lokal Anda. | Pengguna yang memiliki izin Tulis pada sumber daya | ||
Menghapus sumber daya yang ada dari proyek MaxCompute. | Pengguna yang memiliki izin Hapus pada sumber daya |
Jika Anda tidak menentukan nama proyek saat melihat sumber daya di DataWorks, secara default Anda dapat melihat sumber daya di proyek saat ini di lingkungan pengembangan.
Lihat semua sumber daya di proyek saat ini. Secara default, Anda dapat menjalankan perintah berikut di DataStudio untuk melihat semua sumber daya di proyek MaxCompute saat ini di lingkungan pengembangan:
list resources;Lihat semua sumber daya di proyek tertentu.
use Nama Proyek MaxCompute; list resources;
Untuk informasi lebih lanjut, lihat Operasi Sumber Daya.
Lampiran 2: Tambahkan sumber daya yang sesuai ke DataWorks untuk manajemen
Anda dapat menggunakan fitur sumber daya MaxCompute di DataStudio untuk memuat sumber daya MaxCompute yang ukurannya tidak lebih dari 200 MB ke DataWorks untuk manajemen visual. Untuk informasi lebih lanjut, lihat Kelola Sumber Daya MaxCompute.