DataWorks menyediakan berbagai jenis node MaxCompute serta konfigurasi penjadwalan yang fleksibel untuk pengembangan task. Topik ini menjelaskan cara membuat dan mengelola node MaxCompute.
Prasyarat
Akun Anda harus ditambahkan ke ruang kerja dengan peran Development atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas—berikan dengan hati-hati. Tambahkan anggota ruang kerja.
Buat node MaxCompute
Login ke Konsol DataWorks. Di Wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Ikat resource komputasi MaxCompute ke ruang kerja dan buat alur kerja.
Di Data Studio, alur kerja mengorganisasi pengembangan berdasarkan mesin komputasi. Buat alur kerja sebelum membuat node.
-
Contoh berikut menggunakan node ODPS SQL.
-
Klik kanan alur kerja dan pilih . Atau, klik Create di bilah menu atas dan ikuti petunjuknya.
PentingJika opsi tidak tersedia, klik Computing Resource di panel navigasi sebelah kiri untuk memverifikasi bahwa resource komputasi MaxCompute telah diikat. Ikat resource tersebut dan refresh halaman sebelum membuat node MaxCompute.
-
Pada kotak dialog, masukkan nama node dan klik OK. Editor node akan terbuka untuk pengembangan dan konfigurasi task.
-
Kembangkan task MaxCompute
Tabel berikut mencantumkan jenis node MaxCompute yang didukung.
-
Menjalankan task MaxCompute akan menampilkan perkiraan biaya. MaxCompute mengenakan biaya ini, dan jumlah aktual akan muncul pada Tagihan Anda. Item dan metode penagihan MaxCompute.
-
Kesalahan perkiraan biaya biasanya berarti tabel tidak ada atau Anda tidak memiliki izin yang diperlukan. Anda dapat mengabaikan kesalahan tersebut dan menanganinya saat node dijalankan.
|
Type |
Scenario |
Guide |
|
ODPS SQL |
Mengembangkan task MaxCompute SQL. |
|
|
SQL Snippet |
Mengembangkan task MaxCompute SQL. Ketika beberapa prosedur SQL memiliki logika serupa tetapi mereferensi tabel berbeda dengan struktur identik atau kompatibel, Anda dapat mengabstraksi logika umum tersebut menjadi SQL Snippet dan memparametrisasi tabel input dan output untuk digunakan kembali. |
|
|
PyODPS 3 |
Mengembangkan task MaxCompute PyODPS. Node PyODPS 3 berbasis Python 3. |
|
|
PyODPS 2 |
Mengembangkan task MaxCompute PyODPS. Node PyODPS 2 berbasis Python 2. |
|
|
ODPS Spark |
Mengembangkan task MaxCompute Spark. |
|
|
ODPS Script |
Mengembangkan task skrip MaxCompute SQL. |
|
|
ODPS MR |
Mengembangkan task MaxCompute MapReduce. |
Buat tabel, resource, dan fungsi
Selain pengembangan task, DataWorks mendukung pembuatan tabel, resource, dan fungsi untuk efisiensi yang lebih tinggi.
-
Kemampuan tabel MaxCompute: Gunakan antarmuka GUI DataWorks untuk membuat, melihat, dan mengelola tabel. Buat dan gunakan tabel MaxCompute dan Manajemen tabel.
-
Kemampuan fungsi dan resource MaxCompute:
-
Fungsi bawaan MaxCompute tersedia langsung di DataWorks. Gunakan fungsi bawaan.
-
Anda dapat membuat UDF sebagai resource MaxCompute dan mendaftarkannya sebagai fungsi untuk digunakan langsung dalam task. Buat dan gunakan resource MaxCompute dan Buat dan gunakan user-defined function.
-
Anda dapat mengunggah paket resource lokal atau membuat resource langsung di DataWorks.
Jenis resource yang didukung meliputi file teks, kode Python, dan paket terkompresi (.zip, .tgz, .tar.gz, .tar, dan .jar). UDF dan job MapReduce dapat membaca resource ini selama eksekusi. Buat dan gunakan resource MaxCompute.
-
Langkah selanjutnya
Setelah pengembangan, lanjutkan dengan operasi berikut:
-
Konfigurasi penjadwalan: Konfigurasikan properti penjadwalan periodik seperti pengaturan rerun dan dependensi untuk task yang dijalankan secara berkala. Ikhtisar konfigurasi penjadwalan task.
-
Debugging task: Uji dan jalankan kode node untuk memverifikasi logikanya. Proses debugging task.
-
Penerapan task: Terapkan node agar dijalankan secara periodik sesuai konfigurasi penjadwalannya. Terapkan task.