DataWorks menyediakan berbagai jenis node MaxCompute untuk membantu Anda mengembangkan berbagai tugas MaxCompute, serta menawarkan beragam konfigurasi penjadwalan guna mendukung penjadwalan tugas yang fleksibel. Topik ini menjelaskan cara membuat dan mengelola node MaxCompute.
Lingkup
Akun yang digunakan untuk mengembangkan tugas MaxCompute harus ditambahkan ke ruang kerja dan diberi peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, sehingga harus diberikan dengan hati-hati. Untuk informasi selengkapnya tentang cara menambahkan anggota, lihat Tambahkan anggota ke ruang kerja.
Buat node MaxCompute
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Development.
Sambungkan mesin komputasi MaxCompute ke ruang kerja dan buat alur kerja.
Di Data Development (DataStudio), alur kerja digunakan untuk mengorganisasi tugas pengembangan dari berbagai mesin komputasi. Anda harus membuat alur kerja sebelum dapat membuat node.
Langkah-langkah berikut menjelaskan cara membuat node menggunakan contoh node ODPS SQL.
Klik kanan alur kerja, lalu pilih . Anda juga dapat mengklik tombol New di bagian atas halaman dan mengikuti petunjuk di layar untuk membuat node MaxCompute.
PentingJika jalur tidak ditampilkan di halaman Data Development, klik Compute Engines di panel navigasi kiri untuk memverifikasi bahwa mesin komputasi MaxCompute telah disambungkan. Anda harus menyambungkan mesin komputasi MaxCompute terlebih dahulu, lalu refresh halaman sebelum dapat membuat node MaxCompute.
Pada kotak dialog yang muncul, masukkan nama untuk node tersebut, lalu klik Confirm. Setelah node dibuat, Anda dapat mengembangkan dan mengonfigurasi tugas MaxCompute di editor node.
Kembangkan tugas MaxCompute
DataWorks mendukung berbagai jenis node MaxCompute yang dapat digunakan untuk mengembangkan tugas MaxCompute.
Saat menjalankan tugas MaxCompute, estimasi biaya akan ditampilkan sebagai referensi. Biaya aktual yang dikenakan oleh MaxCompute mengacu pada Tagihan Anda. Untuk informasi selengkapnya tentang penagihan, lihat Item yang dikenai biaya dan metode penagihan.
Jika terjadi error selama estimasi biaya, kemungkinan karena tabel tidak ada atau Anda tidak memiliki izin yang diperlukan. Anda dapat mengabaikan error ini dan menanganinya berdasarkan pesan error spesifik yang muncul setelah menjalankan node.
Jenis node | Skenario penggunaan | Panduan pengembangan tugas |
ODPS SQL | Kembangkan tugas MaxCompute SQL. | |
SQL Script Template | Kembangkan tugas MaxCompute SQL. Dalam praktiknya, banyak proses kode SQL yang serupa. Struktur tabel input dan output sama atau kompatibel, tetapi nama tabel berbeda. Dalam kasus ini, Anda dapat mengabstraksikan proses SQL menjadi node Template skrip SQL. Tabel input variabel diabstraksikan sebagai parameter permintaan, dan tabel output variabel diabstraksikan sebagai parameter respons. Hal ini memungkinkan Anda menggunakan ulang kode SQL tersebut. | |
PyODPS 3 | Kembangkan tugas PyODPS untuk MaxCompute. Bahasa dasar node PyODPS 3 adalah Python 3. | |
PyODPS 2 | Kembangkan tugas PyODPS untuk MaxCompute. Bahasa dasar node PyODPS 2 adalah Python 2. | |
ODPS Spark | Kembangkan tugas MaxCompute Spark. | |
ODPS Script | Kembangkan tugas skrip MaxCompute SQL. | |
ODPS MR | Kembangkan tugas MaxCompute MapReduce. |
Buat tabel, resource, dan fungsi
Selain kemampuan pengembangan tugas umum, DataWorks menyediakan dukungan untuk tabel, resource, dan fungsi guna membantu Anda mengembangkan tugas MaxCompute secara efisien.
Tabel MaxCompute: Anda dapat menggunakan antarmuka DataWorks untuk membuat tabel, melihat informasi tabel, dan mengelola tabel. Untuk informasi selengkapnya, lihat Buat dan gunakan tabel MaxCompute dan Kelola tabel.
Fungsi dan resource MaxCompute:
Saat mengembangkan tugas MaxCompute di DataWorks, Anda dapat langsung menggunakan fungsi bawaan MaxCompute. Untuk daftar fungsi bawaan MaxCompute yang tersedia, lihat Gunakan fungsi bawaan.
Anda dapat membuat user-defined function (UDF) sendiri sebagai resource MaxCompute di DataWorks dan mendaftarkannya sebagai fungsi MaxCompute. Selanjutnya, Anda dapat langsung memanggilnya saat mengembangkan tugas MaxCompute. Untuk informasi selengkapnya tentang penggunaan UDF, lihat Buat dan gunakan resource MaxCompute dan Buat dan gunakan user-defined function.
Anda dapat mengunggah paket resource yang dikembangkan secara lokal ke DataWorks atau membuat resource langsung di DataWorks.
DataWorks memungkinkan Anda mengunggah file teks, kode Python, dan paket terkompresi seperti .zip, .tgz, .tar.gz, .tar, dan .jar untuk digunakan sebagai berbagai jenis resource di MaxCompute. Anda dapat membaca dan menggunakan resource ini saat menjalankan UDF dan tugas MapReduce. Untuk informasi selengkapnya tentang cara mengunggah dan menggunakan resource, lihat Buat dan gunakan resource MaxCompute.
Langkah selanjutnya
Setelah mengembangkan tugas di dalam node, Anda dapat melakukan operasi berikut.
Konfigurasikan properti penjadwalan: Konfigurasikan properti penjadwalan periodik untuk node tersebut. Jika suatu tugas perlu dijalankan secara berkala, Anda harus mengonfigurasi propertinya, seperti properti rerun dan dependensi penjadwalan. Untuk informasi selengkapnya, lihat Ikhtisar properti penjadwalan tugas.
Debug tugas: Uji kode node untuk memverifikasi bahwa logika kode berjalan sesuai harapan. Untuk informasi selengkapnya, lihat Proses debugging tugas.
Publikasikan tugas: Setelah selesai mengembangkan tugas, publikasikan node tersebut. Setelah dipublikasikan, node akan dijalankan secara berkala sesuai konfigurasi penjadwalannya. Untuk informasi selengkapnya, lihat Publikasikan tugas.