Untuk menjalankan pekerjaan MaxCompute secara berkala, Anda dapat menggunakan DataStudio di konsol DataWorks untuk mengembangkan pekerjaan yang berjalan pada node otomatis dan mengonfigurasi parameter terkait seperti properti waktu dan dependensi penjadwalan. Setelah itu, Anda dapat menyerahkan pekerjaan MaxCompute ke Pusat Operasi DataWorks untuk penjadwalan berkala. Topik ini menjelaskan cara mengembangkan pekerjaan terjadwal secara berkala di konsol DataWorks.
Alur kerja pengembangan
- Berbagai jenis pekerjaan dapat berjalan pada berbagai jenis node, seperti node ODPS SQL, node ODPS Spark, dan node PyODPS.
- Di konsol DataWorks, Anda dapat membuat tabel MaxCompute, mendaftarkan fungsi MaxCompute dengan DataWorks, dan membuat sumber daya MaxCompute, sehingga meningkatkan efisiensi pengembangan pekerjaan.
- Anda juga dapat menggunakan node umum di konsol DataWorks untuk mengimplementasikan logika pekerjaan yang kompleks, seperti loop dan penelusuran.
Penagihan
Jika Anda menggunakan DataWorks DataStudio dan Pusat Operasi untuk membaca atau menulis data ke MaxCompute, memproses data MaxCompute, atau menjadwalkan tugas MaxCompute secara berkala, Anda akan dikenakan biaya tidak hanya untuk sumber daya DataWorks tetapi juga untuk sumber daya layanan Alibaba Cloud lainnya.
1. Biaya untuk sumber daya DataWorks
Bagian ini menjelaskan biaya yang termasuk dalam tagihan DataWorks Anda. Untuk informasi tentang item yang dapat ditagih dari DataWorks, lihat Ikhtisar Penagihan.
Biaya | Deskripsi |
Biaya untuk Edisi DataWorks yang Digunakan | Anda harus mengaktifkan DataWorks sebelum dapat mengembangkan tugas di DataWorks. Jika Anda mengaktifkan DataWorks Edisi Standar, Edisi Profesional, atau Edisi Perusahaan, Anda akan dikenakan biaya untuk edisi tersebut saat pembelian. |
Biaya untuk Sumber Daya Penjadwalan yang Digunakan untuk Menjadwalkan Tugas | Setelah tugas dikembangkan, sumber daya penjadwalan diperlukan untuk menjadwalkan tugas. Anda dapat membeli grup sumber daya tanpa server atau grup sumber daya eksklusif versi lama untuk penjadwalan, dan membayar untuk grup sumber daya tersebut. Kami merekomendasikan agar Anda membeli grup sumber daya tanpa server. Catatan Grup sumber daya tanpa server yang dibeli dapat digunakan untuk penjadwalan tugas dan sinkronisasi data. |
Biaya untuk Sumber Daya yang Digunakan untuk Menyinkronkan Data | Tugas sinkronisasi data mengonsumsi sumber daya penjadwalan dan sumber daya sinkronisasi. Anda dapat membeli grup sumber daya tanpa server atau grup sumber daya eksklusif versi lama untuk Integrasi Data, dan membayar untuk grup sumber daya tersebut. Kami merekomendasikan agar Anda membeli grup sumber daya tanpa server. |
Anda tidak dikenakan biaya penjadwalan jika Anda menjalankan tugas pada node dengan mengklik Jalankan atau Jalankan dengan Parameter di bilah alat atas pada halaman DataStudio.
Anda tidak dikenakan biaya penjadwalan untuk tugas yang gagal atau tugas uji coba kering.
Untuk informasi lebih lanjut yang membantu Anda memahami detail penagihan, lihat Logika Penerbitan Tugas Penjadwalan di DataWorks.
2. Biaya untuk sumber daya layanan Alibaba Cloud lainnya
Bagian ini menjelaskan biaya yang tidak termasuk dalam tagihan DataWorks Anda. Anda juga mungkin dikenakan biaya untuk sumber daya layanan Alibaba Cloud lainnya yang digunakan untuk mengembangkan dan menjalankan tugas di DataWorks.
Anda dikenakan biaya untuk sumber daya layanan Alibaba Cloud lainnya berdasarkan logika penagihan layanan Alibaba Cloud. Untuk informasi lebih lanjut, lihat dokumentasi penagihan layanan Alibaba Cloud. Sebagai contoh, untuk informasi tentang detail penagihan mesin komputasi MaxCompute yang Anda gunakan, lihat Item yang Dapat Ditagih dari MaxCompute.
Biaya | Deskripsi |
Biaya basis data | Saat Anda menjalankan tugas sinkronisasi data untuk membaca data dari dan menulis data ke basis data, biaya basis data mungkin dihasilkan. |
Biaya komputasi dan penyimpanan | Saat Anda menjalankan tugas dari jenis mesin komputasi tertentu, biaya komputasi dan penyimpanan untuk jenis mesin komputasi tersebut mungkin dihasilkan. Sebagai contoh, jika Anda menjalankan tugas pada node ODPS SQL untuk membuat tabel MaxCompute dan menulis data ke tabel MaxCompute, Anda mungkin dikenakan biaya untuk sumber daya komputasi dan penyimpanan mesin komputasi MaxCompute. |
Biaya layanan jaringan | Saat Anda membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, biaya layanan jaringan mungkin dihasilkan. Sebagai contoh, jika Anda menggunakan layanan seperti Express Connect, Elastic IP Address (EIP), dan Bandwidth Internet Bersama, untuk membangun koneksi jaringan antara DataWorks dan layanan terkait lainnya, Anda mungkin dikenakan biaya layanan jaringan. |
Manajemen izin
DataWorks menyediakan sistem manajemen izin yang komprehensif bagi Anda untuk mengelola izin tingkat produk dan izin tingkat modul. Di konsol DataWorks, Anda dapat meminta izin pada sumber data MaxCompute atau memproses permintaan untuk mengakses sumber data MaxCompute. Detail manajemen izin:
1. Manajemen izin akses data
Anda dapat menggunakan node ODPS SQL atau kueri ad hoc untuk menanyakan data dalam tabel MaxCompute. Jika Anda menggunakan workspace DataWorks dalam mode dasar, manajemen izin granular dan isolasi data antara lingkungan pengembangan dan produksi tidak didukung. Dalam topik ini, workspace DataWorks dalam mode standar digunakan.
Deskripsi Izin Peran Tingkat Workspace Bawaan pada MaxCompute
Tabel berikut menjelaskan izin pengguna RAM pada MaxCompute setelah pengguna RAM ditambahkan ke workspace sebagai anggota dan diberi peran tingkat workspace.
Jenis Izin
Deskripsi
Izin pada Proyek MaxCompute di Lingkungan Pengembangan
Setelah Anda memberikan pengguna RAM peran tingkat workspace bawaan di workspace Anda dan mengaitkan Proyek MaxCompute dengan workspace di lingkungan pengembangan, pengguna RAM secara otomatis diberikan izin peran yang dipetakan dari Proyek MaxCompute di lingkungan pengembangan. Namun, pengguna RAM tidak memiliki izin pada Proyek MaxCompute di lingkungan produksi.
Izin pada Proyek MaxCompute di Lingkungan Produksi
Pengguna RAM yang digunakan sebagai identitas akses penjadwalan memiliki izin tinggi pada Proyek MaxCompute di lingkungan produksi. Pengguna RAM lainnya tidak memiliki izin pada Proyek MaxCompute di lingkungan produksi. Untuk melakukan operasi pada tabel MaxCompute di lingkungan produksi, Anda harus pergi ke Pusat Keamanan untuk meminta izin yang diperlukan.
DataWorks menyediakan prosedur pemrosesan permintaan default. DataWorks juga memungkinkan pengguna yang diberi izin manajemen untuk menyesuaikan prosedur pemrosesan permintaan.
Untuk informasi lebih lanjut tentang manajemen izin untuk MaxCompute, lihat Kelola Izin pada Data di Instance Mesin Komputasi MaxCompute.
Deskripsi Perilaku Akses Data
MaxCompute memungkinkan Anda menanyakan tabel lintas proyek. Anda dapat menanyakan data dalam Proyek MaxCompute yang dikaitkan dengan workspace di lingkungan produksi dengan menentukan nama proyek pada halaman DataStudio. Tabel berikut menjelaskan metode untuk menanyakan tabel lintas proyek dan akun yang dapat digunakan untuk mengakses tabel di lingkungan yang berbeda.
CatatanDi bagian Informasi Mesin Komputasi halaman Workspace, Anda dapat melihat Proyek MaxCompute yang dikaitkan dengan workspace di lingkungan pengembangan dan produksi serta akun yang digunakan untuk mengonfigurasi lingkungan untuk Proyek MaxCompute. Untuk informasi lebih lanjut tentang cara menambahkan sumber data MaxCompute, lihat Tambahkan Sumber Data MaxCompute.
Untuk workspace dalam mode standar, identitas pribadi pelaksana tugas digunakan secara default untuk menjalankan tugas MaxCompute di lingkungan pengembangan, dan akun Alibaba Cloud digunakan sebagai identitas akses penjadwalan untuk menjalankan tugas MaxCompute di lingkungan produksi. Untuk informasi lebih lanjut, lihat Tambahkan Sumber Data MaxCompute.
Kode Sampel
Akun Eksekusi di Lingkungan Pengembangan (DataStudio dan Pusat Operasi di Lingkungan Pengembangan)
Akun Eksekusi di Lingkungan Produksi (Pusat Operasi di Lingkungan Produksi)
Akses tabel dalam Proyek MaxCompute di lingkungan pengembangan:
select col1 from projectname_dev.tablename;Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan pengembangan.
Jika pengguna RAM menjalankan tugas, akun Alibaba Cloud pribadi pengguna RAM digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan pengembangan.
Jika akun Alibaba Cloud digunakan untuk menjalankan tugas, akun Alibaba Cloud tersebut digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan pengembangan.
Identitas akses penjadwalan digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan pengembangan.
Akses tabel dalam Proyek MaxCompute di lingkungan produksi:
select col1 from projectname.tablename;Akun Alibaba Cloud pribadi pelaksana tugas digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan produksi.
CatatanKarena kontrol keamanan pada data di lingkungan produksi, akun Alibaba Cloud pribadi tidak dapat digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan produksi. Untuk menggunakan akun Alibaba Cloud pribadi untuk mengakses tabel dalam Proyek MaxCompute di lingkungan produksi, pergi ke Pusat Keamanan untuk meminta izin. DataWorks menyediakan prosedur pemrosesan permintaan default. DataWorks juga memungkinkan pengguna yang diberi izin manajemen untuk menyesuaikan prosedur pemrosesan permintaan.
Identitas akses penjadwalan digunakan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan produksi.
Jalankan pernyataan berikut dalam Proyek MaxCompute di lingkungan yang diinginkan seperti lingkungan pengembangan untuk mengakses tabel dalam Proyek MaxCompute:
select col1 from tablename;Anda dapat menggunakan akun Alibaba Cloud pribadi pelaksana tugas untuk mengakses tabel dalam Proyek MaxCompute di lingkungan pengembangan.
Anda dapat menggunakan identitas akses penjadwalan untuk mengakses tabel dalam Proyek MaxCompute di lingkungan produksi.
2. Manajemen izin pada layanan dan fitur
Sebelum Anda mengembangkan data di DataWorks sebagai pengguna RAM, Anda harus memberikan peran tingkat workspace kepada pengguna RAM untuk memberikan izin tertentu kepada pengguna RAM. Untuk informasi lebih lanjut, lihat Praktik Terbaik untuk Mengelola Izin Pengguna RAM.
Anda dapat menggunakan Otorisasi Berbasis Kebijakan RAM untuk mengelola izin pada modul layanan DataWorks, seperti melarang pengguna DataWorks mengakses Peta Data, dan untuk mengelola izin melakukan operasi di konsol DataWorks, seperti mengizinkan pengguna DataWorks menghapus workspace.
Anda dapat menggunakan kontrol akses berbasis peran (RBAC) untuk mengelola izin pada modul layanan tingkat workspace DataWorks, seperti mengizinkan pengguna DataWorks mengakses DataStudio untuk melakukan operasi terkait pengembangan, dan untuk mengelola izin pada modul layanan tingkat global DataWorks, seperti melarang pengguna DataWorks mengakses Penjaga Keamanan Data.
