MaxCompute：Gunakan kelompok kuota untuk sumber daya komputasi

Tentukan kelompok kuota default untuk sebuah proyek

Tentukan kelompok kuota pada tingkat pekerjaan

Anda dapat menambahkan perintah SET sebelum pernyataan SQL dari sebuah pekerjaan untuk menentukan kelompok kuota untuk pekerjaan tersebut. Fitur ini memeriksa apakah pemilik pekerjaan memiliki izin untuk menggunakan kelompok kuota. Bagian ini menjelaskan prosedurnya.

1. Buat kelompok kuota.

   Untuk informasi lebih lanjut tentang cara membuat kelompok kuota di konsol MaxCompute baru, lihat Konfigurasikan kuota.

   Catatan

   Kami merekomendasikan Anda menggunakan kombinasi huruf dan angka saat menentukan nama kelompok kuota. Nama kelompok kuota Cina yang ada masih dapat digunakan.

2. Berikan izin yang diperlukan.

   Secara default, semua akun Alibaba Cloud, pengguna RAM, dan peran tidak memiliki izin untuk menentukan kelompok kuota untuk sebuah pekerjaan. Akun hanya dapat digunakan untuk menentukan kelompok kuota setelah diberi izin yang diperlukan.

   1. Buat peran.

      1. Masuk ke atau Konsol MaxCompute. Pada bilah navigasi atas, pilih wilayah yang diinginkan.

      2. Di panel navigasi kiri, pilih Tenants > Peran.

      3. Di halaman Roles, klik Add Role.

      4. Dalam kotak dialog Add Role, konfigurasikan parameter Role Name dan masukkan isi kebijakan berikut:

         {
             "Statement": [{
                     "Action": [
                         "odps:List",
                         "odps:Usage"],
                     "Effect": "Allow",
                     "Resource": ["acs:odps:*:regions/*/quotas/*"]}],
             "Version": "1"
         }

         Tabel berikut menjelaskan parameter dalam kode contoh.

         Parameter	Deskripsi
         Action	Tindakan yang diizinkan atau ditolak. Anda dapat menentukan beberapa tindakan untuk operasi otorisasi tunggal berdasarkan kebutuhan bisnis Anda. Jika Anda menentukan beberapa tindakan, pisahkan tindakan-tindakan tersebut dengan koma (,). Untuk informasi lebih lanjut tentang tindakan yang didukung, lihat Izin MaxCompute. Catatan Untuk informasi lebih lanjut tentang parameter kebijakan, lihat Elemen dasar kebijakan.
         Resource	Rentang sumber daya yang diotorisasi. Konfigurasikan parameter ini dalam format ["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]. ["acs:odps:*:regions/*/quotas/*"] menentukan semua kelompok kuota di semua wilayah untuk penyewa saat ini. Anda dapat menentukan wilayah tertentu dan kelompok kuota tertentu berdasarkan kebutuhan bisnis Anda.

      5. Klik OK.

   2. Tetapkan peran yang Anda buat ke akun yang ingin Anda gunakan untuk menentukan kelompok kuota pada tingkat pekerjaan.

      Catatan

      Secara default, akun Alibaba Cloud atau pengguna RAM yang ditetapkan peran Super_Administrator tingkat penyewa dapat melakukan operasi otorisasi.

      Operasi otorisasi bervariasi berdasarkan jenis objek yang diberi izin.

      • Akun Alibaba Cloud

        Untuk memberikan izin kepada akun Alibaba Cloud, jalankan perintah berikut:

        -- Tambahkan akun Alibaba Cloud ke penyewa saat ini dan tetapkan peran yang ditentukan ke akun Alibaba Cloud.
        Add tenant user <Aliyun$xxxx>;
        Grant tenant role <role_name> to user <Aliyun$xxxx>;
        -- Lihat izin peran tingkat penyewa atau pengguna.
        Show grants for tenant role <role_name>;
        Show grants for tenant user <user_name>;
        Show principals for tenant [role] <role_name>;

      • Pengguna RAM

        1. Di panel navigasi kiri Konsol MaxCompute, pilih Tenants > Users.

        2. Di halaman Pengguna, temukan pengguna RAM yang diperlukan dan klik Modify Role di kolom Actions.

        3. Di kotak dialog Edit Role, pilih peran yang diperlukan di bagian Available Roles untuk menambahkan peran ke bagian Added Roles.

        4. Klik OK.

3. Tentukan kuota untuk sebuah pekerjaan.

   Tambahkan perintah berikut sebelum pernyataan SQL pekerjaan untuk menentukan kuota yang dibuat sebelumnya untuk pekerjaan tersebut:

   set odps.task.wlm.quota=<quotaname>; 

   quotaname menentukan nama kuota. Parameter ini hanya valid untuk kuota jenis pemrosesan batch.

   Catatan

   Jika Anda ingin menentukan kuota untuk pekerjaan Spark Anda, Anda harus menambahkan konfigurasi odps.task.wlm.quota = <quotaname>.

   Untuk pekerjaan MaxCompute Query Acceleration (MCQA), perhatikan poin-poin berikut:

   • Anda tidak dapat menggunakan perintah di atas untuk langsung menentukan kuota interaktif. Kuota interaktif hanya dapat dipilih secara otomatis oleh sistem ketika MCQA diaktifkan. Untuk informasi lebih lanjut, lihat MaxCompute Query Acceleration.

   • Jika Anda menjalankan perintah set odps.task.wlm.quota=<quotaname>; untuk menentukan kuota bagi pekerjaan MCQA, pekerjaan tersebut akan dialihkan ke kuota yang ditentukan oleh quotaname jika gagal berjalan di kuota interaktif. Namun, kuota yang ditentukan oleh quotaname tidak digunakan sebagai kuota untuk pekerjaan MCQA. Akibatnya, pekerjaan MCQA tetap menggunakan sumber daya dari kuota komputasi default yang terkait dengan proyek tempat pekerjaan MCQA dijalankan.

   • Jika Anda tidak menentukan parameter odps.task.wlm.quota secara eksplisit, tugas interaktif akan mencoba menggunakan kuota yang ditentukan oleh aturan kuota. Jika tidak ada aturan kuota yang dikonfigurasikan, tugas akan menggunakan kuota default proyek.

Aturan kuota

MaxCompute memungkinkan Anda mengonfigurasi aturan kuota. Dengan cara ini, pekerjaan yang memenuhi aturan dapat dijadwalkan untuk menggunakan kuota terkait.

Batasan

• Anda dapat mengonfigurasi aturan untuk kuota level-2 yang dibuat di Edisi Spot Bayar Sesuai Pemakaian MaxCompute dan kuota level-2 langganan.

• Anda dapat mengonfigurasi maksimal 10 aturan untuk setiap kuota level-2.

• Anda dapat mengonfigurasi maksimal 50 item di setiap bidang Proyek dan Pemilik Pekerjaan untuk setiap aturan. Ini menunjukkan bahwa Anda dapat mengonfigurasi aturan untuk maksimal 50 proyek dan 50 pemilik pekerjaan (UID).

• Anda dapat memasukkan maksimal lima pasangan nilai-kunci di bidang Pengaturan Pekerjaan untuk setiap aturan.

• Nilai valid parameter Prioritas Pekerjaan untuk setiap aturan: [0, 9].

Konfigurasikan aturan kuota

1. Masuk ke Konsol MaxCompute. Di bilah navigasi atas, pilih wilayah.

2. Di panel navigasi kiri, pilih Workspace > Quotas.

3. Di halaman Quotas, temukan kuota level-1 yang diinginkan dan klik ikon di sebelah kiri kuota level-1 untuk memperluas kuota level-2 dari kuota tersebut.

4. Temukan kuota level-2 yang ingin Anda kelola dan klik Rule Configuration di kolom Actions.

5. Di kotak dialog Quota Rule Configuration, klik Add Rule atau temukan aturan yang ada dan klik Clone di kolom Actions untuk membuat aturan.

   Catatan

   • Hubungan AND ada di antara beberapa proyek, jenis pekerjaan, dan pengaturan pekerjaan yang dikonfigurasikan dalam aturan.

   • Aturan mulai berlaku sekitar 5 menit setelah dikonfigurasi.

   Tabel berikut menjelaskan parameter dalam kotak dialog Tambah Aturan.

   Parameter	Deskripsi
   Nama Aturan	Nama aturan kuota kustom. Nama tersebut hanya dapat berisi huruf, angka, dan garis bawah (_) dan harus dimulai dengan huruf.
   Mode Aturan	Mode aturan kuota. Nilai valid: NORMAL: mode normal. Dalam mode ini, mekanisme berikut disediakan untuk menjadwalkan pekerjaan menggunakan kuota berdasarkan karakteristik pekerjaan: Jika pekerjaan cocok dengan aturan kuota, pekerjaan tersebut dijadwalkan untuk menggunakan kuota. Jika pekerjaan cocok dengan beberapa aturan kuota pada saat yang sama, pekerjaan tersebut dijadwalkan untuk menggunakan kuota yang dibuat paling awal. Jika pekerjaan tidak cocok dengan aturan kuota apa pun, pekerjaan tersebut menggunakan kuota default proyek tanpa memandang apakah pekerjaan tersebut cocok dengan aturan kuota default. Jika kuota etl_1 ditentukan untuk pekerjaan berdasarkan tingkat pekerjaan, pekerjaan tersebut dijadwalkan untuk menggunakan kuota etl_1 tanpa memandang apakah pekerjaan tersebut cocok dengan aturan kuota etl_1. EXCLUSIVE: mode eksklusif. Jika pekerjaan cocok dengan aturan dalam mode eksklusif kuota berdasarkan karakteristik pekerjaan, pekerjaan tersebut dijadwalkan untuk menggunakan kuota. Jika tidak, pekerjaan tersebut tidak dapat dijadwalkan untuk menggunakan kuota. Contoh berikut menunjukkan perbedaan antara mode normal dan mode eksklusif. Sebagai contoh, kuota etl_2 adalah kuota default yang terkait dengan proyek Project_2, dan aturan yang berjalan dalam mode eksklusif dikonfigurasikan untuk kuota etl_2. Jika pekerjaan yang diinisiasi oleh proyek Project_2 tidak dapat cocok dengan aturan kuota etl_2, kuota default tidak dapat dipilih untuk pekerjaan tersebut. Dalam hal ini, kesalahan dilaporkan saat pekerjaan dikirimkan. Namun, jika Anda hanya mengonfigurasikan aturan yang berjalan dalam mode normal untuk kuota etl_2, pekerjaan tersebut dapat dijadwalkan untuk menggunakan kuota etl_2. Sebagai contoh, perintah set odps.task.wlm.quota=etl_3 (yaitu gunakan kuota etl_3) dijalankan untuk menentukan kuota etl_3 untuk pekerjaan. Jika aturan yang berjalan dalam mode eksklusif dikonfigurasikan untuk kuota etl_3 tetapi pekerjaan tidak cocok dengan aturan tersebut, kesalahan dilaporkan saat pekerjaan dikirimkan. Namun, jika Anda hanya mengonfigurasikan aturan yang berjalan dalam mode normal untuk kuota etl_3, pekerjaan tersebut dapat dijadwalkan untuk menggunakan kuota etl_3. ANTI: mode dilarang. Jika pekerjaan cocok dengan aturan dalam mode dilarang kuota berdasarkan karakteristik pekerjaan, pekerjaan tersebut dilarang menggunakan kuota. Pekerjaan tersebut diprioritaskan untuk dijadwalkan menggunakan grup kuota default proyek tempat pekerjaan tersebut berada. Jika kuota komputasi default proyek adalah kuota yang dilarang untuk digunakan pekerjaan, pekerjaan tersebut dijadwalkan untuk menggunakan kuota yang dibuat paling awal di wilayah saat ini. Kuota bayar sesuai pemakaian termasuk. Penting Aturan yang berjalan dalam mode eksklusif dan aturan yang berjalan dalam mode dilarang memiliki prioritas lebih tinggi daripada aturan yang berjalan dalam mode normal. Jika pekerjaan tidak cocok dengan aturan yang berjalan dalam mode eksklusif Kuota A atau cocok dengan aturan yang berjalan dalam mode dilarang, pekerjaan tersebut tidak dapat dijadwalkan untuk menggunakan Kuota A tanpa memandang apakah pekerjaan tersebut cocok dengan aturan yang berjalan dalam mode normal Kuota A atau ditentukan secara manual untuk menggunakan Kuota A.
   Proyek	Proyek yang ingin Anda konfigurasikan dalam aturan. Anda dapat mengonfigurasi maksimal 50 proyek. Jika tidak ada opsi yang dipilih, semua proyek akan disertakan.
   Jenis Pekerjaan	Jenis pekerjaan yang ingin Anda konfigurasikan dalam aturan. Nilai valid: SQL: pekerjaan SQL SQLRT: pekerjaan SQL MCQA MaxCompute SQLCost: pekerjaan estimasi biaya SQL LOT: pekerjaan MapReduce CUPID: pekerjaan Spark atau Mars AlgoTask: pekerjaan Platform untuk AI (PAI) Jika tidak ada opsi yang dipilih, semua jenis pekerjaan akan disertakan.
   Prioritas Pekerjaan	Masukkan prioritas pekerjaan yang perlu dikonfigurasikan dalam aturan. Masukkan rentang prioritas 0-9, seperti [0,3] yang menunjukkan pekerjaan denganprioritas 0, 1, 2, dan 3. Jika tidak ada opsi yang dipilih, semua prioritas akan disertakan.
   Pemilik Pekerjaan (ID Akun)	ID pengguna pemilik pekerjaan yang ingin Anda konfigurasikan dalam aturan. Anda dapat memasukkan maksimal 50 ID pengguna. Beberapa ID pengguna memiliki hubungan OR. Setiap ID pengguna menempati satu baris. Jika awalan p4_ perlu ditambahkan ke ID pengguna pengguna RAM, ID pengguna tersebut adalah p4_12344566777. Jika awalan v4_ perlu ditambahkan ke ID pengguna peran RAM, ID pengguna tersebut adalah v4_12344566776. Jika tidak ada opsi yang dipilih, semua pemilik pekerjaan akan disertakan.
   Pengaturan Pekerjaan	Anda dapat memasukkan satu atau lebih pasangan nilai-kunci yang berada dalam format Key=Value. Tidak diperlukan tanda kutip. Beberapa pasangan nilai-kunci memiliki hubungan AND. Setiap pasangan nilai-kunci menempati satu baris. Anda dapat memasukkan maksimal lima pasangan nilai-kunci. Sebagai contoh, jika Anda ingin menjalankan semua pekerjaan pengisian ulang data yang diinisiasi oleh tugas yang dipicu otomatis DataWorks dalam kuota saat ini, masukkan SKYNET_DAGTYPE=3 di bidang Pengaturan Pekerjaan. Untuk informasi lebih lanjut, lihat Isolasi pekerjaan pengisian ulang data. Jika tidak ada opsi yang dipilih, semua pengaturan akan disertakan.

   Dalam sebuah proyek, setidaknya salah satu dari parameter ini harus tidak kosong: jenis pekerjaan, prioritas pekerjaan, pemilik pekerjaan (UID), dan pengaturan pekerjaan. Parameter kosong menunjukkan bahwa semua opsi cocok.

6. Klik OK.

Contoh

• Jadwalkan pekerjaan MCQA

  • Kuota akselerasi dan kuota rollback

    Pekerjaan MCQA memerlukan kuota akselerasi dan kuota rollback. Kuota akselerasi adalah tipe interaktif dan kuota rollback adalah tipe batch. Jika pekerjaan yang menggunakan kuota akselerasi mengalami timeout atau pekerjaan ditolak untuk menggunakan kuota akselerasi karena alasan seperti jenis pekerjaan, sistem mengirim ulang pekerjaan dalam kuota rollback. Anda dapat membuat aturan kuota untuk menambahkan proyek atau pemilik pekerjaan ke kedua kuota akselerasi dan rollback untuk menerapkan logika di atas.

  • Aktifkan MCQA berdasarkan proyek atau pemilik pekerjaan

    Untuk mengaktifkan kuota interaktif berdasarkan proyek, Anda dapat mengonfigurasi aturan ProjectList yang berbeda untuk kuota interaktif yang berbeda saat membuat kuota interaktif.

• Isolasi pekerjaan pengisian ulang data

  Pekerjaan pengisian ulang data digunakan untuk memperbarui data. Jika proses pengisian ulang data memerlukan waktu yang lama, sejumlah besar sumber daya dikonsumsi. Untuk mencegah dampak dari konsumsi sumber daya yang berlebihan pada pekerjaan harian Anda, Anda dapat membuat kuota dan mengonfigurasi aturan untuk kuota tersebut untuk menjalankan pekerjaan pengisian ulang data secara eksklusif. Sebagai contoh, jika pekerjaan pengisian ulang data yang diinisiasi oleh tugas yang dipicu otomatis DataWorks selalu melewati parameter SKYNET_DAGTYPE:3 ke bidang Pengaturan Pekerjaan, Anda dapat mengonfigurasi aturan kuota berikut:

  • Buat kuota bernama refill dan konfigurasikan aturan untuk kuota refill. Jika Anda ingin mengizinkan semua pekerjaan pengisian ulang data yang diinisiasi oleh tugas yang dipicu otomatis DataWorks untuk secara otomatis dijadwalkan menggunakan kuota refill, Anda dapat mengonfigurasi aturan yang berjalan dalam mode normal. Untuk mengonfigurasi aturan yang berjalan dalam mode normal, Anda hanya perlu memasukkan SKYNET_DAGTYPE=3 di bidang Pengaturan Pekerjaan.

  • Anda juga dapat mengonfigurasi parameter secara lebih rinci. Sebagai contoh, jika Anda hanya ingin pekerjaan pengisian ulang data dengan prioritas berkisar antara 5 hingga 9 dari proyek P1 untuk dijadwalkan menggunakan kuota refill, lakukan langkah-langkah berikut untuk mengonfigurasi aturan yang berjalan dalam mode normal: Atur Proyek ke P1, masukkan [5,9] di bidang Prioritas Pekerjaan, dan kemudian masukkan SKYNET_DAGTYPE=3 di bidang Pengaturan Pekerjaan.

    Catatan

    Prioritas yang dikonfigurasi dalam aturan adalah prioritas di MaxCompute, bukan prioritas dasar di DataWorks. Prioritas di MaxCompute = 9 - Prioritas dasar di DataWorks.

• Isolasi pekerjaan yang diinisiasi oleh peran yang berbeda

  Pekerjaan, seperti pekerjaan analitik data, pekerjaan laporan terjadwal, dan pekerjaan pengisian ulang data, mungkin diinisiasi oleh personel bisnis yang berbeda. Pekerjaan tersebut juga mungkin berasal dari departemen yang berbeda yang memiliki anggaran sumber daya yang berbeda. Oleh karena itu, beberapa kuota harus dibuat untuk memungkinkan pekerjaan yang diinisiasi oleh peran yang berbeda menggunakan kuota yang berbeda.

  Dalam banyak kasus, Anda dapat mengidentifikasi peran pekerjaan berdasarkan parameter berikut: Proyek, Pemilik Pekerjaan (ID Akun), Jenis Pekerjaan, Prioritas Pekerjaan, dan Pengaturan Pekerjaan.

  • Jika pekerjaan yang diinisiasi oleh peran yang berbeda menggunakan proyek yang berbeda, Anda dapat menetapkan parameter Proyek ke nama proyek yang diperlukan dalam aturan yang ingin Anda buat untuk kuota yang diinginkan.

  • Jika pekerjaan yang diinisiasi oleh peran yang berbeda dikirimkan oleh pengguna yang berbeda, Anda dapat memasukkan ID pengguna pemilik pekerjaan di bidang Pemilik Pekerjaan (ID Akun) dalam aturan yang ingin Anda buat untuk kuota yang diinginkan.

  • Jika pekerjaan yang diinisiasi oleh peran yang berbeda memiliki konfigurasi yang berbeda, Anda dapat mengonfigurasi Pengaturan Pekerjaan untuk membedakan antara peran pekerjaan. Pengaturan Pekerjaan menentukan pernyataan SET xxx=xxx; yang dikirimkan bersama dengan pekerjaan. Pernyataan SET diklasifikasikan menjadi pernyataan kustom dan pernyataan yang ditambahkan secara otomatis. Sebagai contoh, jika pekerjaan diinisiasi menggunakan DataWorks, parameter tertentu dikonfigurasikan secara otomatis untuk membantu mengidentifikasi pekerjaan.

  • Jika peran yang berbeda mengirimkan jenis pekerjaan yang berbeda, Anda dapat mengidentifikasi jenis pekerjaan berdasarkan nilai parameter Jenis Pekerjaan. Sebagai contoh, nilai parameter Jenis Pekerjaan untuk pekerjaan PAI yang dikirimkan menggunakan PAI adalah ALGO, dan nilai parameter Jenis Pekerjaan untuk pekerjaan kueri SQL normal yang dikirimkan menggunakan MaxCompute adalah SQL.

  Aturan di atas dapat digunakan bersama untuk melakukan penjadwalan pekerjaan yang lebih halus.