MaxCompute menerapkan kuota pada tingkat sumber daya komputasi, pekerjaan, dan pernyataan. Halaman ini mencantumkan batas maksimum untuk setiap area fitur dan menunjukkan batas mana yang dapat disesuaikan.
Sumber daya komputasi langganan
Kuota langganan default adalah 2.000 compute units (CUs). Untuk menaikkan batas ini, kirimkan tiket menggunakan Akun Alibaba Cloud Anda. Insinyur MaxCompute akan meninjau permintaan dalam waktu tiga hari kerja dan memberi tahu hasilnya melalui pesan teks.
Sumber daya komputasi bayar sesuai penggunaan
Tabel berikut menunjukkan jumlah maksimum CU yang dapat dikonsumsi secara bersamaan oleh satu pengguna di wilayah tertentu. Batas ini mencegah satu pengguna menghabiskan sumber daya kluster dan mengganggu pekerjaan pengguna lain.
Nilai-nilai ini merupakan jumlah maksimum CU yang dapat Anda peroleh, bukan jaminan minimum. MaxCompute dapat mengalokasikan CU tambahan untuk mempercepat kueri Anda.
| Negara atau wilayah | Wilayah | CU Maksimum (bayar sesuai penggunaan) |
|---|---|---|
| Wilayah di Tiongkok | Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), China East 2 Finance, China North 2 Ali Gov, dan China South 1 Finance | 2.000 |
| Wilayah di Tiongkok | Tiongkok (Chengdu) dan Tiongkok (Hong Kong) | 500 |
| Negara atau wilayah lain | Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jepang (Tokyo), Jerman (Frankfurt), AS (Silicon Valley), AS (Virginia), Inggris (London), dan UEA (Dubai) | 500 |
Slot Tunnel langganan
Kuota default untuk slot Tunnel langganan adalah 500. Untuk membeli lebih dari 500 slot, kirimkan .
Batas SQL
Tabel berikut mencakup batasan yang berlaku untuk pernyataan SQL, tabel, dan eksekusi pekerjaan di MaxCompute. Kolom Scope menunjukkan cakupan penerapan batas tersebut. Kolom Adjustable menunjukkan apakah batas tersebut dapat dinaikkan dengan mengirimkan tiket.
| Item | Batas | Scope | Adjustable | Catatan |
|---|---|---|---|---|
| Panjang nama tabel | 128 byte | Tabel | Tidak | Nama hanya boleh berisi huruf, angka, dan garis bawah (_) serta harus dimulai dengan huruf. |
| Panjang komentar | 1.024 byte | Tabel | Tidak | |
| Definisi kolom per tabel | 1.200 | Tabel | Tidak | |
| Partisi per tabel | 60.000 | Tabel | Tidak | |
| Tingkat partisi per tabel | 6 | Tabel | Tidak | |
| Panjang catatan kolom | 8 MB | Tabel | Tidak | |
| Tipe data dan posisi kolom | Tidak dapat diubah | Tabel | Tidak | |
| Lihat status tulis | Tidak dapat ditulis | Tabel | Tidak | View tidak mendukung INSERT. |
| Partisi yang dapat dikueri per kueri | 10.000 | Kueri | Tidak | |
SELECT jumlah baris output | 10.000 | Kueri | Tidak | |
MULTI-INSERT tabel tujuan | 256 | Pernyataan | Tidak | |
UNION ALL tabel gabungan | 256 | Pernyataan | Tidak | |
MAPJOIN tabel kecil | 128 | Pernyataan | Tidak | |
MAPJOIN total memori untuk tabel kecil | 512 MB | Pernyataan | Tidak | Berlaku untuk semua tabel kecil dalam satu pernyataan. |
ptinsubq (partisi dalam subkueri) jumlah baris | 1.000 | Pernyataan | Tidak | |
| Panjang pernyataan SQL | 2 MB | Pernyataan | Tidak | Berlaku saat mengeksekusi SQL melalui SDK. |
IN jumlah parameter klausa | 1.024 (disarankan) | Pernyataan | — | Bukan batas mutlak. Melebihi 1.024 parameter menurunkan performa kompilasi. |
| Fungsi user-defined Java (UDF) | Tidak boleh abstract atau static | Pernyataan | Tidak | |
jobconf.json ukuran file | 1 MB | Pekerjaan | Tidak | Tabel dengan jumlah partisi besar dapat melebihi batas ini. |
| Ukuran rencana eksekusi SQL | 1 MB | Pekerjaan | Tidak | Kesalahan saat melebihi: FAILED: ODPS-0010000:System internal error - The Size of Plan is too large |
| Durasi eksekusi pekerjaan maksimum | 72 jam | Pekerjaan | Tidak | Default adalah 24 jam. Jalankan set odps.sql.job.max.time.hours=72; untuk memperpanjang hingga 72 jam. Pekerjaan yang melebihi 72 jam akan dihentikan secara otomatis. |
Untuk informasi lebih lanjut, lihat SQL.
Batas MapReduce
Tabel berikut mencakup batasan untuk pekerjaan MapReduce. Item yang ditandai Yes pada kolom Adjustable dapat diubah menggunakan parameter konfigurasi yang tercantum.
| Item | Nilai | Scope | Adjustable | Parameter konfigurasi | Default |
|---|---|---|---|---|---|
| Memori per instans (framework + heap Java Virtual Machine (JVM)) | 256 MB–12 GB | Instance | Ya | odps.stage.mapper(reducer).mem dan odps.stage.mapper(reducer).jvm.mem | 2.048 MB (framework) + 1.024 MB (JVM) |
| Jumlah percobaan ulang per instans | 3 | Instance | Tidak | — | — |
| Jumlah pembacaan ulang resource per instans | 64 | Instance | Tidak | — | — |
| Panjang kolom string | 8 MB | Instance | Tidak | — | — |
Timeout worker (tidak ada pembacaan/penulisan data atau heartbeat melalui context.progress()) | 1–3.600 detik | Instance | Ya | odps.function.timeout | 600 detik |
| Resource per pekerjaan | 256 | Pekerjaan | Tidak | — | — |
| Input per pekerjaan | 1.024 | Pekerjaan | Tidak | — | — |
| Tabel input per pekerjaan | 64 | Pekerjaan | Tidak | — | — |
| Output per pekerjaan | 256 | Pekerjaan | Tidak | — | — |
| Counter kustom per pekerjaan | 64 | Pekerjaan | Tidak | — | — |
| Total panjang nama grup counter + nama counter | 100 karakter | Pekerjaan | Tidak | — | — |
| Total byte resource per pekerjaan | 2 GB | Pekerjaan | Tidak | — | — |
| Instans map per pekerjaan | 1–100.000 | Pekerjaan | Ya | odps.stage.mapper.num | Dihitung dari ukuran split |
| Kurangi instance per pekerjaan | 0–2.000 | Pekerjaan | Ya | odps.stage.reducer.num | 25% dari jumlah instans map |
| Ukuran split | ≥ 1 | Pekerjaan | Ya | odps.stage.mapper.split.size | 256 MB |
| Tipe bidang yang didukung | BIGINT, DOUBLE, STRING, DATETIME, BOOLEAN | Pekerjaan | Tidak | — | — |
Batasan tambahan:
Nama grup counter dan nama counter tidak boleh mengandung tanda pagar (
#).MapReduce tidak dapat membaca data dari Object Storage Service (OSS).
MapReduce tidak mendukung tipe data baru yang diperkenalkan di MaxCompute V2.0.
Batas mode debug lokal:
| Item | Default | Max |
|---|---|---|
| Instans map | 2 | 100 |
| Kurangi instance | 1 | 100 |
| Catatan yang diunduh per input | 100 | 10.000 |
Untuk informasi lebih lanjut, lihat MapReduce.
Batas PyODPS
Batas berikut berlaku saat mengembangkan pekerjaan PyODPS di MaxCompute melalui DataWorks.
Setiap node PyODPS dapat memproses maksimal 50 MB data dan mengonsumsi maksimal 1 GB memori. DataWorks akan menghentikan node jika salah satu batas tersebut terlampaui. Hindari menulis kode pemrosesan data Python yang beroperasi langsung pada dataset besar dalam pekerjaan PyODPS.
DataWorks membatasi penggunaan CPU dan memori pada gerbang untuk mencegah overload. Jika sistem menampilkan
Got killed, artinya penggunaan memori telah melebihi batas dan proses terkait telah dihentikan. Operasi data lokal terpengaruh oleh batasan ini; tugas SQL dan DataFrame (kecualito_pandas) yang diinisiasi oleh PyODPS tidak terpengaruh.Paket Python
atexittidak didukung. Gunakan strukturtry-finallysebagai gantinya.options.tunnel.use_instance_tunnelsecara default bernilaiFalsedi DataWorks. Atur menjadiTrueuntuk mengaktifkan InstanceTunnel secara global.Menulis dan men-debug kode di DataWorks memiliki efisiensi terbatas. Instal integrated development environment (IDE) di mesin lokal Anda untuk menulis kode.
Batasan paket:
Karena paket seperti matplotlib tidak tersedia di lingkungan DataWorks, berlaku batasan berikut:
| Konteks | Pustaka yang tersedia | Batasan |
|---|---|---|
| UDF DataFrame | Pustaka Python murni dan NumPy | Tidak ada pandas atau pustaka pihak ketiga lainnya. UDF harus dikirimkan ke MaxCompute sebelum dapat dijalankan. |
| Fungsi non-UDF | NumPy dan pandas (pra-instal) | Paket pihak ketiga yang mengandung kode biner tidak didukung. |
Fungsi plot DataFrame | — | Terpengaruh oleh tidak tersedianya matplotlib. |
Untuk informasi lebih lanjut, lihat PyODPS.
Batasan Graf
Batas berikut berlaku untuk pekerjaan Graph di MaxCompute.
| Item | Batas | Catatan |
|---|---|---|
| Resource per pekerjaan | 256 | Setiap tabel atau arsip dihitung sebagai satu resource. |
| Total byte resource per pekerjaan | 512 MB | |
| Input per pekerjaan | 1.024 | Tabel input tidak boleh melebihi 64. |
| Output per pekerjaan | 256 | |
| Counter kustom per pekerjaan | 64 | Nama grup counter dan nama counter tidak boleh mengandung #. Total panjang kedua nama tersebut tidak boleh melebihi 100 karakter. |
| Panjang label output | 256 karakter | Label dapat berisi huruf, angka, _, #, ., dan -. Label tidak boleh berupa null atau string kosong. |
| Pekerja per Pekerjaan | 1.000 (maks) | Kesalahan akan dikembalikan jika jumlah worker melebihi nilai ini. |
| CPU per worker | 200 unit (default); rentang: 50–800 | |
| Memori per worker | 4.096 MB (default); rentang: 256 MB–12 GB | |
| Jumlah pembacaan ulang resource per worker | 64 | |
split_size | 64 MB (default); harus > 0 dan ≤ 9223372036854775807 >> 20 |
Batasan sandbox: GraphLoader, Vertex, dan Aggregator berjalan di bawah Java Sandbox dalam lingkungan kluster. Program utama pekerjaan Graph tidak dibatasi oleh Java Sandbox. Untuk informasi lebih lanjut, lihat Java Sandbox.
Untuk informasi lebih lanjut, lihat Graph.
Batas pekerjaan konkuren
MaxCompute membatasi jumlah pekerjaan yang dapat berjalan secara konkuren dalam satu Proyek. Jika Anda terus mengirimkan pekerjaan saat jumlah pekerjaan konkuren mencapai batas atas, pesan kesalahan berikut akan muncul:
com.aliyun.odps.OdpsException: Request rejected by flow control. You have exceeded the limit for the number of tasks you can run concurrently in this project. Please try later| Wilayah | Pekerjaan konkuren maksimum per proyek |
|---|---|
| Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), dan Tiongkok (Chengdu) | 2.500 |
| Tiongkok (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jepang (Tokyo), Jerman (Frankfurt), AS (Silicon Valley), AS (Virginia), Inggris (London), dan UEA (Dubai) | 1.000 |
Wilayah | Pekerjaan konkuren maksimum per proyek MaxCompute |
Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Ulanqab), Tiongkok (Shenzhen), Tiongkok (Chengdu) | 2500 |
Tiongkok (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jepang (Tokyo), Jerman (Frankfurt), AS (Silicon Valley), AS (Virginia), Inggris (London), UEA (Dubai) | 1000 |