Layanan Transmisi Data merupakan saluran utama untuk memindahkan data masuk dan keluar dari MaxCompute. Layanan ini menyediakan Tunnel untuk operasi batch dan Stream Tunnel untuk penulisan streaming. Di semua wilayah, tersedia kelompok sumber daya bersama (shared resource groups) gratis dengan penggunaan terbatas. Anda juga dapat membeli kelompok sumber daya khusus berlangganan (subscription dedicated resource groups).
Klasifikasi penggunaan
Perintah
Anda hanya dapat menjalankan perintah menggunakan client MaxCompute (odpscmd).
Operasi batch
Tunnel memungkinkan Anda melakukan operasi batch offline untuk mengunggah dan mengunduh data, termasuk pengunggahan dan pengunduhan data untuk satu tabel serta pengunduhan data dari instans kueri.
Operasi streaming
Stream Tunnel memungkinkan Anda menulis data streaming ke tabel dalam bentuk micro-batch.

Batasan Layanan Transmisi Data
Batasan pada channel data batch
Pengunggahan data batch
Batas
Batasan
Siklus hidup UploadSession
24 jam
Jumlah blok yang ditulis per UploadSession
20.000
Kecepatan tulis per blok
10 MB/s
Volume data per blok
100 GB
Jumlah UploadSession yang dibuat per tabel
500 setiap 5 menit
Jumlah blok yang ditulis per tabel
500 setiap 5 menit
Jumlah komitmen UploadSession konkuren per tabel
32
Jumlah commit per tabel
75 setiap 15 detik
Jumlah penulisan blok konkuren
Dibatasi oleh jumlah slot konkuren. Satu penulisan blok menggunakan satu slot.
Penulisan konkuren
MaxCompute menjamin penulisan konkuren berdasarkan atomicity, consistency, isolation, dan durability (ACID). Untuk informasi lebih lanjut mengenai semantik ACID, lihat Semantik ACID.
Pengunduhan data batch
Batasan
Batasan
Siklus hidup DownloadSession
24 jam
Siklus hidup InstanceDownloadSession
24 jam, dibatasi oleh masa aktif instans.
Jumlah InstanceDownloadSession yang dibuat per proyek
200 setiap 5 menit
Jumlah DownloadSession yang dibuat per tabel
200 setiap 5 menit
Kecepatan per permintaan unduh
10 MB/s
Jumlah pembuatan DownloadSession konkuren
Dibatasi oleh jumlah slot konkuren. Satu pembuatan DownloadSession menggunakan satu slot.
Jumlah pembuatan InstanceDownloadSession konkuren
Dibatasi oleh jumlah slot konkuren. Satu pembuatan InstanceDownloadSession menggunakan satu slot.
Jumlah permintaan unduh konkuren
Dibatasi oleh jumlah slot konkuren. Satu permintaan unduh data menggunakan satu slot.
CatatanData batch mendukung fitur upsert untuk tabel Delta. Batasan-batasannya adalah sebagai berikut:
Siklus hidup UpsertSession: 24 jam (h).
Kecepatan tulis maksimum untuk UpsertSession: jumlah bucket dalam tabel atau partisi × 10 MB/s.
Kuota slot maksimum yang digunakan oleh UpsertSession: jumlah bucket dalam tabel atau partisi.
Frekuensi komitmen UpsertSession: Anda hanya dapat mengomitmkan data ke setiap partisi tabel Delta satu kali per menit (min). Jika interval komitmen untuk suatu partisi kurang dari 1 menit, sistem akan mengembalikan pesan error berikut:
ErrorCode=FlowExceeded, ErrorMessage=CommitUpsert QPS Quota exceeded.
Batasan pada channel data streaming
Batasan
Batasan
Kecepatan tulis per slot
10 MB/s
Jumlah partisi konkuren yang ditulis per tabel
64
Jumlah maksimum slot yang tersedia per partisi
32
Jumlah flush konkuren
Dibatasi oleh jumlah slot konkuren. Satu flush menggunakan satu slot.
Batasan pengunggahan data
Ukuran setiap field tidak boleh melebihi batasnya. Untuk informasi lebih lanjut, lihat Versi tipe data.
CatatanUkuran field STRING tidak boleh melebihi 8 MB.
Selama pengunggahan, beberapa catatan data dikemas untuk transmisi.
Batasan jaringan untuk Layanan Transmisi Data (kelompok sumber daya khusus)
Hanya akses VPC yang didukung. Akses jaringan publik tidak didukung.
Hanya transmisi data dalam wilayah yang sama yang didukung. Transmisi data lintas-wilayah tidak didukung.
Kondisi jaringan sangat memengaruhi kecepatan unggah dan unduh Layanan Transmisi Data. Kecepatan biasanya berkisar antara 1 MB/s hingga 20 MB/s. Jika kecepatan unggah terlalu lambat, pertimbangkan untuk menggunakan metode unggah multi-threaded.
Informasi mengenai kelompok sumber daya bersama Layanan Transmisi Data
Tabel berikut mencantumkan jumlah maksimum slot yang tersedia per proyek untuk sumber daya bersama gratis di berbagai wilayah. Nilai-nilai tersebut diukur dalam satuan slot.
Situs | Wilayah | Slot (Jumlah) |
China | China (Hangzhou) | 300 |
China | China East 1 Finance (Hangzhou) | 50 |
China | China (Shanghai) | 600 |
China | China East 2 Finance (Shanghai) | 50 |
China | China (Beijing) | 300 |
China | China (Beijing) Gov Cloud | 100 |
China | China (Zhangjiakou) | 300 |
China | China (Ulanqab) | 300 |
China | China (Shenzhen) | 150 |
China | China South 1 Finance (Shenzhen) | 50 |
China | China (Chengdu) | 150 |
China | China (Hong Kong) | 50 |
Asia-Pasifik | Singapura (Singapura) | 100 |
Asia-Pasifik | Malaysia (Kuala Lumpur) | 50 |
Asia-Pasifik | Indonesia (Jakarta) | 50 |
Asia-Pasifik | Jepang (Tokyo) | 50 |
Eropa dan Amerika | Jerman (Frankfurt) | 50 |
Eropa dan Amerika | AS (Silicon Valley) | 100 |
Eropa dan Amerika | AS (Virginia) | 50 |
Eropa dan Amerika | Inggris (London) | 50 |
Timur Tengah dan India | UEA (Dubai) | 50 |
Kode status valid untuk Layanan Transmisi Data
Kode status | Nama kode status |
200 | HTTP_OK |
201 | HTTP_CREATED |
400 | HTTP_BAD_REQUEST |
401 | HTTP_UNAUTHORIZED |
403 | HTTP_FORBIDDEN |
404 | HTTP_NOT_FOUND |
405 | HTTP_METHOD_NOT_ALLOWED |
409 | HTTP_CONFLICT |
422 | HTTP_UNPROCESSABLE_ENTITY |
429 | HTTP_TOO_MANY_REQUESTS |
499 | HTTP_CLIENT_CLOSED_REQUEST |
500 | HTTP_INTERNAL_SERVER_ERROR |
502 | HTTP_BAD_GATEWAY |
503 | HTTP_SERVICE_UNAVAILABLE |
504 | HTTP_GATEWAY_TIME_OUT |
Kebijakan ulang untuk permintaan gagal
Setelah permintaan gagal, client harus menunggu selama periode tertentu sebelum mencoba ulang.
Waktu tunggu untuk permintaan gagal berturut-turut harus meningkat secara eksponensial, dimulai dari minimal 1 detik. Contohnya: 1 d, 2 d, 4 d, 8 d, 16 d, 32 d, dan seterusnya.
Permintaan duplikat
URL-nya sama (URI dan parameter URI).
Permintaan berturut-turut dikirim dari alamat IP client yang sama.
Permintaan valid
Permintaan yang mengembalikan kode status valid dan mengikuti kebijakan ulang.
Permintaan tidak valid
Permintaan yang mengembalikan kode status valid tetapi tidak mengikuti kebijakan ulang.
CatatanPerjanjian Tingkat Layanan (SLA) tidak mencakup permintaan tidak valid.
Permintaan serangan
Permintaan yang tidak mengikuti kebijakan ulang untuk kode status throttle 429 dan 503.
Untuk permintaan serangan, layanan mengisolasi alamat IP client, UID, dan proyek yang memulai serangan tersebut. Objek yang diisolasi tidak dapat lagi mengakses layanan.
CatatanSLA tidak mencakup permintaan serangan.
FAQ
Apa penyebab umum melambatnya Layanan Transmisi Data?
Karena keterbatasan dalam arsitektur layanan, layanan Tunnel MaxCompute mungkin mengalami latensi permintaan sesekali dalam skenario berikut. Misalnya, waktu yang dibutuhkan untuk mengunggah atau mengunduh data 10 MB dapat meningkat dari hitungan detik menjadi menit.
Sumber daya layanan Tunnel bersama habis (CPU atau lebar pita jaringan)
Durasi: Beberapa menit hingga beberapa jam.
Hal ini tidak dapat dihindari karena keterbatasan arsitektur layanan. Jika Anda memerlukan stabilitas tinggi, belilah sumber daya Tunnel khusus.
Tautan jaringan dari client ke layanan Tunnel tidak stabil (pengunggahan atau pengunduhan melalui jaringan publik)
Durasi: Tidak dapat diprediksi.
Stabilitas jaringan publik tidak dapat dijamin. Jika Anda memerlukan stabilitas tinggi, gunakan jaringan internal Alibaba Cloud.
Sumber daya client habis (CPU atau lebar pita jaringan)
Durasi: Tidak dapat diprediksi.
Evaluasi sumber daya fisik pada client.
Logika kode client tidak efisien (misalnya, pemrosesan data berdurasi panjang selama pengunggahan atau pengunduhan melalui koneksi persisten)
Durasi: Tidak dapat diprediksi.
Pertimbangkan performa transmisi data saat merancang kode.