Teknik tunneling data merupakan saluran utama untuk impor dan ekspor data di MaxCompute, mencakup Tunnel standar untuk operasi batch dan Stream Tunnel untuk penulisan streaming. Keduanya tersedia dengan kelompok sumber daya bersama berbatas gratis serta kelompok sumber daya khusus berbasis langganan di semua wilayah.
Penggunaan
Perintah tunnel
Perintah Tunnel dieksekusi melalui klien MaxCompute (odpscmd) untuk mengunggah dan mengunduh data, cocok untuk operasi manual atau alur kerja berbasis skrip. Saat ini, hanya odpscmd yang didukung; alat klien lain belum tersedia.
Operasi batch (Tunnel standar):
Menjalankan unggah dan unduh data batch offline, cocok untuk skenario yang memerlukan transfer volume data besar sekaligus, termasuk unggah dan unduh data tabel tunggal serta unduh hasil instance kueri.
Operasi streaming (Stream Tunnel)
Menulis data secara berkelanjutan dalam mikro-batch, cocok untuk skenario yang memerlukan ingesti data berkelanjutan, seperti pengumpulan log dan ingesti data real-time.
Batasan Layanan Transmisi Data
Batasan pada saluran data batch
Unggah data batch
Batasan
Keterbatasan
Siklus hidup UploadSession
24 jam
Jumlah blok yang ditulis per UploadSession
20.000
Kecepatan tulis per blok
10 MB/s
Volume data per blok
100 GB
Jumlah UploadSession yang dibuat per tabel
500 setiap 5 menit
Jumlah blok yang ditulis per tabel
500 setiap 5 menit
Jumlah komitmen UploadSession konkuren per tabel
32
Jumlah commit per tabel
75 setiap 15 detik
Jumlah penulisan blok konkuren
Dibatasi oleh jumlah slot konkuren. Satu penulisan blok menempati satu slot.
Penulisan konkuren
MaxCompute menjamin penulisan konkuren berdasarkan atomicity, consistency, isolation, dan durability (ACID). Untuk informasi lebih lanjut tentang semantik ACID, lihat Semantik ACID.
Unduh data batch
Batasan
Keterbatasan
Siklus hidup DownloadSession
24 jam
Siklus hidup InstanceDownloadSession
24 jam, dibatasi oleh masa aktif instance.
Jumlah InstanceDownloadSession yang dibuat per proyek
200 setiap 5 menit
Jumlah DownloadSession yang dibuat per tabel
200 setiap 5 menit
Kecepatan per permintaan unduh
10 MB/s
Jumlah pembuatan DownloadSession konkuren
Dibatasi oleh jumlah slot konkuren. Satu pembuatan DownloadSession menempati satu slot.
Jumlah pembuatan InstanceDownloadSession konkuren
Dibatasi oleh jumlah slot konkuren. Satu pembuatan InstanceDownloadSession menempati satu slot.
Jumlah permintaan unduh konkuren
Dibatasi oleh jumlah slot konkuren. Satu permintaan unduh data menempati satu slot.
Data batch mendukung fitur upsert untuk tabel Delta
Batasan
Keterbatasan
Siklus hidup UpsertSession
24 jam
Kecepatan tulis maksimum untuk UpsertSession
Jumlah bucket dalam tabel atau partisi × 10 MB/s.
Kuota slot maksimum yang digunakan untuk UpsertSession
Jumlah bucket dalam tabel atau partisi.
Frekuensi komitmen UpsertSession
Anda hanya dapat melakukan komitmen data ke setiap partisi tabel Delta satu kali per menit (min). Jika interval komitmen untuk suatu partisi kurang dari 1 menit, sistem akan mengembalikan pesan kesalahan berikut:
ErrorCode=FlowExceeded, ErrorMessage=CommitUpsert QPS Quota exceeded.
Batasan pada saluran data streaming
Batasan | Keterbatasan |
Kecepatan tulis per slot | 10 MB/s |
Jumlah partisi konkuren yang ditulis per tabel | 64 |
Jumlah maksimum slot yang tersedia per partisi | 32 |
Jumlah flush konkuren | Dibatasi oleh jumlah slot konkuren. Satu flush menempati satu slot. |
Batasan pada unggah data
Ukuran setiap bidang tidak boleh melebihi batasnya. Untuk informasi lebih lanjut, lihat Versi tipe data.
Ukuran bidang STRING tidak boleh melebihi 8 MB.
Selama unggah, beberapa catatan data dikemas untuk transmisi.
Batasan jaringan untuk Layanan Transmisi Data (kelompok sumber daya khusus)
Hanya akses VPC yang didukung. Akses jaringan publik tidak didukung.
Hanya transmisi data dalam wilayah yang sama yang didukung. Transmisi data cross-region tidak didukung.
Kondisi jaringan sangat memengaruhi kecepatan unggah dan unduh Layanan Transmisi Data. Kecepatan biasanya berkisar antara 1 MB/s hingga 20 MB/s. Jika kecepatan unggah terlalu lambat, pertimbangkan untuk menggunakan metode unggah multi-threaded.
Informasi tentang kelompok sumber daya Layanan Transmisi Data bersama
Tabel berikut mencantumkan jumlah maksimum slot yang tersedia per proyek untuk sumber daya bersama gratis di berbagai wilayah. Nilai-nilai tersebut diukur dalam satuan slot.
Situs | Wilayah | Slot (Jumlah) |
China | China (Hangzhou) | 300 |
China | China East 1 Finance (Hangzhou) | 50 |
China | China (Shanghai) | 600 |
China | China East 2 Finance (Shanghai) | 50 |
China | China (Beijing) | 300 |
China | China (Beijing) Gov Cloud | 100 |
China | China (Zhangjiakou) | 300 |
China | China (Ulanqab) | 300 |
China | China (Shenzhen) | 150 |
China | China South 1 Finance (Shenzhen) | 50 |
China | China (Chengdu) | 150 |
China | China (Hong Kong) | 50 |
Asia-Pasifik | Singapura (Singapura) | 100 |
Asia-Pasifik | Malaysia (Kuala Lumpur) | 50 |
Asia-Pasifik | Indonesia (Jakarta) | 50 |
Asia-Pasifik | Jepang (Tokyo) | 50 |
Eropa dan Amerika | Jerman (Frankfurt) | 50 |
Eropa dan Amerika | AS (Silicon Valley) | 100 |
Eropa dan Amerika | AS (Virginia) | 50 |
Eropa dan Amerika | Inggris (London) | 50 |
Timur Tengah dan India | UEA (Dubai) | 50 |
Setiap operasi dalam layanan tunneling data (seperti menulis blok, membuat sesi unduh, atau flush) menempati satu slot. Ketika koneksi persisten menganggur tanpa transfer data dalam periode yang lama, server secara otomatis memutus koneksi tersebut dan melepaskan slot yang ditempati. Oleh karena itu, meskipun jumlah slot konkuren mencapai batas, koneksi menganggur akan secara otomatis dikembalikan setelah periode tertentu tanpa intervensi manual.
Kode status valid untuk Layanan Transmisi Data
Kode status | Nama kode status |
200 | HTTP_OK |
201 | HTTP_CREATED |
400 | HTTP_BAD_REQUEST |
401 | HTTP_UNAUTHORIZED |
403 | HTTP_FORBIDDEN |
404 | HTTP_NOT_FOUND |
405 | HTTP_METHOD_NOT_ALLOWED |
409 | HTTP_CONFLICT |
422 | HTTP_UNPROCESSABLE_ENTITY |
429 | HTTP_TOO_MANY_REQUESTS |
499 | HTTP_CLIENT_CLOSED_REQUEST |
500 | HTTP_INTERNAL_SERVER_ERROR |
502 | HTTP_BAD_GATEWAY |
503 | HTTP_SERVICE_UNAVAILABLE |
504 | HTTP_GATEWAY_TIME_OUT |
Kebijakan ulang untuk permintaan gagal
Setelah permintaan gagal, klien harus menunggu selama periode waktu tertentu sebelum mencoba ulang.
Waktu tunggu untuk permintaan gagal berturut-turut harus meningkat secara eksponensial, dimulai dari minimal 1 detik. Contohnya: 1 dtk, 2 dtk, 4 dtk, 8 dtk, 16 dtk, 32 dtk, dan seterusnya.
Permintaan duplikat
URL-nya sama (URI dan parameter URI).
Permintaan berturut-turut dikirim dari alamat IP klien yang sama.
Permintaan valid
Permintaan yang mengembalikan kode status valid dan mengikuti kebijakan ulang.
Permintaan tidak valid
Permintaan yang mengembalikan kode status valid tetapi tidak mengikuti kebijakan ulang.
CatatanPerjanjian Tingkat Layanan (SLA) tidak mencakup permintaan tidak valid.
Permintaan Serangan
Permintaan yang tidak mengikuti kebijakan ulang untuk kode status throttle 429 dan 503.
Untuk permintaan serangan, layanan mengisolasi alamat IP klien, UID, dan proyek yang memulai serangan tersebut. Objek yang diisolasi tidak dapat lagi mengakses layanan.
CatatanSLA tidak mencakup permintaan serangan.
FAQ
Apa penyebab umum perlambatan Layanan Transmisi Data?
Karena keterbatasan dalam arsitektur layanan, layanan Tunnel MaxCompute mungkin mengalami latensi permintaan sesekali dalam skenario berikut. Misalnya, waktu yang diperlukan untuk mengunggah atau mengunduh data 10 MB dapat meningkat dari hitungan detik menjadi menit.
Sumber daya layanan Tunnel bersama habis (CPU atau lebar pita jaringan)
Durasi: Beberapa menit hingga beberapa jam.
Hal ini tidak dapat dihindari karena keterbatasan dalam arsitektur layanan. Jika Anda memerlukan stabilitas tinggi, beli sumber daya Tunnel khusus.
Tautan jaringan dari klien ke layanan Tunnel tidak stabil (unggah atau unduh melalui jaringan publik)
Durasi: Tidak dapat diprediksi.
Stabilitas jaringan publik tidak dapat dijamin. Jika Anda memerlukan stabilitas tinggi, gunakan jaringan internal Alibaba Cloud.
Sumber daya klien habis (CPU atau lebar pita jaringan)
Durasi: Tidak dapat diprediksi.
Evaluasi sumber daya fisik pada klien.
Logika kode klien tidak efisien (misalnya, pemrosesan data berdurasi panjang selama unggah atau unduh melalui koneksi persisten)
Durasi: Tidak dapat diprediksi.
Pertimbangkan performa transmisi data saat merancang kode.