:Stabilitas dan batasan

Item

Deskripsi

Ketersediaan

Ketersediaan tinggi.

Jika terjadi error baca dari Simple Log Service, tugas MaxCompute shipping akan mencoba ulang secara otomatis minimal 10 kali. Jika masalah tetap berlanjut, tugas tersebut melaporkan error lalu restart.

Item

Deskripsi

Konkurensi

Layanan membuat satu instans pengiriman data untuk setiap shard Simple Log Service, yang memungkinkan penskalaan cepat.

Jika sebuah shard di sumber Simple Log Service mengalami pemisahan (split), instans pengiriman data baru dibuat dalam hitungan detik untuk mempercepat ekspor data.

Tidak ada kehilangan data

Tugas pengiriman data menggunakan consumer group untuk memberikan jaminan konsistensi. Tugas hanya melakukan commit offset setelah data berhasil dikirimkan. Model pengiriman at-least-once ini memastikan tidak ada data yang hilang.

Perubahan skema

Jika Anda menambahkan kolom baru ke tabel MaxCompute selama proses pengiriman data, tugas hanya akan menulis kolom baru tersebut ke partisi-partisi baru, bukan ke partisi yang sudah ada atau sedang aktif.

Jenis error

Dihitung sebagai kegagalan

Deskripsi

Error partisi

Ya

Penyebab umum termasuk partisi tidak valid atau kolom kunci partisi tidak ada. Tugas tidak menulis baris data ini ke MaxCompute.

Kolom data tidak valid

Tidak

Penyebab umum termasuk ketidaksesuaian tipe data atau kegagalan konversi tipe. Tugas tidak menulis data pada kolom ini ke MaxCompute, tetapi tetap menulis data pada kolom lain dalam baris yang sama secara normal.

Data kolom terlalu panjang

Tidak

Penyebab umum adalah data melebihi batas panjang untuk tipe data string atau varchar. Tugas memotong (truncate) data pada kolom ini sebelum menuliskannya ke MaxCompute. Data pada kolom lain dalam baris yang sama ditulis secara normal.

Item

Deskripsi

Pemantauan dan peringatan

Pengiriman data mencakup fitur pemantauan komprehensif untuk melacak metrik seperti latensi tugas dan traffic secara real time. Anda dapat mengonfigurasi peringatan kustom sesuai kebutuhan bisnis untuk mendeteksi masalah pengiriman data secara cepat, seperti jumlah instans pengiriman data yang tidak mencukupi atau batas kuota jaringan. Untuk informasi lebih lanjut, lihat Konfigurasi peringatan untuk tugas MaxCompute shipping (Versi Baru).

Item

Deskripsi

Terlalu banyak partisi

Jika tugas direstart saat menulis ke jumlah partisi yang besar, operasi tulis yang memerlukan waktu lebih dari 5 menit untuk diselesaikan dapat menyebabkan duplikasi data.

Kegagalan penulisan data

Jika tugas direstart setelah kegagalan menulis ke MaxCompute akibat error otorisasi atau jaringan, duplikasi data parsial mungkin terjadi.

Batasan

Deskripsi

Jaringan untuk pengiriman intra-region

Pengiriman intra-region menggunakan jaringan internal Alibaba Cloud untuk transmisi data. Hal ini memberikan stabilitas dan kecepatan jaringan yang lebih tinggi.

Batasan

Deskripsi

Trafik baca

Setiap proyek dan shard memiliki batas maksimum traffic baca. Untuk informasi lebih lanjut, lihat Pembacaan dan penulisan data.

Jika batas ini dilampaui, Anda harus melakukan split shard atau mengajukan permintaan untuk meningkatkan batas traffic baca proyek. Jika batas dilampaui, tugas pengiriman data gagal lalu mencoba ulang minimal 10 kali. Jika masalah tetap berlanjut, tugas melaporkan error lalu restart.

Batasan

Deskripsi

Instans konkuren

Maksimal 64 instans pengiriman data konkuren didukung.

Jika jumlah shard Simple Log Service melebihi 64, layanan akan menggabungkan beberapa shard ke dalam satu instans pengiriman data. Layanan berusaha mendistribusikan shard secara merata di seluruh instans.

Ambang batas penulisan

• Throughput penulisan maksimum untuk satu partisi MaxCompute adalah 10 MB/s.

• Throughput penulisan maksimum untuk satu proyek MaxCompute bervariasi berdasarkan wilayah. Sebagai contoh, batas di wilayah China (Hangzhou) adalah 300 MB/s (1 MB/s × 300). Rumusnya dijelaskan sebagai berikut:

  • 1 MB/s: Throughput penulisan satu slot ke MaxCompute. Untuk informasi lebih lanjut, lihat Batasan MaxCompute Tunnel Service.

  • 300: Jumlah maksimum slot yang tersedia untuk satu proyek di wilayah China (Hangzhou). Untuk informasi lebih lanjut, lihat Sumber daya bersama.

Modifikasi skema tabel

MaxCompute shipping (Versi Baru) menggunakan MaxCompute Tunnel Service untuk penulisan aliran (stream writing). Selama proses ini, MaxCompute Tunnel Service melarang modifikasi skema pada tabel target, seperti menyisipkan, memperbarui, atau menghapus kolom, maupun mengubah urutan kolom. Untuk informasi lebih lanjut, lihat Ikhtisar MaxCompute Tunnel Service.

Pembatasan ini mencegah Anda menggunakan versi baru dan versi lama pengiriman data secara bersamaan untuk menulis ke tabel MaxCompute yang sama.

Jenis tabel yang tidak didukung

Pengiriman data ke tabel eksternal MaxCompute, tabel transaksional, atau tabel terkluster tidak didukung.

Perubahan skema tabel

Untuk menerapkan perubahan skema pada tabel target MaxCompute, hentikan sementara tugas pengiriman data selama 20 menit lalu restart kembali.

Waktu mulai

• Start at a specific time: Pengiriman data berdasarkan __receive_time__. Waktu mulai tidak boleh lebih dari 24 jam sebelum waktu saat ini.

• Specific time range: Pengiriman data berdasarkan __receive_time__. Waktu mulai tidak boleh lebih dari 24 jam sebelum waktu saat ini dan harus sebelum waktu akhir.

Batasan

Deskripsi

Otorisasi penulisan

Anda dapat memberikan izin tulis menggunakan RAM user atau RAM role, yang memerlukan konfigurasi terpisah di MaxCompute.

Batasan

Deskripsi

Menjeda tugas pengiriman

Tugas pengiriman data mencatat kursor log dari item terakhir yang dikirimkan. Saat tugas dilanjutkan, proses berlanjut dari kursor yang telah dicatat. Oleh karena itu, perilaku berikut berlaku saat Anda menjeda tugas pengiriman data:

• Jika Anda menjeda tugas selama durasi yang masih dalam periode retensi data, tugas akan dilanjutkan dari kursor terakhir yang disimpan saat dijalankan kembali. Tidak ada data yang hilang.

• Jika Anda menjeda tugas selama durasi yang melebihi periode retensi data, tugas akan dilanjutkan dari titik data paling awal yang tersedia setelah kursor terakhir yang disimpan.

Batasan

Deskripsi

Mengaktifkan daftar putih IP di proyek MaxCompute Anda, seperti daftar putih IP jaringan klasik, dapat menyebabkan tugas pengiriman data gagal.

Jalankan perintah berikut di MaxCompute untuk mengatasi kegagalan pengiriman data yang disebabkan oleh daftar putih IP.

1. Jalankan setproject; select 1; untuk menanyakan konfigurasi daftar putih saat ini.

2. Tambahkan AliyunLogSLRService,AliyunLogDefaultService ke daftar putih layanan yang sudah ada. Perintah lengkapnya adalah sebagai berikut:

   setproject odps.security.ip.whitelist.services=AliyunLogSLRService,AliyunLogDefaultService;

3. Setelah konfigurasi, jalankan setproject; select 1; lagi untuk memverifikasi bahwa daftar putih telah diperbarui.

Untuk informasi lebih lanjut, lihat Mengatasi kegagalan pengiriman data yang disebabkan oleh daftar putih IP.