：Stabilitas dan batasan

Stabilitas

Deskripsi

Ketersediaan

Ketersediaan tinggi.

Jika terjadi kesalahan di Simple Log Service dan data tidak dapat dibaca, tugas pengiriman data MaxCompute akan mencoba setidaknya 10 kali secara internal. Jika tugas tetap gagal, kesalahan dilaporkan dan tugas dimulai ulang.

Stabilitas

Deskripsi

Konkurensi

Partisi dibuat berdasarkan Simple Log Service shard dan instance pengiriman dibuat. Ini mendukung skala keluar dengan cepat.

Jika sebuah Logstore sumber di Simple Log Service melakukan pemisahan shard, instance pengiriman dapat diperluas dalam hitungan detik untuk mempercepat ekspor data.

Tidak ada kehilangan data

Tugas pengiriman data MaxCompute diperluas berdasarkan kelompok konsumen untuk memastikan konsistensi. Offset hanya dikirimkan setelah data dikirimkan. Ini memastikan bahwa offset tidak dikirimkan sebelum data ditulis ke MaxCompute, mencegah kehilangan data.

Perubahan skema

Jika Anda menambahkan kolom baru ke tabel MaxCompute selama pengiriman data, kolom baru hanya akan ditulis ke partisi baru. Kolom tersebut tidak akan ditulis ke partisi lama atau partisi saat ini.

Jenis kesalahan

Dianggap sebagai catatan gagal

Deskripsi

Kesalahan partisi

Ya

Skenario umum termasuk partisi tidak valid atau kolom kunci partisi yang tidak ada. Catatan data tidak ditulis ke MaxCompute.

Kolom data tidak valid

Tidak

Skema umum termasuk ketidakcocokan tipe data atau kegagalan konversi tipe. Data di kolom ini tidak ditulis ke MaxCompute. Data di kolom lainnya ditulis ke MaxCompute seperti biasa.

Kolom data terlalu panjang

Tidak

Skema umum adalah bahwa data melebihi batas panjang tipe string atau varchar. Data di kolom ini dipotong lalu ditulis ke MaxCompute. Data di kolom lainnya ditulis ke MaxCompute seperti biasa.

Stabilitas

Deskripsi

Pemantauan dan peringatan

Pengiriman data menyediakan pemantauan komprehensif untuk melacak metrik seperti latensi dan lalu lintas tugas pengiriman secara real-time. Anda dapat mengonfigurasi peringatan khusus berdasarkan kebutuhan bisnis Anda untuk mendeteksi masalah pengiriman dengan cepat, seperti instans ekspor yang tidak mencukupi atau batas kuota jaringan. Untuk informasi lebih lanjut, lihat Atur peringatan untuk tugas pengiriman data MaxCompute (versi baru).

Stabilitas

Deskripsi

Terlalu banyak partisi

Saat tugas dimulai ulang, jika ada terlalu banyak partisi dan operasi tulis tidak selesai dalam 5 menit, kemungkinan terjadi duplikasi data.

Kegagalan penulisan data

Saat tugas dimulai ulang dan gagal menulis data ke MaxCompute karena kesalahan otorisasi atau jaringan, kemungkinan terjadi duplikasi data sebagian.

Batas

Deskripsi

Jaringan untuk pengiriman intra-region

Saat mengirimkan data dalam wilayah yang sama, data ditransmisikan melalui jaringan internal Alibaba Cloud. Ini memastikan stabilitas dan kecepatan jaringan yang lebih baik.

Batas

Deskripsi

Lalu lintas baca

Batas lalu lintas maksimum ada untuk satu proyek dan satu shard. Untuk informasi lebih lanjut, lihat Pembacaan dan penulisan data.

Jika batas lalu lintas maksimum terlampaui, pisahkan shard atau ajukan permintaan untuk meningkatkan batas lalu lintas baca untuk proyek. Melebihi batas menyebabkan tugas pengiriman data MaxCompute gagal saat membaca data. Tugas mencoba setidaknya 10 kali secara internal. Jika masih gagal, kesalahan dilaporkan dan tugas dimulai ulang.

Batas

Deskripsi

Instans konkuren

Jumlah maksimum instans ekspor konkuren adalah 64.

Jika jumlah Simple Log Service shard melebihi 64, beberapa shard digabungkan menjadi satu instans untuk diekspor. Sistem mencoba menjaga jumlah shard di setiap instans tetap sama.

Ambang batas tulis

• Kecepatan tulis maksimum untuk satu partisi MaxCompute adalah 10 MB/s.

• Kecepatan tulis maksimum untuk satu proyek MaxCompute bervariasi berdasarkan wilayah. Misalnya, batas untuk China (Hangzhou) adalah 1 MB/s × 300 = 300 MB/s. Rumusnya dijelaskan sebagai berikut:

  • 1 MB/s: Kecepatan di mana satu slot menulis data ke MaxCompute. Untuk informasi lebih lanjut, lihat Batasan Layanan Tunnel Lindorm.

  • 300: Jumlah maksimum slot yang tersedia untuk satu proyek di wilayah China (Hangzhou). Untuk informasi lebih lanjut, lihat Sumber daya bersama.

Larangan modifikasi skema tabel

Pengiriman data MaxCompute (versi baru) menggunakan penulisan aliran MaxCompute. Selama penulisan aliran ke MaxCompute, Layanan Tunnel Lindorm melarang modifikasi skema seperti menyisipkan, memperbarui, atau menghapus kolom, atau mengubah urutan kolom dalam tabel target. Untuk informasi lebih lanjut, lihat Ikhtisar Layanan Tunnel Lindorm.

Karena pembatasan modifikasi skema ini, Anda tidak dapat menggunakan pengiriman data MaxCompute (versi baru) dan pengiriman data MaxCompute (versi lama) untuk menulis data ke tabel MaxCompute yang sama secara bersamaan.

Tabel khusus yang tidak didukung

Anda tidak dapat menulis data ke tabel eksternal MaxCompute, tabel transaksional, atau tabel terkluster.

Perubahan skema tabel

Jika skema tabel MaxCompute Anda berubah, Anda harus menjeda tugas pengiriman data MaxCompute selama 20 menit lalu memulainya kembali agar perubahan skema berlaku.

Waktu mulai

• Start At A Specific Time: Waktu pengiriman data dihitung berdasarkan __receive_time__. Waktu mulai tidak boleh lebih dari 24 jam lebih awal dari waktu saat ini.

• Specific Time Range: Waktu pengiriman data dihitung berdasarkan __receive_time__. Waktu mulai tidak boleh lebih dari 24 jam lebih awal dari waktu saat ini dan tidak boleh lebih lambat dari waktu akhir.

Batas

Deskripsi

Otorisasi tulis

Otorisasi tulis MaxCompute mendukung Pengguna Manajemen Akses Sumber Daya (RAM) dan Peran RAM. Anda harus melakukan operasi terpisah di MaxCompute.

Batas

Deskripsi

Menjeda tugas pengiriman data

Tugas pengiriman data mencatat kursor log dari pengiriman terakhir. Saat tugas dilanjutkan, pengiriman akan dilanjutkan dari kursor yang telah dicatat. Mekanisme berikut berlaku saat Anda menjeda tugas pengiriman data.

• Jika Anda menjeda tugas untuk periode yang tidak melebihi periode retensi data, sistem melanjutkan pengiriman dari posisi terakhir saat Anda memulai ulang tugas. Tidak ada data yang hilang.

• Jika Anda menjeda tugas untuk periode yang melebihi periode retensi data, sistem mulai mengirimkan dari catatan data terdekat ke posisi di mana tugas dijeda saat Anda memulai ulang tugas.

Batasan

Deskripsi

Mengaktifkan daftar putih dalam manajemen proyek MaxCompute, seperti daftar putih IP jaringan klasik, dapat menyebabkan kegagalan pengiriman data

Anda dapat menjalankan perintah di MaxCompute untuk menyelesaikan kegagalan pengiriman data yang disebabkan oleh daftar putih.

1. Jalankan setproject; select 1; untuk memeriksa konfigurasi daftar putih saat ini.

2. Tambahkan AliyunLogSLRService,AliyunLogDefaultService ke daftar putih layanan yang ada. Perintah lengkapnya adalah sebagai berikut:

   setproject odps.security.ip.whitelist.services=AliyunLogSLRService,AliyunLogDefaultService;

3. Setelah konfigurasi selesai, jalankan setproject; select 1; untuk memastikan bahwa konfigurasi daftar putih telah berlaku.

Untuk informasi lebih lanjut, lihat Memecahkan masalah kegagalan pengiriman MaxCompute yang disebabkan oleh daftar putih.