:Stabilitas dan batasan pengiriman data OSS

Item

Description

Ketersediaan

Tersedia dengan tingkat ketersediaan tinggi.

Jika pekerjaan pengiriman data OSS gagal membaca data dari Simple Log Service karena terjadi error pada Simple Log Service, pekerjaan tersebut akan dicoba ulang minimal 10 kali. Jika tetap gagal, error dilaporkan dan pekerjaan dimulai ulang.

Item

Description

Concurrency

Instans pengiriman data dapat dibuat berdasarkan shard, dan resource yang digunakan untuk pengiriman data dapat diskalakan.

Jika sebuah shard di Logstore sumber melakukan split, jumlah instans pengiriman secara otomatis diskalakan dalam hitungan detik untuk mempercepat ekspor data.

Konsistensi data

Resource yang diperlukan diskalakan berdasarkan consumer groups yang ditentukan untuk memastikan konsistensi data. Offset hanya dikirim setelah data berhasil dikirim ke OSS. Hal ini membantu memastikan bahwa seluruh data dikirim ke OSS.

Item

Description

Pemantauan dan peringatan

Anda dapat memantau pekerjaan pengiriman data secara real time berdasarkan metrik seperti latensi dan traffic pekerjaan pengiriman data. Anda dapat mengonfigurasi peringatan kustom sesuai kebutuhan bisnis untuk melaporkan exception yang terjadi selama pengiriman data sedini mungkin. Misalnya, jika instans pengiriman data yang digunakan untuk mengekspor data tidak mencukupi atau kuota jaringan terlampaui, peringatan akan dipicu. Untuk informasi lebih lanjut, lihat Konfigurasi aturan pemantauan peringatan untuk memantau pekerjaan pengiriman data versi baru OSS.

Item

Description

Jenis jaringan

Transfer data melalui jaringan internal Alibaba Cloud cepat dan stabil.

Item

Description

Otorisasi

Izin untuk mengirim data ke OSS dan mengakses data harus diberikan. Untuk informasi lebih lanjut, lihat Ikhtisar otorisasi.

Enkripsi sisi server

Jika enkripsi sisi server diaktifkan, Anda harus memberikan izin tambahan kepada role Resource Access Management (RAM) yang terlibat. Untuk informasi lebih lanjut, lihat Dokumentasi konfigurasi OSS.

Item

Description

Baca Trafik

Simple Log Service menetapkan batas atas traffic baca dalam satu Proyek dan satu shard. Untuk informasi lebih lanjut, lihat Baca dan tulis data.

Jika batas terlampaui, Anda harus melakukan split shard atau mengajukan permohonan peningkatan batas pada Proyek Anda. Jika pekerjaan pengiriman data OSS gagal membaca data karena batas terlampaui, pekerjaan tersebut akan dicoba ulang minimal 10 kali. Jika tetap gagal, error dilaporkan dan pekerjaan dimulai ulang.

Item

Description

Instans konkuren

Jumlah instans konkuren harus sama dengan jumlah shard. Shard tersebut mencakup shard readwrite dan shard readonly.

Pengiriman data

• Ukuran data log dalam satu shard menentukan ukuran data log mentah yang dikirim ke OSS dan disimpan dalam objek OSS. Rentang nilai ukuran data log dalam satu shard adalah 5 hingga 256. Satuan: MB.

• Rentang nilai interval antara dua pekerjaan pengiriman data yang mengirim data log dari shard yang sama adalah 300 hingga 900. Satuan: detik.

• Satu objek OSS dihasilkan untuk setiap pekerjaan pengiriman data dari satu instans konkuren.

Partisi waktu

Dalam satu pekerjaan pengiriman data, data dikirim ke OSS melalui beberapa operasi pengiriman. Setiap operasi pengiriman data menyimpan data ke objek OSS yang berbeda. Path objek OSS ditentukan oleh titik waktu paling awal saat Simple Log Service menerima data yang dikirim ke objek OSS tersebut. Titik waktu ini ditentukan oleh receive_time.

Format file

Setelah data dikirim ke OSS, data dapat disimpan dalam salah satu format berikut: CSV, JSON, Parquet, dan ORC. Untuk informasi lebih lanjut, lihat Format JSON, Format CSV, Format Parquet, dan Format ORC.

Metode kompresi

Metode kompresi berikut didukung: snappy, gzip, dan zstd. Tidak melakukan kompresi juga didukung.

Bucket OSS

• Anda hanya dapat mengirim data ke bucket OSS yang sudah ada dan fitur Write Once Read Many (WORM) dinonaktifkan. Bucket tersebut harus berada di Wilayah yang sama dengan Proyek Simple Log Service Anda. Untuk informasi lebih lanjut tentang fitur WORM, lihat Kebijakan retensi (WORM).

• Anda dapat mengirim data ke bucket OSS dengan kelas penyimpanan berikut: Standard, Infrequent Access (IA), Archive, dan Cold Archive. Secara default, kelas penyimpanan objek OSS yang dihasilkan untuk menyimpan data yang dikirim sama dengan kelas penyimpanan bucket OSS yang ditentukan. Untuk informasi lebih lanjut tentang kelas penyimpanan, lihat Ikhtisar.

• Batasan berikut berlaku untuk bucket OSS dengan kelas penyimpanan IA, Archive, atau Cold Archive: periode penyimpanan minimum dan ukuran tagihan minimum. Kami menyarankan Anda menentukan kelas penyimpanan untuk bucket OSS Anda berdasarkan kebutuhan bisnis. Untuk informasi lebih lanjut tentang kelas penyimpanan, lihat Ikhtisar.

Item

Description

Shipping latency

Nilai shipping latency yang dikonfigurasi tidak boleh melebihi periode retensi data Logstore sumber.

Kami menyarankan menetapkan buffer untuk mencegah kehilangan data. Misalnya, jika periode retensi data Logstore adalah 30 hari, atur shipping latency menjadi 25 hari atau kurang.

Item

Description

Pause of a data shipping job

Jika Anda pause pekerjaan pengiriman data, pekerjaan tersebut mencatat cursor dari log terakhir yang dikirim. Setelah Anda resume pekerjaan, pengiriman log dilanjutkan dari cursor yang telah dicatat. Simple Log Service menerapkan mekanisme berikut saat Anda pause pekerjaan pengiriman data:

• Jika Anda pause pekerjaan pengiriman data selama periode tertentu dan periode retensi data yang ingin dikirim belum berakhir, sistem akan melanjutkan pengiriman data dari cursor terakhir setelah Anda resume pekerjaan.

• Jika Anda pause pekerjaan pengiriman data selama periode tertentu dan periode retensi data yang ingin dikirim telah berakhir, sistem akan melanjutkan pengiriman data dari data yang paling dekat dengan cursor terakhir setelah Anda resume pekerjaan.