:Buat Pekerjaan pengiriman data OSS (versi baru)

Prasyarat

• Proyek dan LogStore telah dibuat.

• Data log telah dikumpulkan.

• Bucket OSS telah dibuat di wilayah tempat Proyek SLS berada. Untuk informasi selengkapnya, lihat []]().

• Versi baru pengiriman data OSS hanya tersedia di wilayah tertentu. Pastikan Proyek Anda berada di wilayah yang didukung.

Wilayah yang didukung

SLS mengirimkan data ke OSS dalam wilayah yang sama. Bucket OSS harus berada di wilayah tempat Proyek SLS berada.

Buat pekerjaan pengiriman data

Masuk ke Konsol Simple Log Service.

1. Di tab Log Storage > Logstores, klik > di sebelah kiri LogStore target, lalu pilih Data Processing > Export > Object Storage Service.

2. Arahkan pointer ke Object Storage Service dan klik +.

3. Pada panel Data Shipping to OSS, konfigurasikan parameter berikut dan klik OK.

   Atur Shipping Version ke New Version. Tabel berikut menjelaskan parameter utama.

   • Setelah Anda membuat Pekerjaan Pengiriman Data OSS, setiap shard menentukan frekuensi pengirimannya berdasarkan Batch Size dan Batch Interval. Pengiriman dipicu ketika salah satu kondisi terpenuhi.

   Parameter	Deskripsi
   Job Name	Nama unik untuk pekerjaan pengiriman.
   Display Name	Nama tampilan untuk pekerjaan pengiriman.
   Job Description	Deskripsi tugas pengiriman OSS.
   OSS Bucket	Nama bucket OSS. > Important: - Bucket harus sudah ada, harus memiliki Write Once Read Many (WORM) dinonaktifkan, dan harus berada di wilayah yang sama dengan Proyek SLS.
   OSS Write RAM Role	Memberikan izin kepada Pekerjaan pengiriman data OSS untuk menulis data ke bucket OSS. Jika LogStore dan bucket OSS berada dalam Akun Alibaba Cloud yang sama, pilih Default Role. Jika berada dalam akun berbeda, pilih Custom Role. - Default Role: Memberikan otorisasi kepada Pekerjaan pengiriman data OSS untuk menulis data ke bucket OSS sebagai role sistem Alibaba Cloud AliyunLogDefaultRole. Masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari AliyunLogDefaultRole. Untuk informasi cara memperoleh ARN, lihat []](). - Custom Role: Memberikan otorisasi kepada Pekerjaan pengiriman data OSS untuk menulis data ke bucket OSS sebagai role kustom. Berikan izin kepada role kustom tersebut untuk menulis data ke bucket OSS, lalu masukkan ARN role kustom tersebut di OSS Write RAM Role. Peroleh ARN berdasarkan skenario berikut: - Jika LogStore dan bucket OSS berada dalam Akun Alibaba Cloud yang sama, lihat []](). - Jika LogStore dan bucket OSS berada dalam Akun Alibaba Cloud yang berbeda, lihat []]().
   LogStore Read RAM Role	Memberikan izin kepada Pekerjaan pengiriman data OSS untuk membaca data dari LogStore. Jika LogStore dan bucket OSS berada dalam Akun Alibaba Cloud yang sama, pilih Default Role. Jika berada dalam akun berbeda, pilih Custom Role. - Default Role: Memberikan otorisasi kepada Pekerjaan pengiriman data OSS untuk membaca data dari LogStore sebagai role sistem Alibaba Cloud AliyunLogDefaultRole. Masukkan ARN dari AliyunLogDefaultRole. Untuk informasi cara memperoleh ARN, lihat []](). - Custom Role: Memberikan otorisasi kepada Pekerjaan pengiriman data OSS untuk membaca data dari LogStore sebagai role kustom. Berikan izin kepada role kustom tersebut untuk membaca data dari LogStore, lalu masukkan ARN role kustom tersebut di LogStore Read RAM Role.
   Storage Format	Setelah data dikirimkan ke OSS, data dapat disimpan dalam berbagai format file.
   Compress	Metode kompresi yang digunakan untuk menyimpan data di OSS. - No Compress (none): tidak mengompresi data. - Compress (snappy): mengompresi data menggunakan algoritma snappy untuk mengurangi storage space bucket OSS. - Compress (zstd): mengompresi data menggunakan algoritma zstd untuk mengurangi storage space bucket OSS. - Compress (gzip): mengompresi data menggunakan algoritma gzip untuk mengurangi storage space bucket OSS.
   Ship Tags	Bidang tag adalah bidang cadangan SLS.
   Batch Size	Jumlah data log yang belum dikompresi yang harus terkumpul dalam sebuah shard sebelum pengiriman dimulai. Nilai valid: 5 hingga 256. Satuan: MB. Nilai ini mengontrol perkiraan ukuran setiap objek OSS. Batch Size mengukur data yang terkumpul setelah SLS mulai membaca, bukan data yang sudah ditulis ke SLS. Data hanya dibaca dan dikirimkan setelah kondisi Batch Interval juga terpenuhi.
   Batch Interval	Waktu maksimum yang ditunggu oleh sebuah shard sebelum memicu operasi pengiriman. Pengiriman dimulai ketika waktu yang ditentukan telah berlalu sejak entri log pertama tiba dalam batch saat ini. Nilai default: 300. Nilai valid: 300 hingga 900. Satuan: detik.
   Shipping Latency	Penundaan sebelum data dikirimkan. Misalnya, jika Anda mengatur parameter ini ke 3600, data akan dikirimkan satu jam kemudian. Data yang dihasilkan pada pukul 10:00:00 tanggal 5 Juni 2023 tidak akan ditulis ke bucket OSS yang ditentukan lebih awal dari pukul 11:00:00 tanggal 5 Juni 2023.
   Start Time Range	Rentang waktu untuk Pekerjaan pengiriman data OSS. Rentang waktu didasarkan pada waktu penerimaan log. Nilai valid: - All: mengirimkan data sejak LogStore menerima log pertama hingga pekerjaan dihentikan secara manual. - From Specific Time: mengirimkan data sejak waktu mulai yang ditentukan hingga pekerjaan dihentikan secara manual. - Specific Time Range: mengirimkan data dari waktu mulai yang ditentukan hingga waktu akhir yang ditentukan. Pekerjaan akan berhenti otomatis pada waktu akhir yang ditentukan. Rentang waktu didasarkan pada bidang __tag__:__receive_time__.
   Time Zone	Zona waktu yang digunakan untuk memformat nilai waktu. Jika Anda mengonfigurasi Time Zone dan Partition Format, subdirektori dalam bucket OSS akan dibuat berdasarkan pengaturan Anda.

4. Setelah pekerjaan dibuat, periksa status pekerjaan dan pastikan data muncul di bucket OSS tujuan untuk mengonfirmasi bahwa pekerjaan pengiriman berjalan sesuai harapan.

Lihat data OSS

Setelah data dikirimkan ke OSS, Anda dapat mengakses data tersebut melalui Konsol OSS atau menggunakan API OSS, SDK, atau metode lainnya.

Format partisi

Setiap operasi pengiriman dipetakan ke URL objek OSS dalam format oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID. Tabel berikut menjelaskan format partisi, berdasarkan pekerjaan pengiriman yang dibuat pada pukul 19.50.43 tanggal 20 Januari 2022.

OSS-BUCKET adalah nama bucket OSS. OSS-PREFIX adalah awalan direktori. PARTITION-FORMAT adalah format partisi, yang dihitung dari waktu pengiriman menggunakan API strptime. RANDOM-ID adalah pengenal unik untuk operasi pengiriman.

| test-bucket | log_ship_oss_example | %Y%m%d%H | .suffix | oss://test-bucket/log_ship_oss_example/2022012019_1484913043351525351_2850008.suffix |

• Ketika Anda mengirimkan data real-time, misalnya setiap lima menit sekali, operasi pengiriman yang dilakukan pada pukul 00.00.00 tanggal 22 Januari 2022 mengirimkan data yang ditulis ke shard SLS setelah pukul 23.55 tanggal 21 Januari 2022. Untuk menganalisis semua data tanggal 22 Januari 2022, periksa semua objek di subdirektori 2022/01/22 bucket OSS, dan periksa apakah objek terakhir di subdirektori 2022/01/21 berisi data tanggal 22 Januari 2022.

• Ketika Anda mengirimkan data historis, jika jumlah data di LogStore kecil, satu kali tarik (pull) dapat mengembalikan data dari beberapa hari. Akibatnya, objek di subdirektori 2022/01/22 dapat berisi semua data tanggal 23 Januari 2022, dan tidak ada objek di subdirektori 2022/01/23.

  Ketika Anda menggunakan platform data besar seperti Hive atau MaxCompute, atau Alibaba Cloud Data Lake Analytics (DLA), untuk menganalisis data OSS, Anda dapat mengatur PARTITION-FORMAT dalam nama objek ke format key=value jika ingin menggunakan informasi partisi. Contoh: oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet. Dalam contoh ini, tiga kolom partisi dikonfigurasi: year, mon, dan day.