:Buat tugas pengiriman OSS (versi lama)

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Pada bagian Projects, klik proyek yang diinginkan.

   

3. Di tab Log Storage > Logstores, klik > di sebelah kiri logstore target, lalu pilih Data Processing > Export > Object Storage Service (OSS).

4. Arahkan kursor ke Object Storage Service (OSS), lalu klik ikon +.

5. Di panel OSS LogShipper, konfigurasikan parameter berikut, lalu klik OK.

   Atur Shipping Version ke Old Version. Tabel berikut menjelaskan parameter utama.

   Parameter	Deskripsi
   OSS shipper name	Nama tugas pengiriman.
   OSS bucket	Nama bucket OSS tujuan. Penting Bucket harus sudah ada, memiliki kebijakan Write-Once-Read-Many (WORM) yang dinonaktifkan, dan berada di wilayah yang sama dengan proyek SLS. Untuk informasi selengkapnya tentang WORM, lihat Retention Policy (WORM). Anda dapat mengirimkan data ke bucket dengan kelas penyimpanan Standard, Infrequent Access (IA), Archive, Cold Archive, dan Deep Cold Archive. Secara default, kelas penyimpanan objek OSS yang dihasilkan sama dengan kelas penyimpanan bucket tersebut. Untuk informasi selengkapnya, lihat Storage class. Kelas penyimpanan selain Standard memiliki durasi penyimpanan minimum dan ukuran tagihan minimum. Pilih kelas penyimpanan untuk bucket tujuan yang sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya, lihat Storage class comparison.
   File delivery directory	Direktori di bucket OSS. Nama direktori tidak boleh diawali dengan garis miring (/) atau backslash (\). Setelah tugas pengiriman OSS dibuat, data dari Logstore akan dikirimkan ke direktori ini di bucket OSS tujuan.
   Partition format	Format untuk menghasilkan subdirektori bucket OSS secara dinamis berdasarkan waktu pembuatan tugas pengiriman. Format tidak boleh diawali dengan garis miring (/). Nilai default adalah %Y/%m/%d/%H/%M. Untuk contoh, lihat Partition format. Untuk detail parameter, lihat strptime API.
   OSS write RAM role	Memberikan izin kepada tugas pengiriman OSS untuk menulis data ke bucket OSS. Default Role: Memberikan otorisasi kepada pekerjaan untuk menggunakan peran sistem Alibaba Cloud AliyunLogDefaultRole guna menulis data ke bucket OSS. Masukkan ARN dari AliyunLogDefaultRole. Untuk informasi tentang cara mendapatkan ARN, lihat Access data using a default role. Custom Role: Memberikan otorisasi kepada pekerjaan untuk menggunakan peran kustom guna menulis data ke bucket OSS. Anda harus terlebih dahulu memberikan izin kepada peran kustom untuk menulis data ke bucket OSS. Kemudian, masukkan ARN peran kustom tersebut di bidang OSS write RAM role. Untuk mendapatkan ARN: Jika logstore dan bucket OSS berada dalam satu akun Alibaba Cloud yang sama, lihat Step 2: Grant a RAM role permissions to write data to an OSS bucket. Jika logstore dan bucket OSS berada dalam akun Alibaba Cloud yang berbeda, lihat Step 2: Grant the RAM role role-b permissions to write data to an OSS bucket.
   Shipping size	Jumlah data yang dikirimkan dari setiap shard. Nilai ini mengontrol ukuran data yang belum dikompresi dalam setiap objek OSS. Nilainya harus berupa bilangan bulat antara 5 hingga 256. Satuan: MB. Ketika data yang akan dikirimkan dari sebuah shard mencapai ukuran ini, instans pengiriman baru akan dibuat secara otomatis.
   Storage format	Format penyimpanan untuk data yang dikirimkan ke OSS. Untuk informasi selengkapnya, lihat JSON format, CSV format, dan Parquet format.
   Compress	Metode kompresi untuk data yang disimpan di OSS. No Compress: Data tidak dikompresi. Compress(snappy): Data dikompresi menggunakan algoritma snappy. Hal ini mengurangi penggunaan penyimpanan di bucket OSS.
   Shipping interval	Interval pengiriman untuk setiap shard. Nilainya harus berupa bilangan bulat antara 300 hingga 900. Nilai default: 300. Satuan: detik. Ketika interval pengiriman untuk sebuah shard tercapai, instans pengiriman baru akan dibuat secara otomatis.

Lihat data di OSS

Setelah data berhasil dikirimkan ke OSS, Anda dapat mengaksesnya melalui Konsol OSS, API, SDK, atau alat lainnya. Untuk informasi selengkapnya, lihat Object management.

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

Partition format

Ketika Anda menganalisis data OSS menggunakan platform data besar seperti Hive, MaxCompute, atau Data Lake Analytics (DLA), Anda dapat menggunakan informasi partisi dengan mengatur format partisi ke format key=value. Sebagai contoh, jalur oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet menggunakan tiga kolom partisi: year, mon, dan day.

Operasi tambahan