Kirim data log dari Simple Log Service ke OSS -

Anda dapat menggunakan Simple Log Service untuk mengumpulkan data log dan mengirimkannya ke Object Storage Service (OSS) guna penyimpanan dan analisis. Topik ini menjelaskan cara mengirimkan data log dari Simple Log Service ke OSS.

Penting

Versi lama pengiriman log ke OSS sudah tidak digunakan lagi. Lihat versi baru.

Prasyarat

Sebuah Proyek dan Logstore telah dibuat. Untuk informasi lebih lanjut, lihat Buat Proyek dan Logstore.
Data log telah dikumpulkan. Untuk informasi lebih lanjut, lihat Ikhtisar Pengumpulan Data.
Sebuah Bucket OSS telah dibuat di wilayah tempat Proyek Simple Log Service berada. Untuk informasi lebih lanjut, lihat Buat Bucket.
Simple Log Service diberi otorisasi untuk mengakses sumber daya OSS. Anda dapat memberikan otorisasi kepada Simple Log Service untuk mengakses sumber daya OSS pada halaman Otorisasi Akses Sumber Daya Cloud.
Untuk informasi lebih lanjut tentang cara mengirimkan data log lintas akun Alibaba Cloud atau mengonfigurasi aturan pengiriman menggunakan pengguna RAM, lihat Melakukan Otorisasi di Konsol RAM.

Informasi latar belakang

Simple Log Service dapat secara otomatis mengirimkan data log dari Logstore ke Bucket OSS.

Anda dapat mengonfigurasi aturan siklus hidup untuk data log yang disimpan di Bucket OSS. Anda juga dapat mengonfigurasi Bucket OSS untuk menyimpan data log dalam jangka waktu yang lama.
Anda dapat menggunakan platform pemrosesan data seperti E-MapReduce dan Data Lake Analytics (DLA), atau menggunakan program kustom untuk mengonsumsi data log dari Bucket OSS.

Kirim data log

Penting

Setelah Anda mengonfigurasi aturan pengiriman, Simple Log Service menjalankan beberapa instance secara bersamaan.
Setelah instance pengiriman dibuat, Anda dapat memeriksa apakah aturan pengiriman memenuhi persyaratan Anda berdasarkan status pekerjaan dan data yang dikirimkan ke OSS.

Masuk ke Konsol Simple Log Service.
Di bagian Proyek, klik yang ingin Anda kelola.
Pada tab Log Storage > Logstores, temukan Logstore, klik >, lalu pilih Data Processing > Export > Object Storage Service (OSS).
Gerakkan pointer ke atas Object Storage Service (OSS) dan klik ikon +.

Di panel OSS LogShipper, konfigurasikan parameter dan klik OK.

Atur Shipping Version ke Old Version dan konfigurasikan parameter lainnya berdasarkan deskripsi berikut.

Parameter	Deskripsi
Nama OSS Shipper	Nama aturan pengiriman.
OSS Bucket	Nama bucket OSS tempat Anda ingin mengirimkan data log. Penting Anda hanya dapat mengirimkan data ke bucket OSS yang ada dengan fitur Write Once Read Many (WORM) dinonaktifkan. Bucket harus berada di wilayah yang sama dengan proyek Simple Log Service Anda. Untuk informasi lebih lanjut tentang fitur WORM, lihat Kebijakan retensi. Anda dapat mengirimkan data ke bucket OSS dengan kelas penyimpanan Standard, Infrequent Access (IA), Archive, Cold Archive, atau Deep Cold Archive. Secara default, kelas penyimpanan objek OSS yang dihasilkan yang menyimpan data terkirim sama dengan kelas penyimpanan bucket OSS yang ditentukan. Untuk informasi lebih lanjut, lihat Ikhtisar kelas penyimpanan. Berikut adalah batasan yang berlaku untuk bucket OSS yang bukan kelas penyimpanan Standard: periode penyimpanan minimum dan ukuran tagihan minimum. Kami menyarankan Anda menentukan kelas penyimpanan berdasarkan kebutuhan bisnis Anda saat membuat bucket OSS. Untuk informasi lebih lanjut, lihat Perbedaan antar kelas penyimpanan.
Direktori Pengiriman File	Direktori tempat Anda ingin mengirimkan data log di bucket OSS. Nilai tidak boleh dimulai dengan garis miring (/) atau backslash (\). Setelah tugas pengiriman OSS dibuat, data di Logstore dikirimkan ke direktori ini.
Format Shard	Format partisi yang digunakan untuk menghasilkan subdirektori di bucket OSS. Subdirektori dihasilkan secara dinamis berdasarkan waktu pembuatan tugas pengiriman. Format partisi default adalah %Y/%m/%d/%H/%M. Format partisi tidak boleh dimulai dengan garis miring (/). Untuk informasi lebih lanjut tentang contoh format partisi, lihat Format Shard. Untuk informasi lebih lanjut tentang parameter format partisi, lihat strptime.
Peran RAM Tulis OSS	Metode yang digunakan untuk mengotorisasi tugas pengiriman OSS untuk menulis data ke bucket OSS. Default Role: menentukan bahwa pekerjaan pengiriman data OSS mengasumsikan peran sistem AliyunLogDefaultRole untuk menulis data ke bucket OSS. Jika Anda memilih opsi ini, ARN peran sistem AliyunLogDefaultRole secara otomatis ditentukan. Untuk informasi lebih lanjut tentang cara mendapatkan ARN, lihat Akses data menggunakan peran default. Custom Role: menentukan bahwa pekerjaan pengiriman data OSS mengasumsikan peran kustom untuk menulis data ke bucket OSS. Jika Anda memilih opsi ini, Anda harus memberikan izin kepada peran kustom untuk menulis data ke bucket OSS. Kemudian, masukkan ARN peran kustom di bidang OSS Write RAM Role. Untuk informasi tentang cara mendapatkan ARN, lihat salah satu topik berikut berdasarkan skenario bisnis Anda: Jika Logstore dan bucket OSS milik akun Alibaba Cloud yang sama, dapatkan ARN dengan mengikuti instruksi yang disediakan di Langkah 2: Berikan peran RAM izin untuk menulis data ke bucket OSS. Jika Logstore dan bucket OSS milik akun Alibaba Cloud yang berbeda, dapatkan ARN dengan mengikuti instruksi yang disediakan di Langkah 2: Berikan peran-b RAM izin untuk menulis data ke bucket OSS.
Ukuran Pengiriman	Ukuran data log dalam shard. Ketika ukuran tercapai, data log dikirimkan ke OSS. Nilai parameter ini menentukan ukuran data log mentah yang dikirimkan ke OSS dan disimpan dalam objek. Nilai valid: 5 hingga 256. Unit: MB. Jika ukuran data log yang ingin Anda kirim mencapai nilai yang ditentukan, tugas pengiriman dibuat secara otomatis.
Format Penyimpanan	Format penyimpanan untuk data log. Setelah data log dikirimkan ke OSS, data log dapat disimpan dalam format yang berbeda. Untuk informasi lebih lanjut, lihat format JSON, format CSV, dan format Parquet.
Kompres	Menentukan apakah akan mengompres data log yang dikirimkan ke OSS. Nilai valid: Tidak Kompres: Data log tidak ditekan. Kompres(snappy): Algoritma snappy digunakan untuk mengompres data log. Dengan cara ini, ruang penyimpanan yang lebih sedikit digunakan di bucket OSS. Untuk informasi lebih lanjut, lihat snappy.
Waktu Pengiriman	Interval antara dua tugas pengiriman yang mengirimkan data log dari shard. Nilai valid: 300 hingga 900. Nilai default: 300. Unit: detik. Jika interval tercapai, tugas pengiriman dibuat.

Lihat data OSS

Setelah data dikirimkan ke OSS, Anda dapat melihat data di Konsol OSS. Anda juga dapat melihat data menggunakan metode lain, seperti API OSS atau SDK OSS. Untuk informasi lebih lanjut, lihat Kelola Objek.

URL objek OSS dalam format berikut:

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

OSS-BUCKET adalah nama Bucket OSS. OSS-PREFIX adalah direktori di Bucket OSS. PARTITION-FORMAT adalah format partisi yang digunakan untuk menghasilkan subdirektori. Subdirektori dihasilkan berdasarkan waktu pembuatan tugas pengiriman menggunakan fungsi strptime. Untuk informasi lebih lanjut tentang fungsi strptime, lihat strptime. RANDOM-ID adalah pengenal unik tugas pengiriman.

Catatan

Subdirektori dihasilkan berdasarkan waktu pembuatan tugas pengiriman. Sebagai contoh, sebuah tugas pengiriman dibuat pada 00:00:00 tanggal 23 Juni 2016. Data yang ditulis ke Simple Log Service setelah 23:55:00 tanggal 22 Juni 2016 dikirimkan ke OSS. Data dikirimkan setiap interval 5 menit. Jika Anda ingin menganalisis data log tanggal 22 Juni 2016, Anda harus memeriksa semua objek di subdirektori 2016/06/22. Anda juga harus memeriksa apakah objek yang dihasilkan sebelum 00:10:00 tanggal 23 Juni 2016 di subdirektori 2016/06/23/00/ mencakup data log yang dihasilkan pada tanggal 22 Juni 2016.

Format Shard

Setiap tugas pengiriman sesuai dengan URL objek OSS, yang dalam format oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID. PARTITION-FORMAT adalah format partisi yang digunakan untuk menghasilkan subdirektori. Subdirektori dihasilkan berdasarkan waktu pembuatan tugas pengiriman. Tabel berikut menjelaskan berbagai format partisi untuk tugas pengiriman yang dibuat pada 19:50:43 tanggal 20 Januari 2017.

OSS Bucket	OSS prefix	Format partisi	URL untuk objek OSS
test-bucket	test-table	%Y/%m/%d/%H/%M	oss://test-bucket/test-table/2017/01/20/19/50_1484913043351525351_2850008
test-bucket	log_ship_oss_example	year=%Y/mon=%m/day=%d/log_%H%M%S	oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet
test-bucket	log_ship_oss_example	ds=%Y%m%d/%H	oss://test-bucket/log_ship_oss_example/ds=20170120/19_1484913043351525351_2850008.snappy
test-bucket	log_ship_oss_example	%Y%m%d/	oss://test-bucket/log_ship_oss_example/20170120/_1484913043351525351_2850008 Catatan Jika Anda menggunakan format ini, platform seperti Hive mungkin gagal mem-parsing data log di bucket OSS. Kami menyarankan Anda tidak menggunakan format ini.
test-bucket	log_ship_oss_example	%Y%m%d%H	oss://test-bucket/log_ship_oss_example/2017012019_1484913043351525351_2850008

Anda dapat menggunakan platform big data seperti Hive, MaxCompute, atau Data Lake Analytics (DLA) untuk menganalisis data OSS. Jika Anda ingin menggunakan informasi format partisi, Anda dapat mengatur PARTITION-FORMAT dalam URL objek OSS dalam format key=value. Contoh URL objek OSS: oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet. Dalam contoh ini, tahun, bulan, dan hari ditentukan sebagai kolom kunci partisi.

Apa yang harus dilakukan selanjutnya

Setelah tugas pengiriman dibuat, Anda dapat memodifikasi aturan pengiriman, menonaktifkan fitur pengiriman data, melihat status dan pesan kesalahan tugas pengiriman, serta mencoba ulang tugas pengiriman di halaman OSS Shipper.

Modifikasi Aturan Pengiriman
Klik Settings untuk memodifikasi aturan pengiriman. Untuk informasi lebih lanjut tentang parameter, lihat Kirim Data Log.
Nonaktifkan Fitur Pengiriman Data
Klik Disable untuk menonaktifkan fitur pengiriman data.

Lihat Status dan Pesan Kesalahan Tugas Pengiriman

Anda dapat melihat tugas pengiriman dua hari sebelumnya dan status tugas tersebut.

Status Tugas

Status	Deskripsi
Berhasil	Tugas pengiriman berhasil.
Berjalan	Tugas pengiriman sedang berjalan. Periksa apakah tugas berhasil nanti.
Gagal	Tugas pengiriman gagal. Jika tugas tidak dapatdicoba ulang karena penyebab eksternal, lakukan pemecahan masalah berdasarkan pesan kesalahan dan coba ulang tugas tersebut.

Pesan Kesalahan

Jika tugas pengiriman gagal, pesan kesalahan akan dikembalikan untuk tugas tersebut.

Pesan Kesalahan	Penyebab	Solusi
UnAuthorized	Pesan kesalahan yang dikembalikan karena tugas pengiriman tidak memiliki izin yang diperlukan.	Untuk memperbaiki kesalahan, periksa konfigurasi berikut: Periksa apakah peran AliyunLogDefaultRole telah dibuat untuk akun Alibaba Cloud tempat Bucket OSS berada. Periksa apakah ID akun Alibaba Cloud yang dikonfigurasikan dalam kebijakan valid. Periksa apakah peran AliyunLogDefaultRole diberi izin untuk menulis data ke Bucket OSS. Periksa apakah ARN peran AliyunLogDefaultRole valid.
ConfigNotExist	Pesan kesalahan yang dikembalikan karena konfigurasi tugas tidak ada.	Dalam banyak kasus, kesalahan terjadi karena fitur pengiriman data dinonaktifkan. Kami sarankan Anda mengaktifkan fitur pengiriman data, mengonfigurasi aturan pengiriman untuk tugas tersebut, dan kemudian mencoba ulang tugas tersebut.
InvalidOssBucket	Pesan kesalahan yang dikembalikan karena Bucket OSS yang ditentukan tidak ada.	Untuk memperbaiki kesalahan, periksa konfigurasi berikut: Periksa apakah Bucket OSS yang ditentukan berada di wilayah yang sama dengan Proyek Simple Log Service. Periksa apakah nama Bucket yang ditentukan valid.
InternalServerError	Pesan kesalahan yang dikembalikan karena terjadi kesalahan internal di Simple Log Service.	Coba ulang tugas pengiriman.

Coba Ulang Tugas Pengiriman
Secara default, Simple Log Service akan mencoba ulang tugas pengiriman berdasarkan kebijakan percobaan ulang jika tugas pengiriman gagal. Anda juga dapat mencoba ulang tugas pengiriman secara manual. Secara default, Simple Log Service mencoba ulang semua tugas gagal dari dua hari sebelumnya. Interval minimum antara dua percobaan ulang berturut-turut adalah 15 menit. Pertama kali tugas gagal, Simple Log Service akan mencoba ulang tugas tersebut 15 menit kemudian. Kedua kalinya tugas gagal, Simple Log Service akan mencoba ulang tugas tersebut 30 menit kemudian. Ketiga kalinya tugas gagal, Simple Log Service akan mencoba ulang tugas tersebut 60 menit kemudian. Metode yang sama digunakan untuk percobaan ulang selanjutnya.
Untuk segera mencoba ulang tugas yang gagal, Anda dapat mengklik Retry All Failed Tasks atau Retry di sisi kanan tugas. Anda juga dapat memanggil operasi API atau menggunakan SDK untuk mencoba ulang tugas tersebut.