Cara mengirim data Simple Log Service ke OSS - - Alibaba Cloud Documentation Center

Setelah Simple Log Service mengumpulkan data, Anda dapat mengirimnya ke Object Storage Service (OSS) untuk penyimpanan jangka panjang dan analisis.

Penting

Versi lama pengiriman log ke OSS telah dihentikan. Lihat versi baru.

Prasyarat

Buat proyek dan logstore. Untuk informasi selengkapnya, lihat Buat proyek dan logstore.
Kumpulkan data ke logstore Anda. Untuk informasi selengkapnya, lihat Pengumpulan data.
Buat bucket di wilayah yang sama dengan proyek SLS Anda. Untuk informasi selengkapnya, lihat Buat bucket di Konsol.
Anda harus menyelesaikan Cloud Resource Access Authorization.

Untuk mengirim log lintas akun Alibaba Cloud atau menggunakan RAM user, selesaikan terlebih dahulu otorisasi RAM untuk pengiriman log ke OSS.

Di halaman Cloud Resource Access Authorization, pilih role AliyunLogDefaultRole, yang mencakup izin menulis ke OSS, lalu klik Agree to Authorization.

Ikhtisar

Simple Log Service dapat secara otomatis mengarsipkan data Logstore ke OSS untuk penyimpanan jangka panjang dan analisis.

Aturan lifecycle OSS memungkinkan retensi data jangka panjang.
Proses data OSS dengan E-MapReduce, Data Lake Analytics (DLA), atau program kustom.

Pengiriman data

Penting

Setelah pengiriman diaktifkan, Simple Log Service menjalankan instans pengiriman secara konkuren.
Setelah instans pengiriman dibuat, verifikasi status tugas dan periksa data yang dikirim ke OSS.

Masuk ke Konsol Simple Log Service.
Di bagian Projects, klik proyek yang diinginkan.
Di tab Log Storage > Logstores, klik ikon > di sebelah kiri logstore target, lalu pilih Data Processing > Export > Object Storage Service.
Arahkan kursor ke Object Storage Service, lalu klik ikon +.

Di panel Data Shipping to OSS, konfigurasikan parameter berikut, lalu klik OK.

Atur Shipping Version ke Old Version, lalu konfigurasikan parameter berikut.

Parameter	Deskripsi
OSS shipping name	Nama tugas pengiriman.
OSS bucket	Nama bucket OSS. Penting Bucket harus sudah ada di wilayah yang sama dengan proyek SLS dan tidak boleh memiliki fitur Write-Once-Read-Many (WORM) yang diaktifkan. Untuk informasi selengkapnya tentang WORM, lihat Kebijakan retensi tingkat bucket (BucketWorm). Anda dapat mengirim data ke bucket dengan kelas penyimpanan Standard, Infrequent Access (IA), Archive, Cold Archive, atau Deep Cold Archive. Kelas penyimpanan objek OSS yang dihasilkan secara default mengikuti kelas penyimpanan bucket tersebut. Untuk informasi selengkapnya, lihat Kelas penyimpanan. Kelas penyimpanan selain Standard memiliki durasi penyimpanan minimum dan ukuran tagihan. Pilih kelas penyimpanan untuk bucket tujuan yang sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya, lihat Perbandingan kelas penyimpanan.
OSS prefix	Awalan direktori di bucket OSS. Tidak boleh diawali dengan garis miring (/) atau backslash (\). Data Logstore dikirim ke direktori ini di bucket OSS tujuan.
Partition format	Membuat path direktori secara dinamis berdasarkan waktu pembuatan tugas. Tidak boleh diawali dengan garis miring (/). Default: %Y/%m/%d/%H/%M. Contoh: Partition format. Referensi parameter: strptime API.
RAM role for writing to OSS	Peran RAM yang memberikan akses tulis tugas pengiriman ke bucket OSS. Default Role: Memberikan otorisasi kepada pekerjaan pengiriman data untuk mengasumsikan peran sistem Alibaba Cloud `AliyunLogDefaultRole` agar dapat menulis data ke bucket OSS. Masukkan ARN dari `AliyunLogDefaultRole`. Untuk informasi cara mendapatkan ARN, lihat Akses data menggunakan peran default. Custom Role: Memberikan otorisasi kepada pekerjaan pengiriman data untuk mengasumsikan peran RAM kustom agar dapat menulis data ke bucket OSS. Pertama, berikan izin pada peran RAM kustom untuk menulis data ke bucket OSS. Kemudian, masukkan ARN peran RAM kustom Anda di bidang OSS Write RAM Role. Untuk informasi selengkapnya tentang cara mendapatkan ARN, lihat topik berikut: Jika logstore dan bucket OSS berada dalam satu akun Alibaba Cloud yang sama, lihat Langkah 2: Berikan izin peran RAM untuk menulis data ke bucket OSS. Jika logstore dan bucket OSS berada dalam akun Alibaba Cloud yang berbeda, lihat Langkah 2: Berikan izin peran role-b di bawah akun Alibaba Cloud B untuk menulis data ke bucket OSS.
Shipping size	Ukuran data maksimum yang belum dikompresi per shard. Nilai valid: 5 hingga 256 MB. Instans pengiriman baru dibuat ketika data mencapai ukuran ini.
Storage format	Format file untuk data yang disimpan di OSS. Format yang didukung: format JSON, format CSV, dan format Parquet.
Compression	Metode kompresi untuk data OSS. None: Data tidak dikompresi. snappy: Mengompresi data menggunakan algoritma snappy untuk mengurangi penggunaan penyimpanan OSS.
Shipping interval	Interval pengiriman per shard. Nilai valid: 300 hingga 900 detik. Default: 300 detik. Instans pengiriman baru dibuat ketika interval ini berakhir.

Lihat data di OSS

Setelah data berhasil dikirim ke OSS, Anda dapat mengaksesnya melalui Konsol OSS, API, SDK, atau alat lainnya. Untuk informasi selengkapnya, lihat Manajemen file.

Path objek OSS memiliki format berikut:

oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID

Dalam format ini, OSS-BUCKET adalah nama bucket, OSS-PREFIX adalah awalan direktori, PARTITION-FORMAT adalah path partisi yang dihasilkan dari waktu pembuatan tugas pengiriman menggunakan strptime API, dan RANDOM-ID adalah ID unik tugas pengiriman.

Catatan

Direktori OSS didasarkan pada waktu pembuatan tugas pengiriman, bukan waktu data. Misalnya, jika tugas yang dibuat pada 2016-06-23 00:00:00 mengirim data yang ditulis setelah 2016-06-22 23:55 setiap 5 menit, menganalisis semua data dari 2016-06-22 memerlukan pemeriksaan direktori 2016/06/22 dan sepuluh menit pertama di direktori 2016/06/23/00/.

Partition format

Setiap tugas pengiriman dipetakan ke direktori OSS dengan format oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID. PARTITION-FORMAT diturunkan dari waktu pembuatan tugas. Tabel berikut menunjukkan contoh berdasarkan tugas yang dibuat pada 2017/01/20 19:50:43.

OSS bucket	OSS prefix	Partition format	OSS object path
test-bucket	test-table	%Y/%m/%d/%H/%M	oss://test-bucket/test-table/2017/01/20/19/50_1484913043351525351_2850008
test-bucket	log_ship_oss_example	year=%Y/mon=%m/day=%d/log_%H%M%S	oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet
test-bucket	log_ship_oss_example	ds=%Y%m%d/%H	oss://test-bucket/log_ship_oss_example/ds=20170120/19_1484913043351525351_2850008.snappy
test-bucket	log_ship_oss_example	%Y%m%d/	oss://test-bucket/log_ship_oss_example/20170120/_1484913043351525351_2850008 Catatan Format ini dapat menghambat platform seperti Hive dalam mengurai konten OSS. Hindari format ini.
test-bucket	log_ship_oss_example	%Y%m%d%H	oss://test-bucket/log_ship_oss_example/2017012019_1484913043351525351_2850008

Saat Anda menganalisis data OSS dengan platform data besar seperti Hive, MaxCompute, atau Alibaba Cloud Data Lake Analytics (DLA), atur partition format ke format key=value agar dapat menggunakan informasi partisi. Sebagai contoh, dalam path oss://test-bucket/log_ship_oss_example/year=2022/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet, terdapat tiga kolom partisi yang didefinisikan: year, mon, dan day.

Manage shipping tasks

Di halaman OSS Shipper, Anda dapat memodifikasi, menonaktifkan, atau mencoba ulang tugas pengiriman, serta melihat status tugas dan pesan error.

Modifikasi tugas pengiriman

Klik Shipping Configuration untuk mengubah tugas pengiriman. Untuk deskripsi parameter, lihat Mengirim data.
Nonaktifkan tugas pengiriman

Klik Disable untuk menghentikan tugas pengiriman.

Lihat status tugas dan pesan error

Lihat tugas pengiriman dan statusnya dari dua hari terakhir.

Status tugas

Status	Deskripsi
Succeeded	Tugas pengiriman berjalan sesuai harapan.
Running	Tugas pengiriman sedang berlangsung. Periksa kembali nanti.
Failed	Tugas gagal karena error eksternal dan tidak dapat dicoba ulang secara otomatis. Lakukan pemecahan masalah berdasarkan pesan error, lalu coba ulang.

Pesan error

Jika tugas pengiriman gagal, pesan error akan muncul di Konsol.

Pesan error	Penyebab	Solusi
UnAuthorized	Anda tidak memiliki izin yang diperlukan.	Periksa hal berikut: Pemilik bucket OSS telah membuat role AliyunLogDefaultRole. ID akun Alibaba Cloud dalam kebijakan kepercayaan role tersebut benar. Role AliyunLogDefaultRole memiliki izin menulis ke bucket OSS. ARN peran RAM tersebut benar.
ConfigNotExist	Konfigurasi tidak ada.	Error ini biasanya terjadi karena tugas pengiriman telah dinonaktifkan. Aktifkan kembali tugas tersebut dan coba ulang.
InvalidOssBucket	Bucket OSS tidak ada.	Periksa hal berikut: Bucket OSS berada di wilayah yang sama dengan proyek Simple Log Service. Nama bucket benar.
InternalServerError	Terjadi error internal di Simple Log Service.	Coba ulang tugas tersebut.

Coba ulang tugas

Simple Log Service secara otomatis mencoba ulang tugas yang gagal dari dua hari terakhir dengan penundaan eksponensial: 15 menit, 30 menit, 60 menit, dan seterusnya.

Untuk segera mencoba ulang tugas yang gagal, klik Retry All Failed Tasks, klik Retry di samping tugas target, atau gunakan API atau SDK untuk mencoba ulang tugas tertentu.