Mengelola Logstore - Simple Log Service

Logstore adalah unit penyimpanan dalam Simple Log Service (SLS) yang digunakan untuk mengumpulkan, menyimpan, dan menanyakan data log.

Konsep inti

Apa itu logstore

Logstore adalah wadah data dalam Simple Log Service. Anda dapat membuat beberapa logstore di proyek untuk mengisolasi dan mengelola log dari layanan atau sumber yang berbeda.

Beberapa produk cloud dan fitur SLS secara otomatis membuat logstore khusus. Logstore ini melayani tujuan tertentu, dan Anda tidak dapat menulis data lain ke dalamnya. Contohnya:

internal-operation_log: Menyimpan log operasi terperinci untuk SLS.
oss-log-store: Dibuat secara otomatis ketika Anda mengonfigurasi penyimpanan log akses OSS.

Spesifikasi logstore

Simple Log Service menawarkan dua spesifikasi logstore: Standar dan Query. Keduanya berbeda dalam fitur dan biaya.

Tipe	Biaya (perbandingan biaya lalu lintas indeks)	Skenario
Standar	0,0875 USD per GB	Cocok untuk skenario yang memerlukan analitik data, pemantauan waktu nyata, dan kemampuan visualisasi, seperti analisis interaktif, pemantauan waktu nyata, atau membangun sistem observabilitas.
Query	USD 0,0146 per GB	Tidak mendukung analitik. Cocok untuk skenario arsip seperti pengarsipan log, penyimpanan log audit, dan pemecahan masalah yang memerlukan pengambilan cepat isi log tanpa analisis. Aplikasi tipikal termasuk penyimpanan jangka panjang log berskala besar dengan frekuensi akses rendah.

Ruang lingkup dan izin

Izin

Akun Alibaba Cloud memiliki akses penuh ke semua operasi logstore secara default.

Secara default, Pengguna RAM tidak memiliki izin untuk logstore. Anda harus meminta izin dari pemegang akun Alibaba Cloud, yang kemudian dapat melampirkan salah satu kebijakan sistem berikut kepada Pengguna RAM:

AliyunLogFullAccess: Memberikan izin penuh untuk mengelola SLS.
AliyunLogReadOnlyAccess: Memberikan izin baca-saja untuk SLS.

Jika kebijakan sistem tidak dapat memenuhi kebutuhan Anda, buat kebijakan kustom untuk menerapkan pengelolaan izin detail halus. Untuk informasi lebih lanjut, lihat tabel berikut.

Operasi	Izin yang diperlukan
Mengelola logstore	log:ListProject log:GetAcceleration log:ListDomains log:GetLogging log:ListTagResources log:GetProject log:ListLogStores log:LogStore log:Index log:ListShards log:GetLogStoreHistogram log:GetLogStoreContextLogs
Mengquery logstore	log:ListProject log:GetAcceleration log:ListDomains log:GetLogging log:ListTagResources log:GetProject log:ListLogStores log:GetLogStore log:GetLogStoreHistogram log:GetIndex log:CreateIndex log:UpdateIndex log:ListShards log:GetLogStoreContextLogs

Membuat logstore dasar

Konsol

Masuk ke Konsol Layanan Log Sederhana. Di bagian Proyek, klik proyek yang ingin Anda kelola.
Pada tab Log Storage > Logstores, klik ikon +.

Pada halaman Create Logstore, konfigurasikan parameter dan klik OK.

Tipe Logstore: Nilai defaultnya adalah Standar.
Mode Penagihan:
- Bayar-per-fitur (tidak dapat diubah): Anda akan ditagih untuk setiap sumber daya yang Anda gunakan, seperti penyimpanan, pengindeksan, dan operasi baca/tulis. Kuota gratis bulanan disediakan untuk membantu Anda mengontrol biaya dalam skenario penggunaan kecil.
- Bayar-per-data-ingesti: Anda hanya membayar untuk data mentah yang Anda tulis. Penyimpanan dan fitur dasar gratis selama 30 hari. Mode penagihan ini memiliki struktur yang lebih sederhana dan hemat biaya.
Mode bayar-per-data-ingesti ideal ketika periode retensi data Anda mendekati 30 hari dan Anda memerlukan pengindeksan yang sebanding dengan indeks teks penuh.
Nama Logstore: Nama tersebut harus unik dalam proyek. Ini berfungsi sebagai pengenal unik untuk logstore dan tidak dapat diubah setelah logstore dibuat.
Periode Retensi Data: Nilai defaultnya adalah 30 hari.
Pertahankan nilai default untuk parameter lainnya. Untuk daftar lengkap parameter, lihat tabel berikut.

Daftar Lengkap Parameter Logstore

Parameter	Deskripsi
Tipe Logstore	Logstore SLS mendukung dua spesifikasi: Standar dan Query. Pilih salah satu berdasarkan skenario Anda untuk menghemat biaya. Spesifikasi Standar mencakup fitur analitik data lengkap satu atap dari SLS. Cocok untuk skenario seperti pemantauan waktu nyata, analisis interaktif, dan membangun sistem observabilitas lengkap. Harga satuan lalu lintas indeks untuk spesifikasi Query adalah 29% dari spesifikasi Standar. Ini memungkinkan Anda mengaktifkan indeks untuk lebih banyak bidang dengan biaya yang sama. Spesifikasi Query hanya mendukung pencarian kata kunci dan tidak mendukung analisis statistik.
Mode Penagihan	Bayar-per-fitur: Ini adalah mode penagihan asli SLS. Anda ditagih untuk sumber daya yang Anda gunakan, seperti penyimpanan dan indeks, serta fitur seperti transformasi data dan pengiriman data. Anda dibebankan berdasarkan model bayar sesuai penggunaan. Bayar-per-data-ingesti: Ini adalah mode penagihan yang disederhanakan dari SLS. Anda terutama dibebankan untuk jumlah data mentah yang Anda tulis ke SLS. Setelah data ditulis ke SLS, simpan data dan gunakan fitur seperti transformasi data dan pengiriman data secara gratis selama 30 hari. Mode penagihan ini sederhana, dapat diprediksi, dan terkendali. Ini membantu Anda memanfaatkan sepenuhnya SLS untuk menambang lebih banyak nilai data.
Nama Logstore	Nama logstore harus unik dalam proyek dan tidak dapat diubah setelah pembuatan.
WebTracking	Mengaktifkan pengumpulan data akses pengguna dari browser web dan aplikasi seluler (iOS/Android). Fitur ini dinonaktifkan secara default.
Periode Retensi Data	Jumlah hari untuk menyimpan data log sebelum dihapus secara otomatis. Nilai valid: 1 hingga 3650. Nilai 3650 menunjukkan penyimpanan permanen.
Penyimpanan Berjenjang Cerdas	Secara otomatis memindahkan data ke tingkat penyimpanan biaya lebih rendah berdasarkan usianya menggunakan fitur manajemen siklus hidup. Penyimpanan Panas: Penyimpanan panas adalah solusi penyimpanan data yang skalabel dan memiliki ketersediaan tinggi untuk data yang sering diakses. Ini mendukung akses data waktu nyata dan menyediakan fungsi kueri dan analisis log berkinerja tinggi. Cocok untuk skenario bisnis yang memerlukan kueri dan analisis data secara sering. Kelas penyimpanan IA Kelas penyimpanan IA (sebelumnya penyimpanan dingin) adalah kelas penyimpanan yang dapat mengurangi biaya penyimpanan jangka panjang Anda sambil memastikan bahwa kemampuan kueri, analisis, visualisasi, peringatan, pengiriman, dan transformasi log tidak terpengaruh. Cocok untuk skenario bisnis yang memerlukan kueri dan analisis jarang, seperti pelacakan masalah. Penyimpanan Arsip Penyimpanan Arsip menyediakan solusi penyimpanan data jangka panjang yang lebih murah, dapat dikueri, dan dianalisis berdasarkan kelas penyimpanan Panas dan IA yang ada. Cocok untuk skenario bisnis yang memerlukan penyimpanan jangka panjang data audit.
Shard	Setiap shard mendukung throughput tulis 5 MB/s dan throughput baca 10 MB/s. Jika lalu lintas data melebihi kapasitas layanan shard, pisahkan shard. Jika lalu lintas data tidak mencapai kapasitas baca dan tulis maksimum shard, gabungkan shard untuk menghemat biaya.
Pemisahan Shard Otomatis	Jika volume tulis ke shard melebihi kapasitas baca/tulis-nya selama lebih dari 5 menit, aktifkan fitur ini untuk secara otomatis meningkatkan jumlah shard berdasarkan volume data.
Shard Maksimum	Setelah Anda mengaktifkan pemisahan shard otomatis, maksimal 256 shard dapat dibuat secara otomatis.
IP Publik Log	Setelah log diterima, alamat IP publik klien dan waktu saat log tiba di server secara otomatis ditambahkan.

API

CreateLogStore

Modifikasi konfigurasi logstore

Parameter berikut dapat dikonfigurasikan saat Anda membuat logstore. Bagian ini menjelaskan cara memodifikasi parameter ini untuk logstore yang sudah ada.

Klik Penyimpanan Log. Dalam daftar Logstores, arahkan mouse ke logstore target dan pilih > Modify.
Di panel Atribut Logstore, modifikasi parameter.

Atur periode retensi data dan hapus log

Konsol

Di bagian Basic Information, klik Modify, ubah periode retensi data, lalu klik Save.

SLS tidak mengizinkan Anda menghapus entri log tertentu. Untuk menghapus log, kadaluwarsakan mereka dengan mengubah periode retensi data. Sebagai alternatif, hapus semua log dengan menghentikan penagihan atau menghapus logstore.

Specified Days: Tentukan bilangan bulat dari 1 hingga 3.650. Nilai 3.650 menunjukkan penyimpanan permanen. Ketika periode retensi berakhir, log dihapus.
Permanent Storage: Menyimpan semua log di logstore secara permanen.

Catatan

Perubahan berlaku segera, tetapi penghapusan data yang kedaluwarsa memerlukan waktu untuk diselesaikan.

API

Dalam operasi UpdateLogStore, atur nilai ttl untuk menyesuaikan periode retensi log.

Gunakan penyimpanan berjenjang untuk mengoptimalkan biaya penyimpanan

Konsol

Di bagian Basic Information, klik Modify dan aktifkan Intelligent Tiered Storage.
Konfigurasikan Storage Policy. Total periode retensi di seluruh tiga tingkat penyimpanan harus sesuai dengan Periode Retensi Data.
- Penyimpanan Panas: minimal 7 hari.
- Penyimpanan IA: minimal 30 hari.
- Penyimpanan Arsip: minimal 60 hari.
Klik Save. Untuk informasi lebih lanjut, lihat Penyimpanan Berjenjang Cerdas.

API

Dalam operasi UpdateLogStore, atur nilai ttl, hot_ttl, dan infrequentAccessTTL untuk menyesuaikan kebijakan retensi untuk penyimpanan berjenjang secara dinamis.

Kumpulkan log sisi klien

SLS menyediakan fitur pelacakan web untuk mengumpulkan log dari berbagai klien, seperti program mini, aplikasi seluler (iOS dan Android), dan browser web.

Gunakan fitur ini dengan salah satu dari dua cara berikut:

Transmisikan data dengan menggunakan STS untuk autentikasi. Metode ini cocok untuk skenario produksi. Anda tidak perlu memodifikasi konfigurasi logstore.
Transmisikan data secara anonim menggunakan OpenAPI. Metode ini hanya cocok untuk skenario pengujian. Anda harus mengaktifkan saklar di logstore. Untuk informasi lebih lanjut, lihat konten berikut.

Konsol

Di bagian Basic Information, klik Modify, aktifkan WebTracking, lalu klik Save.

API

Dalam operasi UpdateLogStore, atur parameter enable_tracking ke true untuk mengaktifkan fitur pelacakan web.

Otomatis tambahkan alamat IP publik dan waktu kedatangan ke log

Setelah Anda mengaktifkan fitur ini, informasi berikut secara otomatis ditambahkan ke log selama pengumpulan data:

__tag__:__client_ip__: alamat IP publik perangkat dari mana log dikirim.
__tag__:__receive_time__: waktu saat log tiba di server SLS. Waktu ini adalah stempel waktu UNIX yang menunjukkan jumlah detik yang telah berlalu sejak 00:00:00 UTC pada 1 Januari 1970.

Konsol

Di bagian Basic Information, klik Modify, aktifkan Log Public IP, lalu klik Save.

API

Dalam operasi UpdateLogStore, gunakan parameter appendMeta untuk mengaktifkan fitur ini.

Atur kinerja pengumpulan menggunakan shard

Setiap shard mendukung throughput tulis 5 MB/s atau 500 tulis/detik dan throughput baca 10 MB/s atau 100 baca/detik. Ini adalah batas lunak. Jika batas dilampaui, sistem akan berusaha sebaik mungkin untuk menyediakan layanan tetapi tidak menjamin kualitas layanan. Jika lalu lintas baca/tulis melebihi kapasitas baca/tulis shard, Anda harus memisahkan shard. Ini meningkatkan kapasitas baca/tulis.

Konsol

Di bagian Basic Information, klik Modify, aktifkan Automatic Sharding, atur Maximum Shards, lalu klik Save.

SLS memungkinkan Anda memisahkan dan menggabungkan shard tertentu.

API

SplitShard.

MergeShards.

Hentikan penagihan atau hapus logstore

Peringatan

Setelah logstore dihapus, data log yang tersimpan di dalamnya dihapus secara permanen dan tidak dapat dipulihkan. Lanjutkan dengan hati-hati.

Konsol

Lakukan pembersihan sebelum penghapusan.
1. Sebelum Anda menghapus logstore, hapus semua konfigurasi Logtail terkait.
2. Jika pengiriman data diaktifkan untuk logstore, hentikan penulisan data baru ke logstore dan pastikan semua data yang ada di logstore dikirim sebelum Anda menghapus logstore.
Prosedur penghapusan.
1. Pada tab Log Storage > Logstores, arahkan mouse ke logstore target dan pilih > Delete.
2. Di kotak dialog Warning, klik Confirm Deletion.
Setelah penghapusan.
1. Biaya penyimpanan dikenakan pada hari Anda menghapus logstore. Tidak ada biaya yang dihasilkan mulai hari berikutnya.
2. Setelah Anda menghapus logstore, tugas ekspor, pekerjaan transformasi data, dan tugas SQL Terjadwal yang menggunakan logstore sebagai sumber data serta tugas impor yang menggunakan logstore sebagai tujuan juga dihapus.

API

DeleteLogstore

Konfigurasi contoh untuk skenario umum

Pemantauan dan analisis waktu nyata untuk layanan volume tinggi

Aplikasi daring menghasilkan volume besar log bisnis secara real-time. Ketika terjadi kegagalan, Anda perlu dengan cepat menemukan log kesalahan dan memantau metrik utama, seperti permintaan per detik (QPS) dan latensi respons, dengan peringatan waktu nyata.

Konfigurasi yang Direkomendasikan: Logstore Standar + Bayar-per-data-ingesti + Pemisahan Shard Otomatis.

Alasan: Logstore Standar mendukung analisis, pemantauan waktu nyata, dan visualisasi. Untuk pengumpulan dan analisis log volume tinggi yang mungkin memerlukan pengindeksan luas, bayar-per-data-ingesti direkomendasikan. Pemisahan shard otomatis memastikan performa yang cukup untuk pengumpulan dan analisis data.

Kepatuhan, audit, dan keamanan

Regulasi industri mengharuskan Anda menyimpan log aktivitas pengguna dan log keamanan selama enam bulan atau lebih untuk tujuan audit. Namun, log ini jarang ditanyakan dan dianalisis.

Konfigurasi yang Direkomendasikan: Logstore Query + Penyimpanan Berjenjang Cerdas.

Alasan: Logstore Query hanya mendukung kueri tetapi memiliki biaya lalu lintas indeks lebih rendah daripada Logstore Standar. Penyimpanan Berjenjang Cerdas mengklasifikasikan data log berdasarkan usianya, mengurangi biaya penyimpanan jangka panjang.

Referensi

Perbandingan logstore dalam mode bayar-per-fitur

Logstore Query hanya mendukung mode penagihan bayar-per-fitur. Tabel berikut membandingkan Logstore Standar dan Logstore Query dalam mode ini.

Item		Standar	Query
Biaya	Lalu lintas indeks	USD 0,0875 per GB	USD 0,0146/GB
Fitur	Pengumpulan data (hanya untuk skenario log sistem bisnis)	Didukung	Tidak mendukung pengumpulan log produk cloud.
	Aktifkan penyimpanan berjenjang cerdas	Didukung	Didukung
	Kueri	Didukung	Didukung
	Analisis (pernyataan SQL)	Didukung	Tidak didukung
	Kueri kontekstual	Didukung	Didukung
	LiveTail	Didukung	Didukung
	LogReduce	Didukung	Tidak didukung
	Reindex	Didukung	Didukung
	Dashboard	Didukung	Tidak didukung
	Peringatan	Didukung	Hanya mendukung peringatan berdasarkan pernyataan kueri.
	SQL Terjadwal	Didukung	Tidak didukung
	Transformasi data	Didukung	Didukung
	Pengiriman data	Didukung	Didukung
	Konsumsi standar	Didukung	Didukung

Batasan

Mode bayar-per-data-ingesti mendukung set fitur lengkap SLS. Fitur bernilai tambah seperti kueri dan analisis, transformasi data, peringatan cerdas, serta pengiriman dan konsumsi data tidak dikenakan biaya tambahan, tetapi tunduk pada kuota. Tabel berikut memberikan rincian.

Volume data	Kuota per logstore per bulan
Transformasi data	100 TB
SQL Terjadwal	20 TB
Pengiriman data	100 TB
Konsumsi data	100 TB
Komputasi pekerjaan peringatan	100 TB

Penagihan

Biaya logstore terutama ditentukan oleh mode penagihan yang dipilih.

Bayar-per-Fitur: Anda ditagih untuk setiap sumber daya yang Anda gunakan, seperti kapasitas penyimpanan, lalu lintas indeks, operasi baca/tulis, dan jumlah shard.
Bayar-per-Data-Ingesti: Anda hanya dikenakan biaya untuk jumlah data mentah yang Anda tulis. Mode ini mencakup 30 hari penyimpanan gratis dan beberapa fitur gratis.

Harga Item Penagihan Utama:

Lalu Lintas Indeks Standar: CNY 0,350 per GB.
Lalu Lintas Indeks Query: USD 0,0146/GB.

Rekomendasi Optimasi Biaya:

Jika periode retensi log Anda mendekati atau melebihi 30 hari, mode bayar-per-data-ingesti biasanya lebih hemat biaya.
Untuk skenario yang hanya memerlukan pengarsipan dan pengambilan, gunakan spesifikasi Query untuk mengurangi biaya pengindeksan.
Konfigurasikan penyimpanan berjenjang cerdas untuk memindahkan data yang jarang diakses ke tingkat penyimpanan biaya lebih rendah.

FAQ

Mengapa saya tidak bisa membuat logstore?

Anda dapat membuat maksimal 200 logstore per proyek secara default. Untuk membuat lebih banyak, hapus logstore yang tidak digunakan atau minta peningkatan kuota.

Masuk ke Konsol Layanan Log Sederhana. Di bagian Proyek, klik proyek yang ingin Anda kelola.
Di halaman gambaran proyek, temukan Resource Quotas di bagian Basic Information dan klik Manage. Di panel Resource Quotas, sesuaikan kuota untuk jumlah maksimum logstore dan klik Save untuk mengirimkan permintaan Anda. Persetujuan dapat memakan waktu hingga satu jam.

Mengapa log saya di SLS hilang?

Penghapusan proyek atau logstore
Jika Anda secara manual menghapus proyek atau logstore, log tersebut tidak dapat dipulihkan. Gunakan ActionTrail untuk menanyakan peristiwa penghapusan proyek atau logstore dalam 90 hari terakhir.
Akun Anda memiliki pembayaran tertunda. Jika pembayaran Anda lebih dari 7 hari tertunda, proyek SLS Anda akan diambil alih. Semua data dihapus dan tidak dapat dipulihkan. Untuk informasi lebih lanjut, lihat Pembayaran Tertunda.

Bagaimana cara mengoptimalkan biaya penyimpanan log?

Untuk memeriksa biaya SLS Anda, lihat Lihat kapasitas penyimpanan dan catatan konsumsi Layanan Log Sederhana.
Unduh log historis ke mesin lokal Anda atau kirimkan mereka ke OSS untuk penyimpanan.