Logstore adalah unit penyimpanan dalam Simple Log Service (SLS) yang digunakan untuk mengumpulkan, menyimpan, dan melakukan kueri terhadap data log.
Konsep inti
Apa itu logstore
Logstore adalah kontainer data dalam Simple Log Service. Anda dapat membuat beberapa logstore dalam project untuk mengisolasi dan mengelola log dari layanan atau sumber yang berbeda.
Beberapa produk cloud dan fitur SLS secara otomatis membuat logstore khusus untuk tujuan tertentu. Anda tidak dapat menulis data lain ke logstore tersebut. Contohnya:
-
internal-operation_log: Menyimpan log operasi terperinci untuk Simple Log Service. -
oss-log-store: Dibuat secara otomatis saat Anda mengonfigurasi penyimpanan log akses OSS.
Spesifikasi logstore
Simple Log Service (SLS) menyediakan dua spesifikasi logstore: Standard dan Query. Keduanya berbeda dalam fitur dan biaya.
|
Jenis |
Biaya (perbandingan biaya lalu lintas indeks) |
Skenario |
|
Standard |
USD 0,0875/GB |
Cocok untuk skenario yang memerlukan analitik data, pemantauan waktu nyata, dan kemampuan visualisasi, seperti analisis interaktif, pemantauan waktu nyata, atau membangun sistem observabilitas. |
|
Query Type (Spesifikasi Query) |
USD 0,0146/GB |
Tidak mendukung analitik. Cocok untuk skenario pengarsipan seperti pengarsipan log, penyimpanan log audit, dan troubleshooting yang memerlukan pengambilan konten log cepat tanpa analisis. Aplikasi khasnya mencakup penyimpanan jangka panjang log berskala besar dengan frekuensi akses rendah. |
Lingkup dan izin
Buat logstore dasar
Konsol
-
Masuk ke Konsol Simple Log Service. Di bagian Projects, klik project yang ingin Anda kelola.
-
Pada tab , klik ikon +.

-
Pada halaman Create Logstore, konfigurasikan parameter dan klik OK.
-
Logstore Type: Nilai default-nya adalah Standard.
-
Billing Mode:
-
Pay-by-feature (tidak dapat diubah): Anda ditagih untuk setiap resource yang digunakan, seperti penyimpanan, pengindeksan, dan operasi baca/tulis. Kuota gratis bulanan disediakan untuk membantu mengontrol biaya pada kasus penggunaan skala kecil.
-
Pay-by-ingested-data: Anda hanya membayar data mentah yang ditulis. Penyimpanan dan fitur utama gratis selama 30 hari. Mode penagihan ini memiliki struktur yang lebih sederhana dan hemat biaya.
Mode pay-by-ingested-data ideal ketika periode retensi data Anda mendekati 30 hari dan Anda memerlukan pengindeksan yang sebanding dengan indeks teks penuh.
-
-
Logstore Name: Nama harus unik dalam project. Nama ini berfungsi sebagai pengenal unik untuk logstore dan tidak dapat diubah setelah logstore dibuat.
-
Data Retention Period: Nilai default-nya adalah 30 hari.
-
Pertahankan nilai default untuk parameter lainnya. Untuk daftar lengkap parameter, lihat tabel berikut.
-
API
Ubah konfigurasi logstore
Anda dapat mengonfigurasi parameter berikut saat membuat logstore. Bagian ini menjelaskan cara mengubahnya untuk logstore yang sudah ada.
-
Klik
Log Storage. Di daftar Logstores, arahkan kursor ke LogStore target dan pilih . -
Di panel Logstore Attributes, ubah parameter-parameter tersebut.
Atur periode retensi data dan hapus log
Konsol
Di bagian Basic Information, klik Modify, ubah periode retensi data, lalu klik Save.
Simple Log Service tidak mendukung penghapusan entri log tertentu. Anda dapat menghapus log berdasarkan waktu dengan mengubah periode retensi log. Atau, Anda dapat menghapus semua log dengan menghentikan penagihan atau menghapus Logstore.
-
Specified Days: Tentukan bilangan bulat dari 1 hingga 3.650. Nilai 3.650 menunjukkan retensi permanen. Saat periode retensi berakhir, log akan dihapus.
-
Permanent Storage: Menyimpan semua log dalam Logstore ini secara permanen.
Perubahan berlaku segera, tetapi penghapusan data yang telah kedaluwarsa memerlukan waktu untuk diselesaikan.
API
Operasi UpdateLogStore, atur nilai ttl untuk menyesuaikan periode retensi log.
Gunakan penyimpanan bertingkat untuk mengoptimalkan biaya penyimpanan
Konsol
-
Di bagian Basic Information, klik Modify dan aktifkan Intelligent Tiered Storage.
-
Konfigurasikan Storage Policy. Total periode retensi di seluruh tiga tier penyimpanan harus sesuai dengan Data Retention Period.
-
Hot storage: minimal 7 hari.
-
Durasi penyimpanan minimum untuk kelas penyimpanan IA adalah 30 hari.
-
Archive storage: minimal 60 hari.
-
-
Klik Save. Untuk informasi selengkapnya, lihat Intelligent tiered storage.
API
Dalam operasi UpdateLogStore, atur nilai ttl, hot_ttl, dan infrequentAccessTTL untuk menyesuaikan kebijakan retensi secara dinamis untuk penyimpanan bertingkat.
Kumpulkan log sisi klien
SLS menyediakan fitur pelacakan web untuk mengumpulkan log dari berbagai klien, seperti program mini, aplikasi seluler (iOS dan Android), dan browser web.
Gunakan fitur ini dengan salah satu dari dua cara berikut:
-
Kirim data dengan menggunakan STS untuk autentikasi. Metode ini cocok untuk skenario produksi. Anda tidak perlu mengubah konfigurasi LogStore.
-
Kirim data secara anonim menggunakan OpenAPI. Metode ini hanya cocok untuk skenario pengujian. Anda harus mengaktifkan sakelar di Logstore. Untuk petunjuk konfigurasi, lihat konten berikut.
Konsol
Di bagian Basic Information, klik Modify, aktifkan WebTracking, lalu klik Save.
API
Operasi UpdateLogStore, atur parameter enable_tracking ke true untuk mengaktifkan fitur pelacakan web.
Tambahkan alamat IP publik dan waktu kedatangan ke log secara otomatis
Setelah Anda mengaktifkan fitur ini, informasi berikut akan ditambahkan secara otomatis ke log selama pengumpulan data:
-
__tag__:__client_ip__: alamat IP publik perangkat tempat log dikirim.
-
__tag__:__receive_time__: waktu saat log tiba di server SLS. Waktu ini merupakan Stempel waktu UNIX yang menunjukkan jumlah detik yang telah berlalu sejak 00:00:00 UTC pada 1 Januari 1970.
Konsol
Di bagian Basic Properties, klik Modify, aktifkan sakelar Log Public IP, lalu klik Save.
API
Dalam operasi UpdateLogStore, gunakan parameter appendMeta untuk mengaktifkan pencatatan alamat IP publik.
Sesuaikan kinerja pengumpulan menggunakan shard
Setiap shard mendukung throughput tulis 5 MB/detik atau 500 tulis/detik dan throughput baca 10 MB/detik atau 100 baca/detik. Ini adalah batas lunak. Jika batas dilampaui, sistem akan berusaha memberikan layanan sebaik mungkin tetapi tidak menjamin kualitas layanan. Jika trafik baca/tulis melebihi kapasitas baca/tulis sebuah shard, lakukan pemisahan shard untuk menambah jumlah shard dan meningkatkan kapasitas baca/tulis.
Konsol
Di bagian Basic Information, klik Modify, aktifkan Automatic Sharding, atur Maximum Shards, lalu klik Save.
SLS memungkinkan Anda memisahkan dan menggabungkan shard tertentu.
API
Hentikan penagihan atau hapus logstore
Setelah logstore dihapus, data log yang tersimpan di dalamnya akan dihapus secara permanen dan tidak dapat dipulihkan. Lakukan dengan hati-hati.
Konsol
-
Lakukan pembersihan sebelum penghapusan.
-
Sebelum menghapus logstore, hapus semua konfigurasi Logtail yang terkait.
-
Jika pengiriman data diaktifkan untuk logstore, hentikan penulisan data baru ke logstore dan pastikan semua data yang ada di logstore telah dikirim sebelum menghapus logstore.
-
-
Prosedur penghapusan.
-
Pada tab , arahkan kursor ke logstore target dan pilih .
-
Di kotak dialog Warning, klik Confirm Deletion.
-
-
Setelah penghapusan.
-
Biaya penyimpanan dikenakan pada hari Anda menghapus logstore. Tidak ada biaya yang dibebankan mulai hari berikutnya.
-
Setelah Anda menghapus logstore, tugas ekspor, pekerjaan transformasi data, dan tugas Scheduled SQL yang menggunakan logstore sebagai sumber data serta tugas impor yang menggunakan logstore sebagai tujuan juga akan dihapus.
-
API
Konfigurasi contoh untuk skenario umum
Pemantauan dan analisis waktu nyata untuk layanan volume tinggi
Aplikasi online menghasilkan volume besar log bisnis secara waktu nyata. Saat terjadi kegagalan, lokalisasi log kesalahan dengan cepat dan pantau metrik kunci, seperti permintaan per detik (QPS) dan latensi respons, dengan peringatan waktu nyata.
Konfigurasi yang direkomendasikan: logstore Standard + Pay-by-ingested-data + Pemisahan shard otomatis.
Alasan: Logstore Standard mendukung analisis, pemantauan waktu nyata, dan visualisasi. Untuk ingest log volume tinggi dan analisis yang mungkin memerlukan pengindeksan ekstensif, pay-by-ingested-data direkomendasikan. Pemisahan shard otomatis memastikan kinerja yang cukup untuk ingest dan analisis data.
Kepatuhan, audit, dan keamanan
Peraturan industri mengharuskan Anda menyimpan log aktivitas pengguna dan log keamanan selama enam bulan atau lebih untuk keperluan audit. Namun, log ini jarang dikueri dan dianalisis.
Konfigurasi yang direkomendasikan: logstore Query + Intelligent tiered storage.
Alasan: Logstore Query hanya mendukung kueri tetapi memiliki biaya lalu lintas indeks lebih rendah daripada logstore Standard. Intelligent tiered storage mengklasifikasikan data log berdasarkan usianya, sehingga mengurangi biaya penyimpanan jangka panjang.
Referensi
Perbandingan LogStore dalam Mode Penagihan Berbasis Fitur
Logstore Query hanya mendukung mode penagihan pay-by-feature. Tabel berikut membandingkan logstore Standard dan Query dalam mode ini.
|
Item |
Spesifikasi Standard |
Query Type (Spesifikasi Query) |
|
|
Biaya |
USD 0,0875/GB |
USD 0,0146/GB |
|
|
Fitur |
Pengumpulan data (hanya untuk skenario log sistem bisnis) |
Didukung |
Tidak mendukung pengumpulan log produk cloud. |
|
Didukung |
Didukung |
||
|
Didukung |
Didukung |
||
|
Analisis (pernyataan SQL) |
Didukung |
Tidak didukung |
|
|
Didukung |
Didukung |
||
|
Didukung |
Didukung |
||
|
Didukung |
Tidak didukung |
||
|
Didukung |
Didukung |
||
|
Didukung |
Tidak didukung |
||
|
Didukung |
Hanya mendukung peringatan berdasarkan pernyataan kueri. |
||
|
Didukung |
Tidak didukung |
||
|
Didukung |
Didukung |
||
|
Didukung |
Didukung |
||
|
Didukung |
Didukung |
||
Batasan
Mode pay-by-ingested-data mendukung set fitur lengkap SLS. Fitur bernilai tambah seperti kueri dan analisis, transformasi data, peringatan cerdas, serta pengiriman dan konsumsi data tidak dikenai biaya tambahan, tetapi tunduk pada kuota. Tabel berikut memberikan rincian.
|
batas kuota |
Catatan |
|
Transformasi data |
Satu logstore mendukung volume transformasi data maksimum 100 TB per bulan. |
|
Volume data untuk Scheduled SQL |
Satu logstore mendukung volume data Scheduled SQL maksimum 20 TB per bulan. |
|
Volume data yang dikirim |
Satu logstore mendukung volume pengiriman data maksimum 100 TB per bulan. |
|
Konsumsi data |
Satu logstore mendukung volume konsumsi data maksimum 100 TB per bulan. |
|
Menghitung volume data untuk pekerjaan peringatan |
Satu logstore mendukung volume komputasi pekerjaan peringatan maksimum 100 TB per bulan. |
Penagihan
Biaya logstore terutama ditentukan oleh mode penagihan yang dipilih.
-
Pay-by-feature: Anda ditagih untuk setiap resource yang digunakan, seperti kapasitas penyimpanan, lalu lintas indeks, operasi baca/tulis, dan jumlah shard.
-
Pay-by-ingested-data: Anda hanya dikenai biaya berdasarkan jumlah data mentah yang ditulis. Mode ini mencakup 30 hari penyimpanan gratis dan berbagai fitur gratis.
Harga item penagihan utama:
-
Lalu lintas indeks Standard: USD 0,0875/GB.
-
Lalu lintas indeks Query: USD 0,0146/GB.
Rekomendasi optimasi biaya:
-
Jika periode retensi log Anda mendekati atau melebihi 30 hari, mode pay-by-ingested-data biasanya lebih hemat biaya.
-
Untuk skenario yang hanya memerlukan pengarsipan dan pengambilan, gunakan spesifikasi Query untuk mengurangi biaya pengindeksan.
-
Konfigurasikan intelligent tiered storage untuk memindahkan data yang jarang diakses ke tier penyimpanan berbiaya lebih rendah.
FAQ
Tidak dapat membuat LogStore
Anda dapat membuat hingga 200 logstore per project secara default. Untuk membuat lebih banyak, hapus logstore yang tidak digunakan atau minta peningkatan kuota.
-
Masuk ke Konsol Simple Log Service. Di bagian Projects, klik project yang ingin Anda kelola.
-
Di halaman Project Overview, temukan Resource Quota di bagian Basic Information dan klik Manage. Di panel Resource Quotas, sesuaikan batas kuota Logstore dan klik Save untuk mengirim permintaan Anda. Permintaan memerlukan waktu sekitar satu jam untuk diproses.
Mengapa log saya di SLS hilang?
-
Project dan LogStore tidak ditemukan
Jika Anda menghapus project atau logstore secara manual, log tidak dapat dipulihkan. Gunakan ActionTrail untuk mencari event penghapusan project atau logstore dalam 90 hari terakhir.
-
Akun Anda memiliki pembayaran tertunda. Jika pembayaran Anda tertunda lebih dari 7 hari, project SLS Anda akan ditarik. Semua data dihapus dan tidak dapat dipulihkan. Untuk informasi selengkapnya, lihat Overdue payments.
Bagaimana cara mengoptimalkan biaya penyimpanan log?
-
Untuk memeriksa biaya Simple Log Service Anda, lihat View the storage capacity and consumption records of Simple Log Service.
-
Unduh log historis ke mesin lokal Anda atau kirimkan ke OSS untuk penyimpanan.