Logstore adalah unit penyimpanan dalam Simple Log Service (SLS) yang digunakan untuk mengumpulkan, menyimpan, dan melakukan kueri terhadap data log.
Konsep inti
Apa itu Logstore?
Logstore adalah wadah data dalam Simple Log Service. Anda dapat membuat beberapa Logstore di bawah Project untuk mengisolasi dan mengelola log dari aplikasi atau sumber yang berbeda.
Selain itu, layanan Alibaba Cloud tertentu atau fitur SLS secara otomatis membuat Logstore khusus untuk tujuan tertentu. Logstore ini tidak dapat menerima jenis data lainnya. Contohnya meliputi:
internal-operation_log: menyimpan log operasi detail yang dihasilkan oleh Simple Log Service itu sendiri.oss-log-store: dibuat secara otomatis saat Anda mengonfigurasi log akses OSS untuk pengarsipan.
Perbandingan spesifikasi LogStore
Simple Log Service menawarkan dua jenis Logstore—Standard dan Query—yang berbeda dalam fitur dan biaya.
Jenis | Biaya (Perbandingan Biaya Lalu Lintas Indeks) | Skenario |
Standard | USD 0,0875/GB | Gunakan jenis ini untuk analitik interaktif, pemantauan waktu nyata, visualisasi, atau membangun sistem observabilitas. |
Query type (Query) | USD 0,0146/GB | Jenis ini tidak mendukung analitik. Gunakan untuk pengarsipan log, penyimpanan log audit, atau skenario troubleshooting di mana Anda hanya memerlukan pencarian kata kunci cepat tanpa analisis. Kasus penggunaan khas mencakup retensi jangka panjang (beberapa bulan hingga tahun) dengan akses yang jarang dilakukan. |
Lingkup dan izin
Membuat Logstore dasar
Konsol
Login ke Konsol Simple Log Service. Di daftar Project, klik Project yang dituju.
Di tab , klik ikon +.
Di halaman Create Logstore, konfigurasikan pengaturan dan klik OK.
Jenis Logstore: Standard secara default.
Mode penagihan:
Pay-by-feature: Anda ditagih secara terpisah untuk setiap resource yang digunakan (seperti penyimpanan, pengindeksan, dan operasi baca/tulis) serta menerima kuota gratis bulanan, yang membantu mengendalikan biaya pada skenario skala kecil.
Pay-by-ingested-data: Anda hanya membayar volume data mentah yang diingest. Penyimpanan dan fitur inti gratis selama 30 hari, menawarkan model harga yang lebih sederhana dan hemat biaya.
Tips cepat: Semakin dekat periode retensi Anda dengan 30 hari dan semakin banyak bidang yang Anda indeks (terutama pengindeksan teks penuh), semakin cocok model pay-by-ingested-data.
Nama Logstore: Harus unik dalam Project dan tidak dapat diubah setelah pembuatan.
Periode retensi data: 30 hari secara default.
Pertahankan semua pengaturan lain pada nilai default-nya.
API
Modifikasi konfigurasi Logstore
Anda dapat mengonfigurasi parameter berikut saat pembuatan. Bagian ini menggunakan modifikasi Logstore sebagai contoh.
Klik
Log Storage. Di halaman Logstores, arahkan kursor ke Logstore yang dituju dan pilih .Di properti Logstore, modifikasi pengaturan yang relevan berdasarkan skenario Anda.
Hapus log tertentu atau atur periode retensi log
Konsol
Di Basic Information, klik Modify, sesuaikan periode retensi data, dan klik Save.
Simple Log Service mendukung penghapusan entri log tertentu menggunakan fitur Log Soft Delete. Di halaman Query and Analysis LogStore, masukkan kondisi kueri, pilih rentang waktu, dan klik Log Soft Delete untuk mengirimkan tugas penghapusan. Entri log yang dihapus tidak akan muncul lagi dalam kueri berikutnya dan dihapus secara permanen setelah periode retensi berakhir. Anda juga dapat menghapus log yang telah kedaluwarsa secara batch dengan mengubah periode retensi data, atau dengan menghentikan penagihan atau menghapus LogStore untuk menghapus semua log.
Specified Days: Nilai valid: 1–3650. Mengatur nilai ini ke 3650 berarti retensi permanen. Log akan dihapus ketika periode retensi berakhir.
Permanent Storage: Menyimpan log di Logstore tanpa batas waktu.
Perubahan berlaku segera, tetapi penghapusan data yang telah kedaluwarsa mungkin memerlukan waktu.
Verifikasi bahwa perubahan telah berlaku
Setelah perubahan disimpan, arahkan kursor ke LogStore lagi dan klik Modify. Di properti LogStore, periksa apakah jumlah hari yang ditampilkan untuk Data Retention Period sesuai dengan nilai yang Anda tetapkan, yang mengonfirmasi bahwa pengaturan telah diterapkan. Jika permanent retention diaktifkan untuk LogStore, tidak akan ditampilkan jumlah hari kustom, yang berarti log di LogStore ini disimpan hingga Anda mengubah pengaturan tersebut.
Atasi masalah Data Retention Period yang tidak dapat dimodifikasi atau gagal disimpan
Jika Data Retention Period tidak dapat diedit (tombol edit periode retensi redup atau durasi penyimpanan tidak dapat dipilih), atau muncul error saat menyimpan perubahan dan pengaturan siklus hidup tidak dapat diselesaikan, periksa item berikut secara berurutan:
LogStore adalah LogStore khusus yang dibuat secara otomatis oleh layanan cloud atau Simple Log Service. Pembuatan otomatis berlaku untuk LogStore khusus Redis, LogStore khusus MongoDB, dan LogStore khusus manajemen Simple Log Service, yang periode retensi datanya dikelola oleh layanan cloud terkait. Saat Anda menyimpan perubahan di Konsol Simple Log Service, muncul pesan yang meminta Anda melakukan operasi di konsol layanan cloud tersebut. Untuk menggunakan periode retensi kustom, sesuaikan di konsol layanan cloud terkait, atau buat LogStore standar untuk log bisnis Anda.
LogStore adalah LogStore cadangan sistem dengan awalan
internal-, misalnyainternal-operation_log,internal-alert-history, atauinternal-etl-log. LogStore semacam ini sudah terikat pada konfigurasi impor data tertentu, dan konsol menunjukkan bahwa LogStore saat ini dikonfigurasi untuk impor data tertentu, sehingga item konfigurasinya tidak dapat dikustomisasi.Akun saat ini tidak memiliki izin yang cukup. Memodifikasi konfigurasi LogStore memerlukan izin manajemen LogStore pada Project yang dituju, yaitu izin seperti
log:*LogStoreyang tercantum di bagian Scope and permissions topik ini. Jika Anda login sebagai pengguna Resource Access Management (RAM), mintalah kebijakan sistemAliyunLogFullAccess, atau kebijakan kustom yang mencakup izin ini, dari pemilik Akun Alibaba Cloud.Halaman konsol tidak ditampilkan dengan benar. Refresh halaman atau ganti browser, arahkan kursor ke LogStore yang dituju lagi, klik Modify, lalu modifikasi Data Retention Period lagi.
Dalam skenario standar, Anda juga dapat menyelesaikan pengaturan dengan memodifikasi
ttlseperti yang dijelaskan di tab API bagian ini. Untuk LogStore khusus yang dijelaskan di atas, Anda tetap harus menyesuaikan periode retensi di konsol layanan cloud terkait.
API
Sesuaikan periode retensi log dengan memperbarui nilai ttl di Update Logstore.
Optimalkan biaya penyimpanan menggunakan tiering
Konsol
Di Basic Information, klik Modify dan aktifkan intelligent tiering.
Konfigurasikan Storage Policy: Jumlah hari di ketiga tier harus sama dengan total periode retensi data.
Hot storage: minimum 7 hari.
IA storage class: minimum 30 hari.
Archive Storage: minimum 60 hari.
Atur Data retention period ke Limited days, aktifkan Intelligent tiering, dan konfigurasikan transisi tier di Storage policy: hot storage secara otomatis bertransisi ke IA storage setelah periode berakhir, IA storage bertransisi ke Archive Storage, dan Archive Storage dihapus secara otomatis setelah periode berakhir.
Klik Save. Untuk detailnya, lihat Intelligent tiering.
API
Secara dinamis sesuaikan kebijakan retensi untuk tier penyimpanan dengan memperbarui nilai ttl, hot_ttl, dan infrequentAccessTTL di Update Logstore.
Kumpulkan log antarmuka depan
Simple Log Service menyediakan WebTracking untuk mengumpulkan log dari mini program, aplikasi seluler (iOS/Android), dan browser.
Anda dapat menggunakan fitur ini dengan dua cara:
Gunakan otentikasi STS untuk transmisi. Metode ini cocok untuk lingkungan produksi dan tidak memerlukan perubahan konfigurasi Logstore.
Gunakan transmisi anonim melalui OpenAPI. Metode ini hanya untuk pengujian dan memerlukan pengaktifan pengaturan di Logstore, seperti yang dijelaskan di bawah.
Konsol
Di Basic Properties, klik Modify, aktifkan WebTracking, dan klik Save.
API
Aktifkan WebTracking dengan mengatur parameter enable_tracking ke true di Update Logstore.
Tambahkan IP publik dan waktu kedatangan log secara otomatis
Saat diaktifkan, ingest log berikutnya secara otomatis menambahkan:
__tag__:__client_ip__: alamat IP publik perangkat sumber log.
__tag__:__receive_time__: waktu log tiba di server Simple Log Service, diformat sebagai Stempel waktu UNIX (detik sejak 1970-01-01 00:00:00 UTC).
Konsol
Di Basic Properties, klik Modify, aktifkan Record public IP, dan klik Save.
API
Aktifkan pencatatan IP publik dengan mengatur parameter appendMeta di Update Logstore.
Menyesuaikan performa ingesti menggunakan shard
Setiap shard mendukung ingest 5 MB/detik atau 500 tulis per detik, dan konsumsi 10 MB/detik atau 100 baca per detik. Ini adalah batas lunak. Sistem berusaha melayani permintaan yang melebihi batas ini tetapi tidak menjamin kualitas layanan. Jika trafik melebihi kapasitas shard, bagi shard tersebut untuk meningkatkan kapasitas.
Konsol
Di Basic Properties, klik Modify, aktifkan Automatic sharding, atur batas shard, dan klik Save.
Simple Log Service mendukung pembagian dan penggabungan shard individual.
API
Hentikan penagihan atau hapus Logstore
Setelah dihapus, semua data log di Logstore hilang secara permanen dan tidak dapat dipulihkan. Lanjutkan dengan hati-hati.
Konsol
Bersihkan sebelum penghapusan.
Hapus semua konfigurasi Logtail terkait sebelum menghapus LogStore. Ini adalah satu-satunya pemeriksaan prasyarat keras yang dilakukan konsol saat Anda menghapus LogStore: jika LogStore masih terkait dengan konfigurasi koleksi Logtail, konsol melaporkan bahwa konfigurasi Logtail ada dan harus dihapus terlebih dahulu, sehingga penghapusan tidak dapat dilanjutkan. Oleh karena itu, jika LogStore tidak dapat dihapus, pertama-tama hapus semua konfigurasi koleksi Logtail LogStore tersebut, lalu hapus LogStore lagi.
Jika LogShipper diaktifkan untuk Logstore ini, hentikan penulisan data baru dan pastikan semua data yang ada telah berhasil dikirim sebelum penghapusan.
Release Protection Project berlaku untuk Project itu sendiri: setelah diaktifkan, Anda harus menonaktifkannya secara manual sebelum dapat menghapus Project. Menghapus LogStore tunggal tidak terpengaruh oleh fitur ini, sehingga Anda tidak perlu menonaktifkannya.
Langkah-langkah penghapusan.
Di tab , arahkan kursor ke Logstore yang dituju dan pilih .
Di kotak dialog Warning, klik Confirm Deletion.
Catatan pasca-penghapusan.
Biaya penyimpanan tetap berlaku pada hari penghapusan. Tidak ada biaya yang dikenakan mulai hari berikutnya. Anda tidak akan menerima tagihan untuk Logstore ini mulai hari ketiga setelah penghapusan.
Setelah penghapusan, semua tugas ekspor, pekerjaan transformasi data, tugas SQL terjadwal yang menggunakan Logstore ini sebagai sumber, dan tugas impor yang menargetkan Logstore ini dihapus.
API
Contoh konfigurasi untuk skenario dunia nyata
Pemantauan dan analisis waktu nyata untuk beban kerja volume tinggi
Aplikasi online Anda menghasilkan volume log besar secara waktu nyata. Saat terjadi kegagalan, Anda perlu dengan cepat menemukan log kesalahan dan memantau metrik kinerja (seperti QPS dan latensi respons) dengan peringatan waktu nyata.
Konfigurasi yang direkomendasikan: Logstore Standard + pay-by-ingested-data + automatic sharding.
Alasan: Logstore Standard mendukung analitik, pemantauan waktu nyata, dan visualisasi. Dengan volume ingest tinggi dan potensi kebutuhan pengindeksan ekstensif, pay-by-ingested-data menawarkan efisiensi biaya yang lebih baik, dan automatic sharding memastikan kinerja ingest dan analisis yang konsisten.
Skenario kepatuhan, audit, dan regulasi
Regulasi industri mewajibkan penyimpanan log operasi pengguna dan log keamanan selama lebih dari enam bulan untuk audit, tetapi frekuensi kueri dan analisis harian sangat rendah.
Konfigurasi yang direkomendasikan: Logstore Query + intelligent tiering.
Alasan: Logstore Query mendukung beban kerja hanya pencarian dengan biaya lalu lintas indeks lebih rendah daripada Standard. Intelligent tiering mengurangi biaya penyimpanan jangka panjang dengan secara otomatis memindahkan log lama ke tier penyimpanan berbiaya lebih rendah.
Referensi terkait
Perbandingan Logstore dalam penagihan pay-by-feature
Logstore Query hanya mendukung penagihan pay-by-feature. Dalam model ini, Logstore Standard dan Query dibandingkan sebagai berikut:
Item Perbandingan | Standard | Spesifikasi Query | |
Biaya | USD 0,0875/GB | USD 0,0146/GB | |
Fitur | Ingest data (hanya untuk log aplikasi) | Didukung | Tidak mendukung ingest log produk cloud. |
Didukung | Didukung | ||
Didukung | Didukung | ||
Analitik (Pernyataan SQL) | Didukung | Tidak didukung | |
Didukung | Didukung | ||
Didukung | Didukung | ||
Didukung | Tidak didukung | ||
Didukung | Didukung | ||
Didukung | Tidak didukung | ||
Didukung | Hanya mendukung peringatan berbasis kueri | ||
Didukung | Tidak didukung | ||
Didukung | Didukung | ||
Didukung | Didukung | ||
Didukung | Didukung | ||
Batasan
Pay-by-ingested-data mendukung seluruh fitur SLS. Fitur bernilai tambah seperti kueri dan analisis, transformasi data, peringatan cerdas, dan konsumsi/pengiriman tidak dikenai biaya tambahan tetapi tunduk pada batasan kuota sebagai berikut.
Batasan kuota | Deskripsi |
Volume transformasi data | Maksimum 100 TB per Logstore per bulan. |
Volume data SQL terjadwal | Maksimum 20 TB per Logstore per bulan. |
Volume data pengiriman | Maksimum 100 TB per Logstore per bulan. |
Volume data konsumsi | Maksimum 100 TB per Logstore per bulan. |
Volume komputasi tugas peringatan | Maksimum 100 TB per Logstore per bulan. |
Ikhtisar penagihan
Biaya Logstore terutama bergantung pada mode penagihan yang dipilih.
Pay-by-feature: Anda ditagih secara terpisah untuk penggunaan aktual resource seperti kapasitas penyimpanan, lalu lintas indeks, operasi baca/tulis, dan jumlah shard.
Pay-by-ingested-data: Anda hanya membayar volume data mentah yang diingest, dengan penyimpanan gratis selama 30 hari dan beberapa fitur gratis termasuk.
Detail harga utama:
Lalu lintas indeks Standard: USD 0,0875/GB.
Lalu lintas indeks Query: USD 0,0146/GB.
Tips optimalisasi biaya:
Jika periode retensi log Anda mendekati atau melebihi 30 hari, pay-by-ingested-data biasanya lebih hemat biaya.
Untuk skenario pengarsipan dan hanya pengambilan, gunakan Logstore Query untuk mengurangi biaya pengindeksan.
Gunakan intelligent tiering untuk memindahkan data yang jarang diakses ke tier penyimpanan berbiaya lebih rendah.
FAQ
Tidak dapat membuat Logstore
Secara default, Anda dapat membuat hingga 200 Logstore per Project. Hapus Logstore yang tidak digunakan atau minta peningkatan kuota sebagai berikut.
Login ke Konsol Simple Log Service, dan klik Project yang dituju di daftar Project.
Di halaman Project, buka Overview > Basic Information > Resource Quota dan klik Manage. Di panel Resource Quotas, sesuaikan batas kuota Logstore dan klik Save untuk mengirimkan permintaan Anda. Beri waktu sekitar satu jam agar perubahan berlaku.
Apakah log hilang di Simple Log Service?
Project atau Logstore hilang
Jika Anda menghapus Project atau Logstore secara manual, log tidak dapat dipulihkan. Gunakan ActionTrail untuk memeriksa event penghapusan dalam 90 hari terakhir.
Jika akun Anda tetap menunggak lebih dari 7 hari, layanan dianggap ditinggalkan. Project ditarik kembali dan data dihapus secara permanen. Untuk detailnya, lihat Pembayaran yang tertunggak.
Bagaimana cara mengurangi biaya penyimpanan log?
Untuk memeriksa penagihan SLS Anda, lihat Lihat kapasitas penyimpanan SLS dan catatan konsumsi.
Unduh log historis secara lokal atau kirimkan ke OSS untuk penyimpanan.
Bagaimana cara mengidentifikasi sumber data log yang dikumpulkan ke LogStore?
Jika Project berisi LogStore yang tidak Anda buat, atau Anda tidak yakin layanan cloud mana yang menulis log ke LogStore, gunakan metode berikut untuk mengonfirmasi sumber data dan layanan sumber log:
Periksa konfigurasi impor data LogStore: konfigurasi koleksi Logtail dan konfigurasi pengiriman atau impor log layanan cloud berkorespondensi langsung dengan sumber data yang menulis ke LogStore. Ini adalah cara paling langsung untuk mengonfirmasi sumbernya.
Lihat Raw Logs di halaman Query and Analysis LogStore: kolom Time/IP setiap entri log menampilkan bidang pengenal sumber
__source__. Log yang dikumpulkan Logtail dari file juga membawa bidang cadangan seperti__tag__:__path__, yang namanya merupakan kata cadangan Simple Log Service, dan Anda dapat menggunakan bidang ini untuk menentukan sumber waktu proses log.Periksa deskripsi Project: Project yang berasal dari pembuatan otomatis oleh layanan cloud biasanya menyatakan tujuan dan sumbernya dalam deskripsi.
LogStore dengan awalan
internal-, misalnyainternal-operation_log,internal-alert-history, daninternal-etl-log, dicadangkan oleh Simple Log Service untuk impor data tertentu. Untuk LogStore ini, konsol menunjukkan bahwa LogStore saat ini dikonfigurasi untuk impor data tertentu dan item konfigurasinya tidak dapat dikustomisasi.Jangan mengandalkan bidang
productTypeyang dikembalikan olehGetLogStoreuntuk menentukan sumber: bidang ini tidak didefinisikan dalam OpenAPI Simple Log Service dan nilainya tidak distandarisasi. Gunakan hanya sebagai sinyal tambahan, jangan pernah sebagai satu-satunya dasar kesimpulan Anda.
Apakah penyimpanan log mentah diaktifkan secara default untuk LogStore?
Ya. Penyimpanan log mentah diaktifkan secara default dan tidak memerlukan konfigurasi manual. Setelah log ditulis ke LogStore, log mentah disimpan, dan Simple Log Service tidak menyediakan sakelar terpisah untuk penyimpanan log mentah. Berapa lama log disimpan ditentukan oleh Data Retention Period LogStore.
Untuk mengonfirmasi hal ini, login ke Konsol Simple Log Service, buka halaman Query and Analysis LogStore yang dituju, pilih rentang waktu, dan lihat log yang ditulis di tab Raw Logs. Tab Raw Logs juga tersedia saat pengindeksan dinonaktifkan untuk LogStore. Jika halaman menunjukkan bahwa pengindeksan tidak diaktifkan, Anda hanya dapat mengkueri data yang ditulis setelah pengindeksan berlaku.