Metode dan prosedur pengunduhan log - Simple Log Service

Layanan Log Sederhana (SLS) memungkinkan Anda mengunduh log atau hasil kueri dan analisis ke komputer lokal. Topik ini menjelaskan metode dan prosedur pengunduhan yang tersedia.

Metode pengunduhan

Unduh log atau hasil kueri dan analisis dari Konsol SLS, OpenAPI, Cloud Shell, command-line interface (CLI), atau SDK.

Penting

Jika menggunakan CLI SLS atau SDK, Anda dapat mengunduh data dalam jumlah Tanpa Batas. Namun, pengunduhan mungkin terganggu oleh masalah jaringan.
Hanya konsol yang mendukung pengunduhan terkompresi.
Jika sebuah logstore menggunakan metode penagihan pay-by-ingested-data, Anda tidak dikenai biaya untuk mengunduh hasil kueri dan analisis (hasil SQL). Untuk informasi selengkapnya, lihat Pay-by-ingested-data.
Jika sebuah logstore menggunakan metode penagihan pay-by-feature, Anda dikenai biaya penggunaan fitur Dedicated SQL saat mengunduh hasil kueri dan analisis (hasil SQL). Untuk informasi lebih lanjut tentang penagihan, lihat Item yang dikenai biaya untuk metode penagihan pay-by-feature.

Item	Unduh dari konsol (Direkomendasikan)	Unduh menggunakan OpenAPI	Unduh menggunakan CLI	Unduh menggunakan Cloud Shell	Unduh menggunakan SDK
Batas volume data	Hanya kueri: Anda dapat mengunduh hingga 20 juta baris data dari logstore di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), dan Singapura. Untuk wilayah lain, Anda dapat mengunduh hingga 1 juta baris. Volume data tidak boleh melebihi 20 GB. Analisis SQL: Anda dapat mengunduh hingga 1 juta baris data. Volume data tidak boleh melebihi 2 GB.	Hanya kueri: Anda dapat mengunduh hingga 20 juta baris data dari logstore di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), dan Singapura. Untuk wilayah lain, Anda dapat mengunduh hingga 1 juta baris. Volume data tidak boleh melebihi 20 GB. Analisis SQL: Anda dapat mengunduh hingga 1 juta baris data. Volume data tidak boleh melebihi 2 GB.	Hanya kueri: Tanpa Batas. Analisis SQL: Anda dapat mengunduh hingga 1 juta baris data. Volume data tidak boleh melebihi 2 GB.	Hanya kueri: Tanpa Batas. Analisis SQL: Anda dapat mengunduh hingga 1 juta baris data. Volume data tidak boleh melebihi 2 GB.	Hanya kueri: Tanpa Batas. Analisis SQL: Anda dapat mengunduh hingga 1 juta baris data. Volume data tidak boleh melebihi 2 GB.
Penerapan	Tidak ada.	Tidak ada.	Instal CLI SLS secara manual.	Penerapan otomatis. Anda harus menunggu inisialisasi saat pertama kali digunakan.	Instal SDK SLS secara manual dan tulis kode kustom.
Otorisasi	Konfigurasi izin unduh	Konfigurasi izin unduh	Konfigurasi manual.	Konfigurasi otomatis.	Konfigurasi manual.
Dedicated SQL	Fitur Dedicated SQL digunakan untuk mengunduh hasil analisis SQL.	Fitur Dedicated SQL digunakan untuk mengunduh hasil analisis SQL.	Tidak digunakan.	Tidak digunakan.	Konfigurasikan parameter sesuai kebutuhan.
Trafik internet arah keluar	Tidak ada.	Tidak ada.	Jika tool diterapkan pada instance ECS di wilayah yang sama dengan proyek dan Anda menggunakan titik akhir pribadi SLS, tidak ada biaya trafik internet arah keluar yang dikenakan.	Jika proyek berada di wilayah China (Shanghai), tidak ada biaya trafik internet arah keluar yang dikenakan.	Jika tool diterapkan pada instance ECS di wilayah yang sama dengan proyek dan Anda menggunakan titik akhir pribadi SLS, tidak ada biaya trafik internet arah keluar yang dikenakan.
Integrasi NAS	Tidak ada.	Tidak ada.	Konfigurasi manual, jika diperlukan.	Konfigurasi otomatis.	Konfigurasi manual, jika diperlukan.

Anda juga dapat mengirim log ke Object Storage Service (OSS), lalu mengunduhnya dari OSS. Untuk informasi selengkapnya, lihat Buat pekerjaan pengiriman data OSS (versi baru).

Konfigurasi izin unduh (klik untuk melihat)

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:ListDownloadJobs",
        "log:CreateDownloadJob",
        "log:GetDownloadJob",
        "log:DeleteDownloadJob"
      ],
      "Resource": [
        "acs:log:*:*:project/your-project-name/downloadjob/*"
      ],
      "Effect": "Allow"
    }
  ]
}

Prosedur

Unduh dari konsol

SLS memungkinkan Anda mengunduh log atau hasil kueri dan analisis langsung dari Konsol ke komputer lokal. Prosedur pengunduhan untuk keduanya serupa. Bagian ini menggunakan contoh pengunduhan log. Untuk mengunduh hasil kueri dan analisis, jalankan kueri dan analisis, lalu pada tab Graph, klik Download Log.

Penting

Jika jumlah log melebihi batas untuk satu pengunduhan, hanya jumlah maksimum log yang diunduh. Untuk mengunduh semua log, persempit rentang waktu kueri Anda dan unduh log secara batch.
Setiap Akun Alibaba Cloud mendukung hingga tiga operasi unduh bersamaan. Jumlah total unduhan tidak dibatasi. Kesalahan dapat terjadi jika Anda memulai lebih dari tiga unduhan bersamaan atau jika beberapa Pengguna RAM mengunduh log secara bersamaan. Jika terjadi kesalahan, tunggu hingga operasi lain selesai lalu coba lagi.
Catatan unduh dalam 24 jam terakhir disimpan. Catatan yang lebih lama akan dihapus secara otomatis.
Jika tugas unduh gagal karena kesalahan jaringan atau kueri yang tidak akurat, sistem akan mencoba ulang tugas tersebut secara otomatis. Jika tugas tetap gagal setelah tiga kali percobaan ulang, statusnya berubah menjadi Failed.

Masuk ke Konsol Simple Log Service.
Pada bagian Projects, klik proyek tersebut.
Pada tab Log Storage > Logstores, klik logstore tersebut.
Masukkan pernyataan pencarian dan pilih rentang waktu.
Pada tab Raw Logs, pilih > Download Log.

Pada kotak dialog Download Log, konfigurasikan parameter berikut lalu klik OK.

Parameter	Deskripsi
Task Name	Nama tugas unduh.
Log Quantity	Pilih jumlah log yang akan diunduh.
Data Format	Format CSV dan JSON didukung. Jika Anda memilih CSV, nama kolom dalam file dihasilkan berdasarkan bidang dari 100 log pertama. Jika log berikutnya berisi bidang baru, bidang baru tersebut disimpan di kolom terakhir file CSV dalam format JSON. Nama kolom terakhir kosong. Jika Anda memilih JSON, konten setiap log dikonversi ke format JSON dan ditulis ke file sebagai satu baris.
Quote	Pilih karakter quote untuk membungkus karakter khusus dalam log dan mencegahnya di-escape.
Download Inaccurate Results	Jika Anda mengatur parameter ini ke No, pengunduhan gagal jika hasil kueri tidak akurat.
Compression Method	Metode kompresi yang didukung meliputi gzip, lz4, dan zstd. Anda juga dapat memilih untuk tidak mengompresi log. Jika Anda mengunduh banyak log, kami sangat menyarankan agar Anda mengompresinya. Hal ini dapat secara signifikan mengurangi volume dan waktu pengunduhan.

Pada kotak dialog Download Tasks, tunggu hingga Status tugas berubah menjadi Successful. Lalu, klik Download untuk menyimpan log ke komputer lokal Anda.
Anda juga dapat memilih > Download Tasks pada tab Raw Logs untuk membuka kotak dialog Download Tasks dan melihat catatan pengunduhan.

Unduh melalui OpenAPI

Panggil operasi CreateDownloadJob untuk membuat tugas unduh log.

Penting

Jika jumlah log melebihi batas untuk satu kali pengunduhan, hanya jumlah maksimum log yang diunduh. Untuk mengunduh semua log, perkecil rentang waktu kueri Anda dan unduh log secara batch.
Setiap Akun Alibaba Cloud mendukung hingga tiga operasi unduh bersamaan. Jumlah total unduhan tidak dibatasi. Kesalahan dapat terjadi jika Anda memulai lebih dari tiga unduhan bersamaan atau jika beberapa Pengguna RAM mengunduh log secara bersamaan. Jika terjadi kesalahan, tunggu hingga operasi lain selesai lalu coba lagi.
Catatan unduhan dalam 24 jam terakhir disimpan. Catatan yang lebih lama akan dihapus secara otomatis.
Jika tugas unduh gagal karena kesalahan jaringan atau kueri yang tidak akurat, sistem akan mencoba ulang tugas tersebut secara otomatis. Jika tugas tetap gagal setelah tiga kali percobaan ulang, statusnya berubah menjadi Failed.

Unduh menggunakan Cloud Shell

Cloud Shell berlokasi di wilayah China (Shanghai). Jika logstore Anda tidak berada di wilayah China (Shanghai), biaya trafik internet arah keluar akan dikenakan saat Anda mengunduh log. Untuk informasi harga selengkapnya, lihat Pricing. Untuk petunjuknya, lihat Gunakan Cloud Shell untuk mengunduh data log.

Unduh menggunakan CLI

Untuk mengunduh volume log yang besar, gunakan CLI.

Instal CLI. Untuk informasi selengkapnya, lihat Instal CLI.
Dapatkan pasangan AccessKey untuk akun Anda. Untuk informasi selengkapnya, lihat Pasangan AccessKey.

Jalankan perintah untuk mengunduh log. Untuk informasi selengkapnya, lihat get_log_all.

Sebagai contoh, jalankan perintah unduh di CLI. Setelah perintah berhasil dijalankan, log secara otomatis diunduh ke file downloaded_data.txt di direktori saat ini.

aliyunlog log get_log_all --project="aliyun-test-project" --logstore="aliyun-test-logstore" --from_time="2024-07-01 15:33:00+8:00" --to_time="2024-07-09 15:23:00+8:00"  --query="status:200|select request_method as method,COUNT(*) as pv group by method order by pv" --region-endpoint="cn-hangzhou.log.aliyuncs.com" --format-output=json --access-id="LT***CyGg" --access-key="8P***zi" >> ./downloaded_data.txt

Untuk informasi selengkapnya, lihat Gunakan CLI SLS.

Unduh menggunakan SDK

Untuk mengunduh volume log yang besar, gunakan SDK.

Catatan

Operasi SDK untuk mengunduh log sama dengan operasi untuk mengkueri log.

Kode SDK Python berikut memberikan contoh:

import os
import time

from aliyun.log import LogClient
from aliyun.log import GetLogsRequest

# Titik akhir SLS.
endpoint = 'cn-qingdao.log.aliyuncs.com'
# Dapatkan ID AccessKey dan Rahasia AccessKey dari variabel lingkungan.
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Nama proyek.
project = 'your-project-name'
# Nama logstore.
logstore = 'your-logstore-name'
client = LogClient(endpoint, accessKeyId, accessKey)
request = GetLogsRequest("project1", "logstore1", fromTime=int(time()-3600), toTime=int(time()), topic='', query="*", line=100, offset=0, reverse=False)
# atau
# request = GetLogsRequest("project1", "logstore1", fromTime="2018-1-1 10:10:10", toTime="2018-1-1 10:20:10", topic='', query="*", line=100, offset=0, reverse=False)


res = client.get_logs(request)
res.log_print()

Untuk informasi selengkapnya, lihat Ikhtisar Referensi SDK.