Unduh log SLS melalui konsol, OpenAPI, CLI, Cloud Shell, atau SDK - Simple Log Service

Unduh log atau hasil kueri dan analisis ke mesin lokal Anda menggunakan konsol SLS, OpenAPI, Cloud Shell, CLI, atau SDK.

Metode pengunduhan

SLS mendukung pengunduhan log atau hasil kueri dan analisis melalui konsol, Cloud Shell, CLI, atau SDK.

Penting

Metode CLI dan SDK tidak memiliki batas volume data untuk pengunduhan berbasis kueri. Namun, pengunduhan dapat terganggu oleh ketidakstabilan jaringan.
Pengunduhan terkompresi hanya didukung melalui konsol.
Jika Logstore menggunakan metode penagihan pay-by-ingested-data, pengunduhan hasil kueri dan analisis (hasil SQL) gratis. pay-by-ingested-data.
Jika Logstore menggunakan metode penagihan pay-by-feature, pengunduhan hasil kueri dan analisis (hasil SQL) memerlukan Dedicated SQL, yang dikenai biaya. Item yang dikenai biaya untuk metode penagihan pay-by-feature.

Item perbandingan	Konsol (direkomendasikan)	OpenAPI	CLI	Cloud Shell	SDK
Batas volume data	Hanya kueri: Hingga 20 juta baris di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), dan Singapura. Hingga 1 juta baris di wilayah lainnya. Volume data maksimum: 20 GB. Analisis SQL: Volume data maksimum: 2 GB.	Hanya kueri: Hingga 20 juta baris di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), dan Singapura. Hingga 1 juta baris di wilayah lainnya. Volume data maksimum: 20 GB. Analisis SQL: Volume data maksimum: 2 GB.	Hanya kueri: Tanpa Batas Analisis SQL: Volume data maksimum: 2 GB.	Hanya kueri: Tanpa Batas Analisis SQL: Volume data maksimum: 2 GB.	Hanya kueri: Tanpa Batas Analisis SQL: Volume data maksimum: 2 GB.
Penerapan	Tidak diperlukan	Tidak ada	Instal manual CLI SLS.	Penerapan otomatis. Tunggu inisialisasi saat pertama kali dijalankan.	Instal manual SDK SLS dan tulis kode kustom.
Otorisasi	Konfigurasi izin unduh	Konfigurasi izin unduh	Konfigurasi manual	Konfigurasi otomatis	Konfigurasi manual
Dedicated SQL	Diperlukan untuk mengunduh hasil analisis SQL.	Diperlukan untuk mengunduh hasil analisis SQL.	Tidak digunakan	Tidak digunakan	Konfigurasikan parameter sesuai kebutuhan.
Trafik internet arah keluar	Tidak ada	Tidak ada	Biaya dibebaskan jika tool diterapkan pada instance ECS di wilayah yang sama dengan proyek dan menggunakan private endpoint SLS.	Biaya dibebaskan jika proyek berada di wilayah China (Shanghai).	Biaya dibebaskan jika tool diterapkan pada instance ECS di wilayah yang sama dengan proyek dan menggunakan private endpoint SLS.
Integrasi Network Attached Storage (NAS)	Tidak ada	Tidak ada	Konfigurasi manual, jika diperlukan.	Konfigurasi otomatis	Konfigurasi manual, jika diperlukan.

Sebagai alternatif, kirim log ke Object Storage Service (OSS) dan unduh dari sana. Buat tugas pengiriman OSS (Baru).

Konfigurasi izin unduh (klik untuk melihat)

{
  "Version": "1",
  "Statement": [
    {
      "Action": [
        "log:ListDownloadJobs",
        "log:CreateDownloadJob",
        "log:GetDownloadJob",
        "log:DeleteDownloadJob"
      ],
      "Resource": [
        "acs:log:*:*:project/your-project-name/downloadjob/*"
      ],
      "Effect": "Allow"
    }
  ]
}

Prosedur

Konsol

Anda dapat menggunakan konsol SLS untuk mengunduh log atau hasil kueri dan analisis ke mesin lokal Anda. Prosedur pengunduhan untuk keduanya serupa. Langkah-langkah berikut menggunakan contoh pengunduhan log. Untuk mengunduh hasil kueri dan analisis, jalankan pernyataan kueri dan analisis, lalu pada tab Graph, klik Download Log.

Penting

Jika log melebihi batas tugas tunggal, hanya jumlah maksimum yang diizinkan yang akan diunduh. Persempit rentang waktu dan unduh dalam beberapa batch untuk mendapatkan semua log.
Setiap Akun Alibaba Cloud mendukung hingga tiga tugas unduh bersamaan, tanpa batas jumlah total pengunduhan. Jika batas ini terlampaui atau beberapa Pengguna RAM memulai pengunduhan secara bersamaan, tunggu hingga tugas yang sedang berjalan selesai sebelum mencoba lagi.
Catatan unduh dihapus secara otomatis setelah satu hari.
Sistem akan mencoba ulang tugas unduh secara otomatis jika terjadi error jaringan atau kueri tidak akurat. Setelah tiga kali percobaan ulang, status tugas berubah menjadi Failed.

Masuk ke konsol SLS.
Pada bagian Projects, klik proyek yang dituju.
Di panel navigasi kiri, pilih Log Storage > Logstores. Pada halaman Logstores, klik Logstore yang dituju.
Masukkan pernyataan kueri dan pilih rentang waktu.
Pada tab Raw Logs, pilih > Download Log.

Pada kotak dialog Download Log, konfigurasikan parameter berikut dan klik OK.

Parameter	Deskripsi
Task Name	Nama tugas unduh.
Log Quantity	Jumlah log yang akan diunduh.
Data Format	CSV atau JSON. CSV: Nama kolom berasal dari 100 field log pertama. Field baru pada log berikutnya disimpan dalam format JSON di kolom akhir tanpa nama. JSON: Setiap entri log merupakan satu baris JSON.
Quote	Membungkus field yang berisi karakter khusus untuk mencegah escaping yang tidak disengaja.
Download Inaccurate Results	Jika Anda memilih No, pengunduhan gagal jika hasil kueri tidak akurat.
Compression Method	gzip, lz4, zstd, atau none. Kompresi secara signifikan mengurangi ukuran file dan waktu unduh untuk set data besar.

Pada kotak dialog Download Tasks, tunggu hingga Status tugas berubah menjadi Successful, lalu klik Download untuk menyimpan log ke mesin lokal Anda.

Atau, pada tab Raw Logs, Anda dapat memilih > Download Tasks untuk membuka kotak dialog Download Tasks dan melihat catatan unduh.

OpenAPI

Panggil operasi CreateDownloadJob untuk membuat tugas unduh log.

Penting

Jika log melebihi batas tugas tunggal, hanya jumlah maksimum yang diizinkan yang akan diunduh. Persempit rentang waktu dan unduh dalam beberapa batch untuk mendapatkan semua log.
Setiap Akun Alibaba Cloud mendukung hingga tiga tugas unduh bersamaan, tanpa batas jumlah total pengunduhan. Jika batas ini terlampaui atau beberapa Pengguna RAM memulai pengunduhan secara bersamaan, tunggu hingga tugas yang sedang berjalan selesai sebelum mencoba lagi.
Catatan unduh dihapus secara otomatis setelah satu hari.
Sistem akan mencoba ulang tugas unduh secara otomatis jika terjadi error jaringan atau kueri tidak akurat. Setelah tiga kali percobaan ulang, status tugas berubah menjadi Failed.

Cloud Shell

Cloud Shell diterapkan di China (Shanghai). Mengunduh dari Logstore di wilayah lain dikenai biaya trafik internet arah keluar. Harga. Gunakan Cloud Shell untuk mengunduh data log.

CLI

Untuk volume log besar, gunakan CLI.

Instal CLI. Instal CLI.
Dapatkan Pasangan Kunci Akses Anda. Pasangan Kunci Akses.

Jalankan perintah unduh. get_log_all.

Contoh: Perintah berikut mengunduh log dan menyimpannya ke downloaded_data.txt di direktori kerja.

aliyunlog log get_log_all --project="aliyun-test-project" --logstore="aliyun-test-logstore" --from_time="2024-07-01 15:33:00+8:00" --to_time="2024-07-09 15:23:00+8:00"  --query="status:200|select request_method as method,COUNT(*) as pv group by method order by pv" --region-endpoint="cn-hangzhou.log.aliyuncs.com" --format-output=json --access-id="LT***CyGg" --access-key="8P***zi" >> ./downloaded_data.txt

Gunakan CLI SLS.

SDK

Untuk volume log besar, gunakan SDK.

Catatan

SDK menggunakan API yang sama untuk mengunduh dan mengkueri log.

Kode berikut adalah contoh SDK Python:

import os
import time

from aliyun.log import LogClient
from aliyun.log import GetLogsRequest

# Titik akhir Simple Log Service. 
endpoint = 'cn-qingdao.log.aliyuncs.com'
# Contoh ini menunjukkan cara memperoleh ID AccessKey dan Rahasia AccessKey dari variabel lingkungan.
accessKeyId = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_ID', '')
accessKey = os.environ.get('ALIBABA_CLOUD_ACCESS_KEY_SECRET', '')
# Nama proyek.
project = 'your-project-name'
# Nama Logstore.
logstore = 'your-logstore-name'
client = LogClient(endpoint, accessKeyId, accessKey)
# Pastikan untuk mengganti nama proyek dan nama Logstore dalam pemanggilan GetLogsRequest dengan nilai aktual Anda.
request = GetLogsRequest(project, logstore, fromTime=int(time()-3600), toTime=int(time()), topic='', query="*", line=100, offset=0, reverse=False)
# Atau
# request = GetLogsRequest(project, logstore, fromTime="2018-1-1 10:10:10", toTime="2018-1-1 10:20:10", topic='', query="*", line=100, offset=0, reverse=False)

res = client.get_logs(request)
res.log_print()

Ikhtisar Referensi SDK.