Impor file Amazon S3 ke Simple Log Service untuk kueri dan analisis - Simple Log Service

Simple Log Service (SLS) memungkinkan Anda mengimpor file log dari Amazon S3 untuk kueri, analisis, dan pemrosesan. Objek S3 individual hingga 5 GB didukung (ukuran terkompresi berlaku untuk objek yang dikompresi).

Prasyarat

Unggah file log ke Amazon S3.
Buat proyek dan logstore. Kelola proyek, Buat logstore.

Konfigurasikan izin kustom:

Buat kebijakan kustom yang memberikan izin untuk mengelola resource S3, seperti pada contoh berikut (AWS: Custom permission sets).

Catatan

Izin S3 kustom diperlukan untuk mengimpor file ke SLS.

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::your_bucket_name",
        "arn:aws:s3:::your_bucket_name/*"
      ]
    }
  ]
}

Buat kebijakan kustom yang memberikan izin untuk mengelola resource SQS (AWS: Custom permission sets).

Catatan
Ini hanya diperlukan jika Anda mengaktifkan integrasi SQS.
```
{
  "Effect": "Allow",
  "Action": [
    "sqs:ReceiveMessage",
    "sqs:DeleteMessage",
    "sqs:GetQueueAttributes",
    "kms:Decrypt"
  ],
  "Resource": "*"
}
```

Buat konfigurasi impor data

Masuk ke Konsol Simple Log Service.
Navigasi ke Import Data > Data Import dan pilih S3 - Data Import.
Pilih proyek dan logstore tujuan, lalu klik Next.

Konfigurasikan pengaturan impor.

Pada langkah Import Configuration, atur parameter berikut.

Parameter	Deskripsi
Task Name	Nama unik untuk pekerjaan Impor Data.
S3 Region	Wilayah tempat bucket sumber berada.
AWS AccessKey ID	ID AWS AccessKey yang digunakan untuk mengakses akun AWS Anda. Penting Pastikan ID AccessKey Anda memiliki izin yang diperlukan untuk mengakses resource AWS terkait.
AWS Secret AccessKey	AWS Secret AccessKey yang sesuai dengan ID AccessKey Anda.
SQS Queue URL	URL antrian SQS (AWS: Queue and message identifiers). Penting Parameter ini hanya diperlukan jika Anda mengaktifkan integrasi SQS.
File Path Prefix Filter	Menyaring objek S3 berdasarkan awalan kunci. Misalnya, atur awalan menjadi `csv/` untuk hanya mengimpor objek di direktori tersebut. Jika Anda membiarkan parameter ini kosong, seluruh bucket S3 akan dipindai. Catatan Konfigurasikan awalan untuk bucket besar. Memindai seluruh bucket memperlambat proses impor.
File Path Regex Filter	Menyaring objek S3 berdasarkan ekspresi reguler yang cocok dengan path objek lengkap. Hanya objek yang cocok yang diimpor. Secara default kosong (tanpa penyaringan). Misalnya, jika objek S3 berada di `testdata/csv/bill.csv`, Anda dapat mengatur ekspresi reguler menjadi `(testdata/csv/)(.*)`. Debug ekspresi reguler.
File Modification Time Filter	Menyaring objek S3 berdasarkan waktu modifikasi terakhirnya. All: Pilih opsi ini untuk mengimpor semua objek yang memenuhi kondisi yang ditentukan. From Specific Time: Pilih opsi ini untuk mengimpor objek yang dimodifikasi setelah titik waktu tertentu. Specific Time Range: Pilih opsi ini untuk mengimpor objek yang dimodifikasi dalam rentang waktu tertentu.
Data Format	Format untuk mengurai file log: CSV: Teks berbatas. Anda dapat menggunakan baris pertama file sebagai nama bidang atau menentukan nama bidang secara manual. Setiap baris berikutnya diurai sebagai nilai untuk entri log. Single-line JSON: Membaca objek S3 baris per baris dan mengurai setiap baris sebagai objek JSON. Kunci dalam objek JSON menjadi nama bidang dalam log. Single-line Text Log: Mengurai setiap baris dalam objek S3 sebagai entri log terpisah. Multi-line Text Logs: Mengurai beberapa baris sebagai satu entri log. Anda harus menentukan ekspresi reguler untuk mencocokkan awal atau akhir entri log.
Compression Format	Format kompresi objek S3 sumber. SLS mendekompresi objek berdasarkan format yang dipilih sebelum membaca data.
Encoding Format	Format encoding objek S3 sumber. Hanya UTF-8 dan GBK yang didukung.
New File Check Cycle	Jika objek baru terus-menerus ditambahkan ke path S3 sumber, atur New File Check Cycle sesuai kebutuhan. Pekerjaan impor secara berkala menemukan dan membaca objek baru. Setiap objek S3 diimpor paling banyak satu kali. Jika tidak ada objek baru yang akan ditambahkan, pilih Never Check. Pekerjaan berhenti setelah mengimpor semua objek yang cocok.

Time Field	Jika Data Format atau Single-line JSON dipilih sebagai Single-line JSON, Anda dapat menentukan bidang yang berisi timestamp. SLS menggunakan bidang ini sebagai timestamp log.
Time Field Extraction Regular Expression	Anda dapat menggunakan ekspresi reguler untuk mengekstraksi timestamp dari konten log. Misalnya, jika entri log contoh adalah 127.0.0.1 - - [10/Sep/2018:12:36:49 0800] "GET /index.html HTTP/1.1", Anda dapat mengatur Time Field Extraction Regular Expression menjadi `[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+`. Catatan Untuk format data lain, Anda juga dapat menggunakan ekspresi reguler untuk mengekstraksi hanya bagian dari bidang waktu.
Time Field Format	Format yang digunakan untuk mengurai nilai bidang waktu. Mendukung sintaks Java SimpleDateFormat, seperti `yyyy-MM-dd HH:mm:ss`. Format waktu. Format epoch didukung, termasuk epoch, epochMillis, epochMicro, dan epochNano.
Time Zone	Pilih zona waktu untuk bidang waktu. Zona waktu tidak diperlukan untuk format epoch. Untuk mengakomodasi daylight saving time, pilih format UTC. Jika tidak, pilih format GMT. Catatan Zona waktu default adalah UTC+8.

Jika Anda memilih Data Format sebagai Data Format, Anda harus mengonfigurasi parameter tambahan yang dijelaskan dalam tabel berikut.

Parameter khusus CSV

Parameter	Deskripsi
Delimiter	Delimiter yang digunakan untuk memisahkan bidang. Nilai default adalah koma (,).
Quote	Karakter quote yang digunakan untuk string CSV.
Quote	Karakter escape yang digunakan untuk meng-escape karakter khusus. Nilai default adalah backslash (\).
Maximum Lines	Jika Anda mengaktifkan First Line as Field Name, baris pertama file CSV digunakan sebagai nama bidang.
Custom Fields	Jika Anda menonaktifkan First Line as Field Name, Anda harus menentukan nama bidang kustom untuk log. Pisahkan beberapa nama bidang dengan koma (,).
Lines to Skip	Jumlah baris log yang dilewati dari awal file. Misalnya, jika Anda mengatur ini ke 1, pengumpulan data dimulai dari baris kedua file CSV.

Parameter khusus log teks multi-baris

Parameter	Deskripsi
Position to Match Regular Expression	Posisi tempat mencocokkan ekspresi reguler. Opsi berikut tersedia: Regular Expression to Match First Line: Menggunakan ekspresi reguler untuk mencocokkan baris pertama entri log. Baris yang tidak cocok dianggap sebagai bagian dari entri log saat ini hingga jumlah maksimum baris tercapai. Regular Expression to Match Last Line: Menggunakan ekspresi reguler untuk mencocokkan baris terakhir entri log. Baris yang tidak cocok dianggap sebagai bagian dari entri log berikutnya hingga jumlah maksimum baris tercapai.
Regular Expression	Ekspresi reguler yang menentukan awal atau akhir entri log. Debug ekspresi reguler.
Maximum Lines	Jumlah maksimum baris untuk satu entri log.

Klik Preview untuk memeriksa hasil impor.
Setelah Anda mengonfirmasi pengaturan, klik Next.

Pratinjau data, buat indeks, lalu klik Next.

SLS mengaktifkan indeks teks penuh secara default. Anda juga dapat membuat indeks bidang secara manual atau klik Automatic Index Generation untuk menghasilkannya secara otomatis. Buat indeks.

Penting
Untuk melakukan kueri dan analisis log, Anda harus mengaktifkan indeks teks penuh atau indeks bidang. Jika keduanya diaktifkan, indeks bidang memiliki prioritas lebih tinggi.

Lihat konfigurasi impor

Lihat detail konfigurasi dan laporan statistik di konsol.

Di daftar proyek, klik proyek tujuan.
Di bagian Log Storage > Logstore, temukan logstore tujuan, pilih Data Collection > Data Import, lalu klik nama konfigurasi.
Lihat informasi dasar dan laporan statistik untuk konfigurasi impor.
Anda juga dapat memodifikasi, memulai, menghentikan, atau menghapus konfigurasi impor.

Peringatan
Operasi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.

Tagihan

SLS tidak membebankan biaya untuk fitur Impor Data. Namun, biaya transfer data dan permintaan API dari penyedia cloud Anda mungkin berlaku. Model berikut menguraikan potensi biaya. Rujuk tagihan penyedia Anda untuk biaya aktual.

Bidang	Deskripsi
`T`	Total volume impor data harian, dalam GB.
`p_read`	Biaya per GB untuk traffic internet arah keluar.
`p_put`	Biaya per 10.000 permintaan PUT.
`p_get`	Biaya per 10.000 permintaan GET.
`M`	Interval pemeriksaan file baru, dalam menit. Anda dapat mengatur New File Check Cycle saat membuat konfigurasi impor data.
`N`	Jumlah objek yang dapat dilist di bucket yang sesuai dengan awalan yang ditentukan.

FAQ

Masalah	Kemungkinan penyebab	Solusi
Pratinjau tidak menampilkan data.	Tidak ada objek di bucket S3, objek tidak berisi data, atau tidak ada objek yang sesuai dengan kondisi filter.	Verifikasi bahwa bucket berisi objek yang tidak kosong. Untuk file CSV, periksa apakah file tersebut berisi lebih dari hanya baris header. Jika tidak ada objek yang berisi data, tunggu hingga data tersedia sebelum mengimpor. Sesuaikan pengaturan konfigurasi untuk filter path file atau filter waktu.
Data yang diimpor berisi teks acak (garbled).	Pengaturan Data Format, Compression Format, atau Encoding Format tidak sesuai dengan file sumber.	Konfirmasi format aktual objek S3, lalu sesuaikan pengaturan Data Format, Compression Format, atau Encoding Format yang sesuai. Untuk memperbaiki data acak yang sudah ada, Anda harus membuat logstore baru dan konfigurasi impor baru.
Timestamp log di SLS tidak sesuai dengan timestamp di data sumber.	Bidang waktu log tidak ditentukan, atau format waktu atau zona waktu dikonfigurasi salah dalam konfigurasi impor.	Tentukan bidang waktu log dan atur format waktu serta zona waktu yang benar. Log Time Configuration.
Data tidak dapat dikueri atau dianalisis setelah diimpor.	Data berada di luar rentang waktu kueri. Indeks tidak dikonfigurasi. Indeks belum berlaku.	Periksa apakah waktu data yang ingin Anda kueri berada dalam rentang waktu kueri. Jika tidak, sesuaikan rentang waktu dan kueri lagi. Periksa apakah indeks telah dikonfigurasi untuk logstore. Jika belum, konfigurasikan indeks. Buat indeks, Bangun ulang indeks. Jika indeks telah dikonfigurasi dan volume data yang diimpor sesuai ekspektasi, indeks mungkin belum berlaku. Coba bangun ulang. Bangun ulang indeks.
Jumlah entri log yang diimpor lebih sedikit dari yang diharapkan.	Entri log tunggal yang lebih besar dari 3 MB dibuang selama impor (Batas pengumpulan data).	Saat menulis data ke file S3, pastikan satu baris data tidak melebihi 3 MB.
Beberapa file tidak diimpor.	Kondisi filter diatur salah, atau beberapa file melebihi batas ukuran 5 GB (Batas pengumpulan data).	Verifikasi bahwa file yang akan diimpor memenuhi kondisi filter. Jika tidak, modifikasi kondisi filter. Pastikan setiap file yang akan diimpor berukuran kurang dari 5 GB. Jika file melebihi 5 GB, Anda harus mengurangi ukurannya.
Log teks multi-baris diurai salah.	Ekspresi reguler untuk mencocokkan baris pertama atau terakhir salah.	Verifikasi bahwa ekspresi reguler untuk mencocokkan baris pertama atau terakhir benar.
Impor file baru memiliki latensi tinggi.	Terlalu banyak objek yang ada yang sesuai dengan filter awalan path file.	Jika jumlah objek yang sesuai dengan filter awalan path file terlalu besar (misalnya, lebih dari satu juta), atur awalan yang lebih spesifik dan buat beberapa pekerjaan impor. Jika tidak, penemuan file baru akan sangat melambat.

Penanganan error

Error	Deskripsi
File read failure	Jika pembacaan file gagal karena masalah jaringan, korupsi, atau error lain, pekerjaan impor mencoba ulang hingga tiga kali sebelum melewati file tersebut. Interval percobaan ulang sama dengan New File Check Cycle. Jika New File Check Cycle diatur ke Never Check, interval percobaan ulang adalah 5 menit.
Compression format parsing error	Jika terjadi error format kompresi tidak valid saat mendekompresi file, pekerjaan impor melewati file tersebut.
Data format parsing error	Saat penguraian data gagal, tugas impor menyimpan konten teks asli dalam bidang content log.
S3 bucket does not exist	Pekerjaan impor mencoba ulang secara berkala. Setelah bucket dibuat ulang, pekerjaan impor secara otomatis dilanjutkan.
Permission error	Jika terjadi error izin saat membaca dari S3 atau menulis ke logstore, pekerjaan impor mencoba ulang secara berkala dan dilanjutkan setelah izin diperbaiki. Tidak ada file yang dilewati selama error izin. Setelah masalah diperbaiki, pekerjaan mengimpor semua objek yang belum diproses.