Impor data OSS untuk kueri dan analisis - Simple Log Service

Anda dapat mengimpor file log dari bucket Object Storage Service (OSS) ke Simple Log Service untuk melakukan kueri, analisis, dan transformasi. Simple Log Service mendukung impor objek OSS hingga ukuran 5 GB. Untuk objek terkompresi, batas ini berlaku pada ukuran setelah dikompresi.

Penagihan

Simple Log Service tidak membebankan biaya untuk fitur impor data. Namun, fitur ini memanggil operasi API Object Storage Service (OSS), yang mengakibatkan biaya lalu lintas dan permintaan OSS. Untuk informasi lebih lanjut mengenai harga item yang dapat ditagih terkait, lihat Harga OSS. Biaya harian OSS untuk mengimpor data dari OSS dihitung menggunakan rumus berikut:

Parameter penagihan

Parameter	Deskripsi
`N`	Jumlah file yang diimpor per hari.
`T`	Jumlah total data yang diimpor per hari, dalam GB.
`p_read`	Biaya lalu lintas per GB data. Jika Anda mengimpor data dalam wilayah yang sama, lalu lintas outbound internal akan dihasilkan. Lalu lintas ini gratis. Jika Anda mengimpor data lintas wilayah, lalu lintas internet outbound akan dihasilkan.
`p_put`	Biaya per 10.000 permintaan PUT. Simple Log Service memanggil operasi API ListObjects untuk mencantumkan file di bucket sumber. OSS membebankan biaya operasi ListObjects sebagai permintaan PUT. Setiap panggilan API dapat mengembalikan hingga 1.000 objek. Misalnya, jika Anda memiliki 1.000.000 file baru untuk diimpor, diperlukan 1.000 permintaan (1.000.000 file / 1.000 file per permintaan).
`p_get`	Biaya per 10.000 permintaan GET.
`M`	Interval pemeriksaan file baru, dalam menit. Saat membuat konfigurasi impor data, Anda dapat mengatur parameter New File Check Cycle.

Prasyarat

File log diunggah ke bucket Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Unggah objek.
Project dan Logstore telah dibuat. Untuk informasi selengkapnya, lihat Kelola project dan Buat Logstore dasar.
Anda telah menyelesaikan Otorisasi Akses Resource Cloud, yang memberikan otorisasi kepada Simple Log Service untuk mengakses resource OSS Anda dengan peran AliyunLogImportOSSRole.
Akun Anda memiliki izin oss:ListBuckets untuk mencantumkan bucket OSS. Untuk informasi selengkapnya, lihat Lampirkan kebijakan kustom ke pengguna RAM.

Jika Anda menggunakan pengguna RAM, Anda juga harus memberikan izin PassRole kepada pengguna RAM tersebut. Untuk informasi selengkapnya, lihat Buat kebijakan kustom dan Kelola izin pengguna RAM.
```
{
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["ram:PassRole", "ram:GetRole"],
      "Resource": "acs:ram:*:*:role/aliyunlogimportossrole"
    },
    {
      "Effect": "Allow",
      "Action": "oss:GetBucketWebsite",
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": "oss:ListBuckets",
      "Resource": "*"
    }
  ],
  "Version": "1"
}    
```
Jika Anda ingin mengimpor data lintas akun, akun root B harus terlebih dahulu memberikan otorisasi kepada Akun A dan peran dalam Akun A menggunakan Kebijakan Bucket di konsol OSS. Contoh peran: acs:ram::123456789:role/aliyunlogimportossrole.

Buat konfigurasi impor data

Penting

Jika Anda menambahkan data ke file OSS yang telah diimpor sebelumnya, tugas impor data akan mengimpor ulang seluruh file tersebut.

Masuk ke konsol Simple Log Service.
Di bagian Import Data, klik tab Data Import, lalu klik OSS - Data Import.
Pilih project dan Logstore tujuan, lalu klik Next.

Atur konfigurasi impor.

Pada langkah Import Configuration, konfigurasikan parameter berikut.

Parameter

Parameter	Deskripsi
Task Name	Nama unik untuk tugas impor.
Display Name	Nama tampilan untuk tugas tersebut.
Job Description	Deskripsi tugas impor.
OSS Region	Wilayah tempat bucket OSS sumber berada. Jika bucket OSS dan Project Log Service berada dalam wilayah yang sama, Anda dapat menghemat biaya lalu lintas jaringan publik dan mendapatkan transfer data yang lebih cepat.
Bucket	Bucket sumber yang berisi file data untuk diimpor.
File Path Prefix Filter	Menyaring file OSS berdasarkan awalan path file. Misalnya, jika semua file yang akan diimpor berada di direktori csv/, Anda dapat menentukan awalan sebagai csv/. Jika Anda tidak mengatur parameter ini, tugas akan melakukan traversal seluruh bucket OSS. Catatan Kami menyarankan Anda mengonfigurasi parameter ini. Jika bucket berisi banyak file, traversal seluruh bucket secara signifikan mengurangi efisiensi impor data.
File Path Regex Filter	Menyaring file OSS dengan mencocokkan path-nya terhadap ekspresi reguler. Hanya file dengan path yang cocok dengan ekspresi reguler yang akan diimpor. Secara default, parameter ini kosong, yang berarti tidak ada penyaringan. Misalnya, jika path file adalah `testdata/csv/bill.csv`, Anda dapat mengatur ekspresi reguler menjadi `(testdata/csv/)(.*)`. Untuk informasi selengkapnya tentang cara menguji ekspresi reguler, lihat Cara menguji ekspresi reguler.
File Modification Time Filter	Menyaring file OSS berdasarkan waktu modifikasinya. All: Pilih opsi ini untuk mengimpor semua file yang sesuai. From Specific Time: Pilih opsi ini untuk mengimpor file yang dimodifikasi setelah titik waktu tertentu. Specific Time Range: Pilih opsi ini untuk mengimpor file yang dimodifikasi dalam rentang waktu tertentu.
Data Format	Format parsing file. Nilai yang valid: CSV: File teks berbatas. Anda dapat menggunakan baris pertama sebagai nama field atau menentukan nama field secara manual. Setiap baris berikutnya diparse sebagai entri log. Single-line JSON: Membaca file OSS baris demi baris, mem-parsing setiap baris sebagai objek JSON terpisah. Kunci dalam objek JSON menjadi nama field dalam log. JSON array: Membaca seluruh file OSS sekaligus. Konten file harus berupa array JSON yang berisi satu atau lebih objek JSON. CloudTrail: Membaca seluruh file OSS sekaligus. Konten harus dalam format struktur data CloudTrail standar. Single-line Text Log: Mem-parse setiap baris dalam file OSS sebagai satu entri log. Multi-line Text Logs: Mode multi-baris yang menggunakan ekspresi reguler untuk mengidentifikasi awal atau akhir entri log yang mencakup beberapa baris. ORC: Format Optimized Row Columnar (ORC). File secara otomatis diparse menjadi log tanpa konfigurasi tambahan. Parquet: Format Parquet. File secara otomatis diparse menjadi log tanpa konfigurasi tambahan. Alibaba Cloud OSS Access Log: Format untuk log akses Alibaba Cloud OSS. Untuk informasi selengkapnya, lihat Pengiriman log. Alibaba Cloud CDN Download Log: Format untuk log unduhan Alibaba Cloud CDN. Untuk informasi selengkapnya, lihat Mulai cepat.
Compression Format	Format kompresi file sumber. Log Service mendekompresi file berdasarkan format yang ditentukan sebelum membaca data.
Encoding Format	Format encoding file sumber. Saat ini, hanya UTF-8 dan GBK yang didukung.
New File Check Cycle	Jika file baru terus-menerus ditambahkan ke path OSS sumber, Anda dapat mengatur New File Check Cycle. Tugas impor akan berjalan di latar belakang dan secara berkala menemukan serta membaca file baru. Sistem memastikan bahwa data dari file OSS yang sama tidak diimpor lebih dari sekali. Misalnya, jika Anda membuat tugas pada pukul 12:00 dengan siklus pemeriksaan 30 menit, impor pertama berjalan pada pukul 12:00. Jika file baru dihasilkan, impor berikutnya berjalan pada pukul 12:30. Jika tidak ada file baru yang diharapkan di path OSS sumber, atur siklus menjadi Never Check. Tugas impor berhenti setelah membaca semua file yang ada dan sesuai kriteria.
Import Archive Files	Jika file sumber disimpan sebagai kelas penyimpanan Archive atau Cold Archive di OSS, file tersebut harus dipulihkan sebelum dapat dibaca. Aktifkan opsi ini untuk memulihkan file secara otomatis. Kelas penyimpanan Deep Cold Archive tidak didukung. Catatan Memulihkan file Archive membutuhkan waktu sekitar satu menit, yang dapat menyebabkan pratinjau awal timeout. Jika terjadi timeout, tunggu sebentar lalu coba lagi. Memulihkan file Cold Archive membutuhkan waktu sekitar satu jam. Jika pratinjau timeout, Anda dapat melewati pratinjau atau menunggu selama satu jam lalu mencoba lagi. Saat memulihkan file Cold Archive, salinan yang dipulihkan tetap tersedia selama tujuh hari untuk memastikan waktu yang cukup bagi proses impor.
Log Time Configuration
Time Field	Saat Anda memilih Data Format, Single-line JSON, Single-line JSON, CloudTrail, ORC, Parquet, Alibaba Cloud OSS Access Log, atau Alibaba Cloud CDN Download Log sebagai Data Format, Anda harus menentukan field waktu. Log Service menggunakan field ini untuk mengatur waktu setiap entri log yang diimpor.
Time Field Extraction Regular Expression	Saat Anda memilih Data Format atau Single-line Text Log sebagai Multi-line Text Logs, Anda harus menggunakan ekspresi reguler untuk mengekstraksi waktu dari konten log. Misalnya, untuk entri log 127.0.0.1 - - [10/Sep/2018:12:36:49 +0800] "GET /index.html HTTP/1.1", Anda dapat mengatur Time Field Extraction Regular Expression menjadi `[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9\: +]+`. Catatan Untuk format data lainnya, Anda juga dapat menggunakan ekspresi reguler jika perlu mengekstraksi hanya bagian tertentu dari field waktu.
Time Field Format	Menentukan format waktu yang digunakan untuk mengurai nilai dalam field waktu. Mendukung sintaks SimpleDateFormat Java, seperti `yyyy-MM-dd HH:mm:ss`. Untuk informasi selengkapnya tentang sintaks tersebut, lihat Class SimpleDateFormat. Untuk format waktu umum, lihat Format waktu. Mendukung format epoch, termasuk `epoch`, `epochMillis`, `epochMicro`, dan `epochNano`.
Time Zone	Pilih zona waktu untuk field waktu. Parameter ini tidak diperlukan jika format waktunya bertipe epoch. Untuk memperhitungkan waktu daylight saving saat mengurai waktu log, pilih format berbasis UTC. Jika tidak, pilih format berbasis GMT.
Advanced Settings
OSS Metadata Indexing	Jika jumlah file di bucket OSS Anda melebihi satu juta, kami sangat menyarankan Anda mengaktifkan opsi ini. Jika tidak, penemuan file menjadi tidak efisien. Dengan pengindeksan metadata OSS, file baru di bucket dapat ditemukan dalam hitungan detik, memungkinkan impor data hampir real-time. Untuk menggunakan pengindeksan metadata OSS, Anda harus terlebih dahulu mengaktifkan fitur manajemen metadata untuk bucket di konsol OSS. Untuk informasi selengkapnya, lihat Pencarian skalar.

Jika Anda memilih Data Format atau Multi-line text log sebagai Multi-line Text Logs, Anda harus mengonfigurasi parameter tambahan seperti yang dijelaskan dalam tabel berikut.

CSV

Parameter	Deskripsi
Delimiter	Pembatas yang digunakan untuk memisahkan field dalam log. Default-nya adalah koma (,).
Quote	Karakter quote yang digunakan untuk string dalam file CSV.
Quote	Karakter escape untuk log. Default-nya adalah backslash (\\).
Maximum Lines	Jumlah maksimum baris yang dapat dicakup oleh satu entri log. Default-nya adalah 1.
First Line as Field Name	Setelah Anda mengaktifkan sakelar First Line as Field Name, baris pertama file CSV digunakan sebagai nama field. Misalnya, baris pertama dalam contoh berikut diekstraksi sebagai nama field log. Pratinjau file contoh: `remote_addr,remote_user,time_local,request_time,request_length xxx,5,-,11/Dec/2020:15:31:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:32:06,0,000,133,3650,404,GET xxx,5,-,11/Dec/2020:15:34:10,0,000,133,3650,404,GET`
Custom Fields	Jika Anda menonaktifkan opsi First Line as Field Name, Anda harus menentukan daftar nama field kustom yang dipisahkan koma.
Lines to Skip	Jumlah baris header yang dilewati. Misalnya, nilai 1 berarti pengumpulan data dimulai dari baris kedua file CSV.

Multi-line text log

Parameter	Deskripsi
Position to Match Regular Expression	Menentukan lokasi pencocokan ekspresi reguler: Regular Expression to Match First Line: Menggunakan ekspresi reguler untuk mencocokkan baris pertama entri log. Baris berikutnya yang tidak cocok ditambahkan ke entri log saat ini, hingga jumlah baris maksimum yang dikonfigurasi. Regular Expression to Match Last Line: Menggunakan ekspresi reguler untuk mengidentifikasi akhir entri log. Entri log mencakup semua baris hingga dan termasuk baris yang cocok dengan ekspresi ini.
Regular Expression	Masukkan ekspresi reguler berdasarkan konten log Anda. Untuk informasi selengkapnya, lihat Cara menguji ekspresi reguler.
Maximum Lines	Jumlah maksimum baris yang dapat dicakup oleh satu entri log.

Klik Preview untuk melihat pratinjau hasil impor.
Setelah Anda mengonfirmasi pengaturan, klik Next.

Buat indeks dan pratinjau data. Lalu, klik Next. Secara default, pengindeksan teks penuh diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual untuk log yang dikumpulkan atau klik Automatic Index Generation. Kemudian, Simple Log Service akan menghasilkan indeks bidang. Untuk informasi selengkapnya, lihat Buat indeks.
Penting
Jika Anda ingin melakukan kueri semua bidang dalam log, kami menyarankan Anda menggunakan indeks teks penuh. Jika Anda hanya ingin melakukan kueri bidang tertentu, kami menyarankan Anda menggunakan indeks bidang. Hal ini membantu mengurangi lalu lintas indeks. Jika Anda ingin menganalisis bidang, Anda harus membuat indeks bidang. Anda harus menyertakan pernyataan SELECT dalam pernyataan kueri Anda untuk analisis.
Klik Query Log untuk membuka halaman kueri dan analisis serta memeriksa apakah data OSS berhasil diimpor.

Tunggu sekitar satu menit. Jika data OSS target muncul, impor berhasil.

Operasi terkait

Setelah membuat konfigurasi impor data, Anda dapat melihat konfigurasi dan laporan statistiknya di konsol.

Di daftar Project, klik Project yang diinginkan.
Di panel navigasi kiri, pilih Log Storage > Logstore. Di halaman yang muncul, temukan Logstore yang diinginkan, pilih Data Collection > Data Import, lalu klik nama konfigurasi.
Ikhtisar

Di halaman Import Configuration Overview, Anda dapat melihat informasi dasar dan laporan statistik konfigurasi.

Halaman Ikhtisar Konfigurasi Impor berisi informasi berikut: Bagian Informasi Dasar menampilkan parameter seperti Configuration Name, Status, Bucket, Compression Format, Encoding Format, File Path Regex Filter, Import Archive Files, OSS Region, New File Check Interval, Data Format, dan Use System Time. Bagian Laporan Statistik (Data Processing Insight) menampilkan enam metrik: Successful Reads, Failed Reads, Public Read Traffic, Successful Writes, Failed Writes, dan Public Write Traffic, serta Grafik Laju Pemrosesan dan Grafik Lag Progres. Tabel Status Berjalan di bagian bawah mencantumkan informasi untuk setiap tugas, seperti Time, Type, Instance, Successful Items, Failed Items, dan Average Response Time. Di pojok kanan atas tersedia tombol aksi Edit Configurations, Stop, dan Delete Configuration.

Ubah

Klik Edit Configurations untuk mengubah konfigurasi impor data. Untuk informasi selengkapnya, lihat Buat konfigurasi impor data.

Hapus

Klik Delete Configuration untuk menghapus konfigurasi impor data.

Peringatan
Operasi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.

Hentikan

Untuk menghentikan tugas impor data, klik Stop.

Mulai

Klik Start untuk memulai tugas impor data.

FAQ

Masalah	Kemungkinan penyebab	Solusi
Saat saya mempratinjau file dari direktori HDFS di bucket saya, tidak ada data yang ditampilkan.	Mengimpor file langsung dari direktori HDFS tidak didukung.	Jika layanan HDFS diaktifkan untuk bucket, direktori `.dlsdata` dibuat secara default di path OSS. Anda dapat mengimpor file dari direktori `.dlsdata`.
Tidak ada data yang ditampilkan selama pratinjau.	Bucket OSS tidak berisi file, file kosong, atau tidak ada file yang sesuai dengan kondisi filter.	Konfirmasi bucket berisi file yang tidak kosong. Untuk file CSV, pastikan file tersebut berisi lebih dari satu baris header. Jika tidak, tunggu hingga data tersedia sebelum memulai impor. Atur ulang item konfigurasi seperti File Path Prefix Filter, File Path Regex Filter, dan File Modification Time Filter.
Data yang diimpor berisi karakter acak (garbled).	Format data, format kompresi, atau format encoding salah.	Konfirmasi format aktual file OSS, lalu sesuaikan pengaturan seperti Data Format, Compression Format, atau Encoding Format. Untuk memperbaiki data garbled yang sudah ada, buat Logstore baru dan konfigurasi impor data baru.
Timestamp di Simple Log Service tidak sesuai dengan timestamp di data sumber.	Konfigurasi impor data tidak memiliki field waktu log, atau format waktu atau zona waktu salah.	Tentukan field waktu log dan konfigurasikan format waktu serta zona waktu yang benar. Untuk informasi selengkapnya, lihat Buat konfigurasi impor data.
Setelah data diimpor, saya tidak dapat melakukan kueri atau analisis.	Data berada di luar rentang waktu kueri. Indeks belum dikonfigurasi. Indeks belum berlaku.	Periksa apakah data yang ingin Anda kueri berada dalam rentang waktu yang ditentukan. Jika tidak, sesuaikan rentang waktu dan kueri lagi. Jika data tidak berada dalam rentang kueri, sesuaikan rentang dan cari lagi. Periksa apakah indeks telah diatur untuk Logstore. Jika indeks belum diatur, atur terlebih dahulu. Untuk informasi selengkapnya, lihat Buat indeks atau Bangun ulang indeks. Jika Anda telah mengatur indeks dan jumlah data yang berhasil diimpor yang ditampilkan di dasbor Data Processing Insight sesuai ekspektasi, indeks mungkin belum berlaku. Coba lakukan pengindeksan ulang data. Untuk informasi selengkapnya, lihat Pengindeksan ulang data.
Jumlah entri yang diimpor lebih sedikit dari yang diharapkan.	Beberapa file berisi satu baris data yang melebihi batas 3 MB dan diabaikan selama proses impor. Untuk informasi selengkapnya, lihat Batas pengumpulan.	Saat menulis data ke file OSS, pastikan tidak ada satu baris data pun yang melebihi 3 MB.
Saat saya membuat konfigurasi impor data, saya tidak dapat memilih bucket OSS.	Simple Log Service belum diberi otorisasi untuk mengasumsikan peran `AliyunLogImportOSSRole`.	Lengkapi otorisasi seperti yang dijelaskan dalam prasyarat.
Beberapa file tidak diimpor.	Kondisi filter dikonfigurasi salah, atau beberapa file melebihi batas ukuran 5 GB. Untuk informasi selengkapnya, lihat Batas pengumpulan.	Periksa apakah file yang akan diimpor sesuai dengan kondisi filter. Jika tidak, ubah kondisi filter tersebut. Pastikan ukuran setiap file yang akan diimpor kurang dari 5 GB. Jika file melebihi batas ini, Anda harus mengurangi ukurannya. Jika satu file melebihi 5 GB, kurangi ukurannya.
File arsip tidak diimpor.	Sakelar Import Archive Files dimatikan. Untuk informasi selengkapnya, lihat Batas pengumpulan.	Metode 1: Ubah konfigurasi impor data dan aktifkan sakelar Import Archive Files. Metode 2: Buat konfigurasi impor data baru dan aktifkan sakelar Import Archive Files.
Log teks multi-baris diurai secara salah.	Ekspresi reguler baris pertama atau ekspresi reguler baris terakhir dikonfigurasi salah.	Perbaiki ekspresi reguler baris pertama dan baris terakhir.
Latensi impor untuk file baru tinggi.	Ada terlalu banyak file yang ada yang sesuai dengan filter awalan path file, dan sakelar OSS Metadata Indexing dimatikan dalam konfigurasi impor data.	Jika sejumlah besar file (lebih dari satu juta) sesuai dengan filter awalan path file, Anda harus mengaktifkan sakelar OSS Metadata Indexing dalam konfigurasi impor data. Jika tidak, penemuan file baru menjadi sangat lambat.
Terjadi error izin terkait STS saat pembuatan.	Pengguna RAM memiliki izin yang tidak mencukupi.	Verifikasi bahwa AccessKey pengguna RAM valid dan diaktifkan. Untuk informasi selengkapnya, lihat Pasangan Kunci Akses. Periksa apakah kredensial akses sementara (token STS) pengguna RAM telah kedaluwarsa. Jika ya, perpanjang periode validitasnya. Untuk informasi selengkapnya, lihat Akses OSS menggunakan kredensial sementara STS. Verifikasi bahwa Anda telah menyelesaikan Otorisasi Akses Resource Cloud, yang memberikan izin kepada Simple Log Service untuk mengakses resource OSS Anda dengan mengasumsikan peran `AliyunLogImportOSSRole`.

Penanganan error

Error	Deskripsi
Object read failure	Jika tugas impor data tidak dapat membaca objek secara lengkap, misalnya karena pengecualian jaringan atau kerusakan objek, tugas tersebut akan mencoba ulang secara otomatis. Jika operasi baca masih gagal setelah tiga kali percobaan, tugas akan melewati objek tersebut. Interval percobaan ulang sama dengan New File Check Cycle. Jika New File Check Cycle diatur ke Never Check, tugas akan mencoba ulang setelah 5 menit.
Compression format parsing error	Jika tugas impor data menemukan objek dengan format kompresi yang tidak valid, tugas tersebut akan melewati objek tersebut.
Data format parsing error	Jika tugas impor data gagal mengurai objek dalam format biner, seperti ORC atau Parquet, tugas tersebut akan melewati objek tersebut. Jika penguraian gagal untuk data dalam format lain, tugas impor data akan menyimpan konten teks mentah di field `content` log.
OSS bucket not found	Tugas impor data mencoba ulang secara berkala. Tugas secara otomatis melanjutkan impor setelah bucket OSS dibuat ulang.
Permission error	Jika terjadi error izin saat membaca dari bucket OSS atau menulis ke Logstore, tugas impor data mencoba ulang secara berkala. Tugas dilanjutkan secara otomatis setelah masalah izin diselesaikan. Tugas impor data tidak melewatkan objek apa pun selama error izin. Oleh karena itu, setelah izin diperbaiki, tugas memproses semua objek yang belum diproses di bucket OSS, mengimpor datanya ke Logstore.

OSS ingestion API

Actions	API
Create an OSS data import job	CreateOSSIngestion
Update an OSS data import job	UpdateOSSIngestion
Get an OSS data import job	GetOSSIngestion
Delete an OSS data import job	DeleteOSSIngestion
Start an OSS data import job	StartOSSIngestion
Stop an OSS data import job	StopOSSIngestion

Penagihan

Prasyarat

Buat konfigurasi impor data

CSV

Multi-line text log

Operasi terkait

Ikhtisar

Ubah

Hapus

Hentikan

Mulai

FAQ

Penanganan error

OSS ingestion API