Cara mengimpor data Elasticsearch/OpenSearch ke Simple Log Service -

Topik ini menjelaskan cara mengimpor data dari Elasticsearch atau OpenSearch ke Simple Log Service untuk kueri, analisis, dan pemrosesan.

Prasyarat

Anda memiliki kluster Elasticsearch atau OpenSearch.
Anda telah membuat Proyek dan penyimpanan log. Untuk informasi selengkapnya, lihat Manage Projects dan Create a basic Logstore.

Panduan versi

Fitur ini mendukung Elasticsearch 6.3 ke atas serta OpenSearch 1.0.0 ke atas.

Buat konfigurasi impor data

Masuk ke Simple Log Service console.
Pada area Access Data, di tab Data Import, pilih ES/OpenSearch - Data Import.
Pilih proyek dan penyimpanan log, lalu klik Next.

Atur konfigurasi impor.

Pada langkah Import Configuration, atur parameter berikut.

Parameter	Deskripsi
Task Name	Nama unik task SLS.
Display Name	Nama tampilan task tersebut.
Task Description	Deskripsi task impor.
Service Instance URL	URL server Elasticsearch atau OpenSearch. Formatnya adalah `http://host:port/`. Anda dapat menentukan beberapa URL. Pisahkan dengan koma (,), misalnya, `http://host1:port1/,http://host2:port2/`. Port layanan untuk server Elasticsearch atau OpenSearch biasanya 9200. Penting Jika Anda mengatur VPC Instance ID, Anda harus mengatur `host` ke alamat IPv4 instans ECS yang sesuai.
Index List	Indeks yang akan diimpor. Pisahkan beberapa indeks dengan koma (,), misalnya, `index1,index2,index3`.
Username	Username untuk kluster Elasticsearch atau OpenSearch. Parameter ini hanya diperlukan jika kluster memerlukan autentikasi pengguna.
Password	Password untuk pengguna Elasticsearch atau OpenSearch.
Time Field	Nama kolom dalam indeks Elasticsearch atau OpenSearch yang merepresentasikan waktu. Kolom ini digunakan untuk menentukan waktu log. Jika Anda tidak menentukan time field, Simple Log Service secara default menggunakan waktu sistem saat data diimpor. Penting Jika Anda ingin melakukan impor inkremental, Anda harus mengatur Time Field.
Time Field Format	Format waktu yang digunakan untuk mengurai nilai time field. Sintaks Java SimpleDateFormat didukung, misalnya, yyyy-MM-dd HH:mm:ss. Untuk informasi lebih lanjut tentang sintaks format waktu, lihat Class SimpleDateFormat. Untuk format waktu umum, lihat Time formats. Format epoch juga didukung. Nilai yang valid adalah epoch, epochMillis, epochMacro, dan epochNano. Penting Java SimpleDateFormat tidak mendukung timestamp Unix. Jika Anda ingin menggunakan timestamp Unix, Anda harus mengatur Time Field Format ke format epoch.
Time Field Time Zone	Zona waktu dari time field. Ketika Time Field Format diatur ke format epoch, Anda tidak perlu mengatur zona waktu.
Search Statement	Pernyataan pencarian untuk memfilter data. Pernyataan harus mengikuti format query_string Elasticsearch atau OpenSearch, misalnya, `gender:male and city:Shanghai`. Untuk informasi selengkapnya, lihat Query string query.
Import Mode	Mode impor data. Import Historical Data Only: Task impor akan otomatis berhenti setelah data selesai diimpor. Automatically Import Incremental Data: Task impor berjalan terus-menerus. Penting Jika Anda memilih Auto Import New Data, Anda harus mengatur Time Field.
Start Time	Data hanya diimpor ke Simple Log Service jika nilai time field lebih besar dari atau sama dengan waktu mulai yang ditentukan. Penting Konfigurasi ini hanya berlaku setelah Time Field diatur.
End Time	Data hanya diimpor ke Simple Log Service jika nilai time field kurang dari atau sama dengan waktu akhir yang ditentukan. Penting Konfigurasi ini hanya berlaku jika Time Field diatur dan Import Mode diatur ke Import Historical Data Only.
Maximum Data Latency (Seconds)	Latensi maksimum dari saat data dihasilkan hingga ditulis ke Elasticsearch atau OpenSearch. Penting Jika nilai yang Anda tetapkan lebih kecil daripada latensi aktual, beberapa data mungkin gagal diimpor dari Elasticsearch atau OpenSearch ke Simple Log Service. Konfigurasi ini hanya berlaku setelah Anda mengatur Time Field dan mengatur Import Mode ke Auto Import New Data.
Incremental Data Check Interval (Seconds)	Interval pemeriksaan data baru di Elasticsearch atau OpenSearch. Nilai default: 300 detik. Nilai minimum: 60 detik.
VPC Instance ID	Jika kluster Anda adalah kluster Alibaba Cloud Elasticsearch atau OpenSearch dalam VPC, atau kluster self-managed pada instans ECS, atur VPC Instance ID. Hal ini memungkinkan Simple Log Service membaca data dari kluster melalui jaringan pribadi Alibaba Cloud untuk keamanan dan stabilitas yang lebih baik. Penting Kluster Elasticsearch atau OpenSearch harus mengizinkan akses dari blok CIDR 100.104.0.0/16.

Klik Preview untuk melihat hasil impor.
Setelah memastikan informasi sudah benar, klik Next.

Selesaikan langkah Preview Data dan Create Index, lalu klik Next. Secara default, full-text indexing diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual berdasarkan log yang dikumpulkan atau klik Auto Generate Index agar Simple Log Service secara otomatis menghasilkan indeks bidang. Untuk informasi selengkapnya, lihat Create Index.
Penting
Full-text index memungkinkan Anda melakukan kueri pada semua bidang dalam log. Indeks bidang memungkinkan Anda melakukan kueri pada bidang tertentu dan dapat mengurangi traffic indeks. Anda harus membuat indeks bidang untuk menganalisis bidang dengan pernyataan SELECT.
Klik Query Log. Anda akan diarahkan ke halaman kueri dan analisis penyimpanan log Anda.
Anda harus menunggu sekitar 1 menit agar indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan di tab Raw Logs. Untuk informasi selengkapnya tentang cara melakukan kueri dan analisis log, lihat Get started with log query and analysis.

Lihat konfigurasi impor

Setelah membuat konfigurasi impor, Anda dapat melihat konfigurasi dan laporan statistiknya di Konsol.

Klik Proyek tujuan.
Untuk penyimpanan log tujuan, pilih Data Ingestion > Data Import, lalu klik nama konfigurasi impor.
Di halaman Import Configuration Overview, Anda dapat melihat informasi dasar dan laporan statistik untuk konfigurasi impor data.

Operasi terkait

Hapus konfigurasi impor
Di halaman Import Configuration Overview, Anda dapat mengklik Delete Configuration untuk menghapus konfigurasi.
Peringatan
Operasi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.
Hentikan dan restart task impor
Setelah membuat konfigurasi impor data, Simple Log Service membuat task impor. Di halaman Import Configuration Overview, Anda dapat menghentikan task impor dengan mengklik Stop, lalu me-restart-nya.
Penting
Setelah task impor dihentikan, statusnya dipertahankan maksimal selama 24 jam. Jika Anda tidak me-restart task dalam 24 jam, task tersebut menjadi tidak tersedia. Jika Anda me-restart task setelah 24 jam, kesalahan akan terjadi saat task dijalankan kembali.

FAQ

Masalah	Kemungkinan penyebab	Solusi
Terjadi error koneksi Elasticsearch/OpenSearch (gagal terhubung) saat preview.	URL server Elasticsearch atau OpenSearch salah. Alamat IP layanan impor tidak ditambahkan ke daftar putih. Hal ini mencegah layanan impor mengakses kluster Elasticsearch atau OpenSearch. VPC Instance ID tidak ditentukan untuk impor dari kluster Elasticsearch atau OpenSearch yang di-deploy di Alibaba Cloud.	Pastikan URL server Elasticsearch atau OpenSearch benar. Tambahkan alamat IP ke daftar putih agar layanan impor dapat terhubung ke kluster Elasticsearch atau OpenSearch. Untuk informasi selengkapnya, lihat IP address whitelist. Saat mengimpor data dari kluster Elasticsearch atau OpenSearch di Alibaba Cloud melalui jaringan pribadi, pastikan VPC Instance ID telah diatur.
Terjadi error timeout (permintaan preview timeout) saat preview.	Indeks Elasticsearch atau OpenSearch yang akan diimpor tidak berisi data atau tidak ada data yang memenuhi kondisi filter.	Jika indeks Elasticsearch atau OpenSearch tidak berisi data, tulis data ke indeks tersebut, lalu coba lagi preview-nya. Saat mengatur time field dan format waktu, pastikan sesuai dengan time field dan format aktual dalam data Anda. Saat mengatur kondisi pencarian Elasticsearch atau OpenSearch atau rentang waktu, pastikan data yang memenuhi kondisi tersebut ada di indeks.
Waktu data yang ditampilkan di Simple Log Service tidak sesuai dengan waktu aktual data.	Saat mengonfigurasi impor, Anda tidak menentukan time field log, atau format waktu atau zona waktu salah.	Tentukan time field log dan atur format waktu serta zona waktu yang benar. Untuk informasi selengkapnya, lihat Create a data import configuration.
Anda tidak dapat melakukan kueri atau analisis data setelah data diimpor.	Data berada di luar rentang waktu kueri. Indeks belum dikonfigurasi. Indeks belum berlaku.	Periksa apakah data yang ingin Anda kueri berada dalam rentang waktu yang ditentukan. Jika tidak, sesuaikan rentang waktu, lalu lakukan kueri ulang. Periksa apakah indeks telah dikonfigurasi untuk penyimpanan log tersebut. Jika belum, konfigurasikan indeks. Untuk informasi selengkapnya, lihat Create an index dan Reindex. Jika Anda telah mengonfigurasi indeks dan volume data yang diimpor yang ditampilkan di Dasbor Data Processing Traffic Monitoring sesuai ekspektasi, kemungkinan indeks belum berlaku. Anda dapat mencoba melakukan reindex. Untuk informasi selengkapnya, lihat Reindex.
Jumlah entri data yang diimpor lebih sedikit dari yang diharapkan.	Anda dapat memastikan bahwa terdapat data Elasticsearch/OpenSearch yang berukuran lebih dari 3 MB di Dasbor Data Processing Traffic Monitoring.	Kurangi ukuran entri data individual Elasticsearch atau OpenSearch.
Saat impor inkremental diaktifkan, terjadi penundaan signifikan untuk data baru.	Nilai Maximum Data Delay In Seconds terlalu tinggi. Bandwidth kluster Elasticsearch atau OpenSearch telah mencapai batasnya. Jaringan publik tidak stabil saat mengimpor data melalui Internet. Jumlah shard dalam penyimpanan log terlalu sedikit. Untuk informasi selengkapnya tentang penyebab lainnya, lihat Performance limits.	Atur nilai yang wajar untuk Maximum Data Latency In Seconds dan sesuaikan nilainya berdasarkan kebutuhan aktual Anda. Periksa apakah traffic kluster Elasticsearch atau OpenSearch telah mencapai batas bandwidth, terutama untuk kluster di Alibaba Cloud. Jika iya, tingkatkan bandwidth-nya. Jika Anda mengimpor data Elasticsearch atau OpenSearch melalui Internet, pastikan bandwidth Internet mencukupi. Jika jumlah shard dalam penyimpanan log sedikit, coba tingkatkan jumlah shard dan pantau latensinya. Untuk informasi selengkapnya, lihat Manage shards.

Mekanisme penanganan error

Jenis Kesalahan

Deskripsi

Komunikasi dengan kluster Elasticsearch atau OpenSearch tidak normal

Task impor menggunakan mode Scroll untuk menarik data dari Elasticsearch atau OpenSearch. Durasi keep-alive default adalah 24 jam. Jika terjadi error konektivitas jaringan atau error komunikasi lainnya (seperti error autentikasi pengguna), task impor akan otomatis mencoba ulang.

Jika koneksi tidak dapat dipulihkan dalam 24 jam, informasi Scroll Session akan di-purge oleh sisi server Elasticsearch atau OpenSearch. Hal ini menyebabkan task impor yang dicoba ulang gagal (dengan error "No search context found"). Dalam kasus ini, Anda hanya dapat membuat ulang task impor.