All Products
Search

This Product

    :Impor data dari Elasticsearch/OpenSearch

    Document Center

    :Impor data dari Elasticsearch/OpenSearch

    Last Updated:Mar 27, 2026

    Topik ini menjelaskan cara mengimpor data dari Elasticsearch/OpenSearch ke Simple Log Service (SLS). Setelah diimpor, Anda dapat melakukan kueri dan analisis terhadap data tersebut.

    Prasyarat

    Versi yang didukung

    Fitur ini mendukung Elasticsearch 6.3 atau versi lebih baru dan OpenSearch 1.0.0 atau versi lebih baru.

    Buat konfigurasi impor data

    1. Masuk ke Simple Log Service console.

    2. Pada bagian Data Collection, di tab Data Import, pilih ES/OpenSearch - Data Import.

      image

    3. Pilih project tujuan dan Logstore, lalu klik Next.

    4. Konfigurasikan pengaturan impor.

      1. Pada langkah Import Configuration, konfigurasikan parameter berikut.

        Parameter

        Deskripsi

        Job Name

        Nama unik untuk pekerjaan SLS.

        Display Name

        Nama tampilan pekerjaan.

        Job Description

        Deskripsi pekerjaan impor.

        Service Instance URL

        URL kluster Elasticsearch/OpenSearch. Formatnya adalah http://host:port/.

        Anda dapat menentukan beberapa URL yang dipisahkan dengan koma (,), misalnya, http://host1:port1/,http://host2:port2/.

        Umumnya, port layanan untuk kluster Elasticsearch/OpenSearch adalah 9200.

        Penting

        Jika Anda menentukan VPC ID, Anda harus mengatur host ke alamat IPv4 dari instans ECS yang sesuai.

        Index List

        Indeks yang akan diimpor. Pisahkan beberapa indeks dengan koma (,), misalnya, index1,index2,index3.

        User Name

        Username untuk kluster Elasticsearch/OpenSearch. Diperlukan hanya jika otentikasi diaktifkan.

        User Password

        Password untuk user yang ditentukan.

        Time Field

        Bidang dalam indeks Elasticsearch/OpenSearch Anda yang merepresentasikan waktu log.

        Jika Anda tidak menentukan bidang waktu, Simple Log Service menggunakan waktu impor sebagai waktu log.

        Penting

        Untuk melakukan impor inkremental, Anda harus menentukan Time Field.

        Time Field Format

        Format yang digunakan untuk mengurai nilai bidang waktu.

        • Mendukung sintaks Java SimpleDateFormat, seperti yyyy-MM-dd HH:mm:ss. Untuk informasi lebih lanjut tentang sintaks tersebut, lihat Class SimpleDateFormat. Untuk format waktu umum, lihat Time formats.

        • Mendukung format epoch. Nilai yang valid adalah epoch, epochMillis, epochMacro, dan epochNano.

        Penting

        Untuk menggunakan stempel waktu UNIX, Anda harus mengatur Time Field Format ke format epoch.

        Time Zone

        Zona waktu dari bidang waktu.

        Parameter ini tidak diperlukan jika Time Field Format diatur ke format epoch.

        Query Statement

        Kueri yang digunakan untuk memfilter data. Kueri harus mengikuti format query_string Elasticsearch/OpenSearch, misalnya, gender:male and city:Shanghai. Untuk informasi selengkapnya, lihat Query string query.

        Import Mode

        Mode impor.

        • Import Only Historical Data: Pekerjaan impor akan berhenti secara otomatis setelah semua data historis berhasil diimpor.

        • Automatically Import Incremental Data: Pekerjaan impor berjalan terus-menerus untuk mengimpor data baru.

          Penting

          Jika Anda memilih Automatically Import Incremental Data, Anda harus menentukan Time Field.

        Start Time

        Setelah Anda menentukan waktu mulai, data hanya akan diimpor jika nilai bidang waktu lebih besar dari atau sama dengan waktu mulai tersebut.

        Penting

        Parameter ini hanya berlaku jika Time Field ditentukan.

        End Time

        Setelah Anda menentukan waktu akhir, data hanya akan diimpor jika nilai bidang waktu lebih kecil dari atau sama dengan waktu akhir tersebut.

        Penting

        Parameter ini hanya berlaku jika Time Field ditentukan dan Import Mode diatur ke Import Only Historical Data.

        Maximum Data Latency (Seconds)

        Tundaan maksimum yang diizinkan, dalam detik, dari saat data dihasilkan hingga saat diindeks di Elasticsearch/OpenSearch.

        Penting

        • Menetapkan nilai yang lebih rendah daripada latensi aktual dapat menyebabkan kehilangan data selama proses impor.

        • Parameter ini hanya berlaku jika Time Field ditentukan dan Import Mode diatur ke Automatically Import Incremental Data.

        Incremental Data Check Interval (Seconds)

        Interval, dalam detik, saat SLS memeriksa data baru di Elasticsearch/OpenSearch. Nilai default: 300. Nilai minimum: 60.

        VPC ID

        Jika kluster sumber Anda adalah kluster Alibaba Cloud Elasticsearch/OpenSearch dalam VPC atau kluster yang dikelola sendiri pada instans ECS, tentukan VPC ID. Hal ini memungkinkan SLS membaca data melalui jaringan internal Alibaba Cloud, sehingga memberikan keamanan dan stabilitas jaringan yang lebih baik.

        Penting

        Kluster sumber harus mengizinkan akses dari blok CIDR 100.104.0.0/16.

      2. Klik Preview untuk melihat pratinjau hasil impor.

      3. Setelah Anda mengonfirmasi pratinjau, klik Next.

    5. Lihat pratinjau data dan konfigurasikan indeks, lalu klik Next. Secara default, Simple Log Service mengaktifkan full-text index. Anda juga dapat membuat field indexes secara manual berdasarkan log yang dikumpulkan, atau klik Automatic Index Generation agar Simple Log Service membuatnya secara otomatis. Untuk informasi selengkapnya, lihat Create indexes.

      Penting

      Kami menyarankan menggunakan full-text index jika Anda perlu melakukan kueri terhadap semua bidang dalam data log Anda. Jika hanya perlu melakukan kueri terhadap bidang tertentu, gunakan field indexes untuk mengurangi traffic indeks. Anda harus membuat field indexes untuk menganalisis bidang menggunakan pernyataan SELECT.

    6. Klik Query Log. Anda akan diarahkan ke halaman kueri dan analisis Logstore Anda.

      Anda harus menunggu sekitar 1 menit agar indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan di tab Raw Logs. Untuk informasi selengkapnya tentang cara melakukan kueri dan analisis log, lihat Get started.

    Lihat konfigurasi impor data

    Setelah membuat konfigurasi impor data, Anda dapat melihat detail konfigurasi dan laporan statistik terkait di konsol.

    1. Di bagian Projects, klik Project tujuan.

    2. Buka LogStore tujuan. Di panel navigasi kiri, pilih Data Collection > Data Import dan klik nama konfigurasi tersebut.

    3. Di halaman Import Configuration Overview, lihat informasi dasar dan laporan statistik untuk konfigurasi tersebut.

    Operasi terkait

    • Hapus konfigurasi impor data

      Di halaman Import Configuration Overview, Anda dapat mengklik Delete Configuration untuk menghapus konfigurasi tersebut.

      Peringatan

      Aksi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.

    • Hentikan dan jalankan ulang pekerjaan impor

      Setelah membuat konfigurasi impor data, SLS membuat pekerjaan impor yang sesuai. Di halaman Import Configuration Overview, Anda dapat mengklik Stop untuk menjeda pekerjaan tersebut. Anda dapat menjalankannya kembali nanti.

      Penting

      Status pekerjaan yang dihentikan disimpan hingga 24 jam. Jika Anda tidak menjalankan ulang pekerjaan tersebut dalam periode ini, pekerjaan tersebut menjadi tidak tersedia dan tidak dapat dijalankan ulang.

    FAQ

    Masalah

    Kemungkinan penyebab

    Solusi

    Terjadi error koneksi (failed to connect) selama pratinjau data.

    • URL kluster Elasticsearch/OpenSearch yang ditentukan tidak valid.

    • Alamat IP layanan impor tidak ditambahkan ke daftar putih kluster sumber, sehingga mencegah akses.

    • Anda tidak menentukan VPC ID saat mengimpor data dari kluster yang di-hosting di Alibaba Cloud.

    • Pastikan URL kluster Elasticsearch/OpenSearch yang ditentukan benar.

    • Tambahkan alamat IP yang diperlukan ke daftar putih kluster untuk memberikan akses ke layanan impor. Untuk informasi selengkapnya, lihat IP address whitelist.

    • Saat mengimpor data dari kluster di Alibaba Cloud melalui jaringan internal, pastikan VPC ID yang benar telah ditentukan.

    Terjadi error timeout (preview request timed out) selama pratinjau data.

    Indeks sumber Elasticsearch/OpenSearch tidak berisi data atau tidak ada data yang sesuai dengan kriteria filter.

    • Jika indeks tidak berisi data, tulis data ke indeks tersebut lalu coba pratinjau lagi.

    • Pastikan bidang waktu dan format yang ditentukan sesuai dengan data aktual.

    • Pastikan indeks sumber berisi data yang sesuai dengan kueri atau rentang waktu yang ditentukan.

    Waktu log yang ditampilkan di Simple Log Service tidak sesuai dengan stempel waktu di data sumber.

    Bidang waktu tidak ditentukan, atau format waktu atau zona waktu dikonfigurasi secara salah.

    Tentukan bidang waktu, format waktu, dan zona waktu yang benar. Untuk informasi selengkapnya, lihat Create a data import configuration.

    Tidak dapat melakukan kueri atau analisis terhadap data yang diimpor.

    • Data berada di luar rentang waktu kueri.

    • Indeks belum dikonfigurasi.

    • Indeks belum berlaku.

    • Periksa apakah stempel waktu data berada dalam rentang waktu kueri.

      Jika tidak, sesuaikan rentang waktu dan lakukan kueri ulang.

    • Periksa apakah indeks telah dikonfigurasi untuk LogStore tersebut.

      Jika belum, buat indeks. Untuk informasi selengkapnya, lihat Create indexes dan Reindex.

    • Jika indeks telah dikonfigurasi dan dasbor Data Processing Insight menunjukkan volume data yang diimpor sesuai ekspektasi, kemungkinan indeks belum berlaku. Coba lakukan pengindeksan ulang terhadap log tersebut. Untuk informasi selengkapnya, lihat Reindex.

    Jumlah entri log yang diimpor lebih sedikit dari yang diharapkan.

    Beberapa dokumen data sumber mungkin berukuran lebih dari 3 MB. Anda dapat memverifikasi hal ini di dasbor Data Processing Insight.

    Kurangi ukuran dokumen data individual di kluster sumber.

    Saat impor inkremental diaktifkan, terjadi penundaan signifikan dalam mengimpor data baru.

    • Nilai untuk Maximum Data Latency (Seconds) terlalu besar.

    • Bandwidth kluster sumber telah mencapai batasnya.

    • Koneksi jaringan tidak stabil saat mengimpor data melalui Internet.

    • Jumlah shard di LogStore terlalu sedikit.

    • Untuk penyebab lainnya, lihat Performance limits.

    • Pastikan nilai yang wajar ditetapkan untuk Maximum Data Latency (Seconds) dan sesuaikan berdasarkan latensi aktual.

    • Periksa apakah traffic kluster sumber mencapai batas bandwidth-nya. Hal ini terutama penting untuk kluster yang dideploy di Alibaba Cloud. Jika batas tersebut tercapai atau hampir tercapai, lakukan upgrade bandwidth.

    • Jika Anda mengimpor data melalui Internet, pastikan Anda memiliki bandwidth yang cukup.

    • Jika jumlah shard di LogStore terlalu rendah, coba tingkatkan jumlah shard tersebut dan amati latensinya. Untuk informasi selengkapnya, lihat Manage shards.

    Mekanisme penanganan error

    Error

    Deskripsi

    Error komunikasi dengan kluster Elasticsearch/OpenSearch

    Pekerjaan impor menggunakan scroll API untuk menarik data dari Elasticsearch/OpenSearch, dengan durasi keep-alive default 24 jam. Pekerjaan tersebut secara otomatis mencoba ulang jika mengalami error koneksi jaringan atau kegagalan komunikasi lainnya, seperti error otentikasi.

    Jika koneksi tidak dapat dipulihkan dalam waktu 24 jam, kluster Elasticsearch/OpenSearch akan menghapus informasi sesi scroll. Tindakan ini mencegah pekerjaan impor dilanjutkan dan menyebabkan error "No search context found". Dalam kasus ini, Anda harus membuat pekerjaan impor baru.