All Products
Search

This Product

    Simple Log Service:Impor data Elasticsearch/OpenSearch

    Document Center

    Simple Log Service:Impor data Elasticsearch/OpenSearch

    Last Updated:Jun 17, 2026

    Anda dapat mengimpor data dari Elasticsearch/OpenSearch ke Simple Log Service (SLS) untuk melakukan kueri, analisis, dan pemrosesan data.

    Prasyarat

    • Kluster Elasticsearch/OpenSearch tersedia.

    • Proyek dan Logstore harus dibuat terlebih dahulu. Untuk informasi selengkapnya, lihat Kelola Proyek dan Buat Logstore dasar.

    Versi yang didukung

    Hanya Elasticsearch 6.3 atau versi lebih baru dan OpenSearch 1.0.0 atau versi lebih baru yang didukung.

    Buat konfigurasi impor data

    1. Masuk ke Konsol Simple Log Service.

    2. Pada bagian Import Data, klik tab Data Import, lalu pilih ES/OpenSearch - Data Import.

    3. Pilih proyek tujuan dan Logstore, lalu klik Next.

    4. Konfigurasikan pengaturan impor.

      1. Pada langkah Import Configuration, konfigurasikan parameter berikut.

        Parameter

        Deskripsi

        Task Name

        Nama unik untuk pekerjaan impor.

        Display Name

        Nama tampilan pekerjaan.

        Job Description

        Deskripsi pekerjaan impor.

        Service Instance URL

        URL server Elasticsearch/OpenSearch. Gunakan format http://host:port/.

        Anda dapat menentukan beberapa URL yang dipisahkan dengan koma (,), misalnya, http://host1:port1/,http://host2:port2/.

        Port layanan default untuk Elasticsearch/OpenSearch adalah 9200.

        Penting

        Jika Anda mengatur VPC ID, Anda harus mengatur host ke Alamat IPv4 instans ECS yang sesuai.

        Index List

        Indeks yang akan diimpor. Pisahkan beberapa nama indeks dengan koma (,), misalnya, index1,index2,index3.

        User Name

        Username untuk mengakses kluster Elasticsearch/OpenSearch. Diperlukan hanya jika kluster menggunakan otentikasi.

        User Password

        Password untuk mengakses kluster Elasticsearch/OpenSearch.

        Time Field

        Bidang dalam indeks sumber yang merepresentasikan waktu, digunakan sebagai waktu log.

        Jika Anda tidak menentukan bidang waktu, SLS menggunakan waktu sistem saat data diimpor sebagai waktu log.

        Penting

        Untuk melakukan impor inkremental, Anda harus mengatur Time Field.

        Time Field Format

        Format waktu yang digunakan untuk mengurai nilai bidang waktu.

        • Mendukung format waktu yang mengikuti sintaks SimpleDateFormat Java, seperti yyyy-MM-dd HH:mm:ss. Untuk informasi lebih lanjut tentang sintaks tersebut, lihat Class SimpleDateFormat. Untuk format waktu umum, lihat Format waktu.

        • Mendukung format epoch. Nilai yang valid: epoch, epochMillis, epochMacro, dan epochNano.

        Penting

        SimpleDateFormat Java tidak mendukung Stempel waktu UNIX. Jika Anda ingin menggunakan Stempel waktu UNIX, Anda harus mengatur Time Field Format ke format epoch.

        Time Zone

        Zona waktu bidang waktu.

        Anda tidak perlu mengatur zona waktu jika Time Field Format diatur ke format epoch.

        Query

        Kueri pencarian yang digunakan untuk memfilter data. Kueri harus mengikuti format query_string Elasticsearch/OpenSearch. Contoh: gender:male and city:Shanghai. Untuk informasi selengkapnya, lihat Query string query.

        Import Method

        Metode yang digunakan untuk mengimpor data.

        • Import Only Historical Data: Pekerjaan berhenti secara otomatis setelah data diimpor.

        • Automatically Import Incremental Data: Pekerjaan impor berjalan terus-menerus.

          Penting

          Jika Anda memilih Automatically Import Incremental Data, Anda harus mengatur Time Field.

        Start At

        Waktu mulai impor. SLS hanya mengimpor data jika stempel waktunya sama dengan atau setelah waktu ini.

        Penting

        Parameter ini hanya berlaku jika Time Field diatur.

        End Time

        Waktu akhir impor. SLS hanya mengimpor data jika stempel waktunya sama dengan atau sebelum waktu ini.

        Penting

        Parameter ini hanya berlaku jika Time Field diatur dan Import Method diatur ke Import Only Historical Data.

        Maximum Latency in Seconds

        Delay maksimum yang diizinkan, dalam detik, antara pembuatan data dan ingestinya ke kluster sumber.

        Penting

        • Mengatur nilai ini lebih rendah dari latensi aktual dapat menyebabkan kehilangan data.

        • Parameter ini hanya berlaku jika Time Field diatur dan Import Method diatur ke Automatically Import Incremental Data.

        Incremental Data Check Interval (Seconds)

        Interval dalam detik untuk memeriksa data baru di Elasticsearch/OpenSearch. Nilai default: 300. Nilai minimum: 60.

        VPC ID

        Jika sumber data Anda berada di VPC (baik kluster Alibaba Cloud Elasticsearch/OpenSearch maupun kluster self-hosted pada instans ECS), atur parameter ini agar SLS membaca data melalui jaringan internal untuk keamanan dan stabilitas yang lebih baik.

        Penting

        Kluster Elasticsearch/OpenSearch harus mengizinkan akses dari Blok CIDR 100.104.0.0/16.

      2. Klik Preview untuk melihat pratinjau hasil impor.

      3. Setelah Anda mengonfirmasi pengaturan, klik Next.

    5. Konfigurasikan pengaturan untuk Preview Data dan Create Index, lalu klik Next. Simple Log Service mengaktifkan indeks teks penuh secara default. Anda juga dapat membuat indeks bidang secara manual berdasarkan log yang dikumpulkan, atau klik Automatic Index Generation, dan Simple Log Service akan secara otomatis menghasilkan indeks bidang. Untuk informasi selengkapnya, lihat Buat indeks.

      Penting

      Gunakan indeks teks penuh untuk melakukan kueri semua field log. Untuk melakukan kueri field tertentu, mengurangi traffic indeks, atau melakukan analisis dengan pernyataan SELECT, gunakan indeks bidang.

    6. Klik Query Log. Anda kemudian akan diarahkan ke halaman kueri dan analisis Logstore Anda.

      Anda harus menunggu sekitar 1 menit hingga indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan pada tab Raw Logs. Untuk informasi selengkapnya tentang cara melakukan kueri dan analisis log, lihat Panduan cepat kueri dan analisis.

    Lihat konfigurasi impor data

    Setelah Anda membuat konfigurasi impor data, Anda dapat melihat detail dan laporan yang dihasilkan di konsol.

    1. Klik Proyek tujuan.

    2. Di panel navigasi Logstore tujuan, pilih Data Collection > Data Import, lalu klik nama konfigurasi tersebut.

    3. Di halaman Import Configuration Overview, lihat informasi dasar dan laporan untuk konfigurasi tersebut.

    Operasi lainnya

    • Hapus konfigurasi impor

      Di halaman Import Configuration Overview, Anda dapat mengklik Delete Configuration untuk menghapus konfigurasi impor data.

      Peringatan

      Tindakan ini tidak dapat dibatalkan. Lakukan dengan hati-hati.

    • Hentikan dan restart pekerjaan impor

      Saat Anda membuat konfigurasi impor data, SLS membuat pekerjaan impor yang sesuai. Di halaman Import Configuration Overview, Anda dapat mengklik Stop untuk menghentikan pekerjaan tersebut. Anda dapat menjalankannya kembali nanti.

      Penting

      Status pekerjaan yang dihentikan disimpan selama 24 jam. Jika tidak dijalankan kembali dalam periode ini, pekerjaan menjadi tidak tersedia dan akan gagal jika Anda mencoba menjalankannya kembali nanti.

    FAQ

    Masalah

    Kemungkinan penyebab

    Solusi

    Terjadi error koneksi Elasticsearch/OpenSearch (failed to connect) selama pratinjau.

    • URL server Elasticsearch/OpenSearch salah.

    • Alamat IP yang digunakan oleh layanan impor belum ditambahkan ke Daftar putih alamat IP, sehingga layanan impor tidak dapat mengakses kluster Elasticsearch/OpenSearch.

    • Saat mengimpor data dari kluster Elasticsearch/OpenSearch yang di-deploy di Alibaba Cloud, VPC ID tidak diatur.

    • Pastikan URL server Elasticsearch/OpenSearch benar.

    • Tambahkan alamat IP ke Daftar putih alamat IP agar layanan impor dapat terhubung ke kluster. Untuk informasi selengkapnya, lihat Daftar putih alamat IP.

    • Saat mengimpor data dari kluster Elasticsearch/OpenSearch yang di-host di Alibaba Cloud melalui jaringan internal, pastikan VPC ID telah diatur.

    Terjadi error timeout (preview request timed out) selama pratinjau.

    Indeks sumber kosong atau tidak berisi data yang sesuai dengan kondisi filter.

    • Jika indeks tidak berisi data, tulis data ke indeks tersebut lalu lakukan pratinjau lagi.

    • Saat Anda mengatur bidang waktu dan format waktu, pastikan keduanya sesuai dengan bidang waktu dan format aktual dalam data Anda.

    • Saat Anda mengatur kondisi pencarian Elasticsearch/OpenSearch atau rentang waktu, pastikan indeks berisi data yang sesuai.

    Waktu log yang ditampilkan di SLS tidak konsisten dengan waktu data aktual.

    Bidang waktu log tidak ditentukan, atau format waktu atau zona waktu dikonfigurasi secara salah dalam konfigurasi impor.

    Tentukan bidang waktu log dan atur format waktu serta zona waktu yang benar. Untuk informasi selengkapnya, lihat Buat konfigurasi impor data.

    Data tidak dapat dikueri atau dianalisis setelah diimpor.

    • Data berada di luar rentang waktu kueri.

    • Indeks belum dibuat untuk Logstore.

    • Indeks belum berlaku.

    • Periksa apakah waktu data yang ingin Anda kueri berada dalam rentang waktu kueri yang ditentukan.

      Jika tidak, sesuaikan rentang waktu tersebut dan jalankan kueri lagi.

    • Periksa apakah Anda telah membuat indeks untuk Logstore.

      Jika belum, buat indeks terlebih dahulu. Untuk informasi selengkapnya, lihat Buat indeks dan pengindeksan ulang.

    • Jika indeks telah dikonfigurasi dan volume data yang diimpor yang ditampilkan di Dasbor Data Processing Insight sesuai ekspektasi, kemungkinan besar penyebabnya adalah indeks belum berlaku. Coba lakukan pengindeksan ulang. Untuk informasi selengkapnya, lihat pengindeksan ulang.

    Jumlah entri data yang diimpor lebih sedikit dari yang diharapkan.

    Beberapa dokumen Elasticsearch/OpenSearch berukuran lebih dari 3 MB. Anda dapat mengonfirmasi hal ini di Dasbor Data Processing Insight.

    Kurangi ukuran dokumen Elasticsearch/OpenSearch individual.

    Saat impor inkremental diaktifkan, terjadi delay signifikan dalam mengimpor data baru.

    • Nilai Maximum Latency in Seconds terlalu besar.

    • Bandwidth kluster Elasticsearch/OpenSearch mencapai batasnya.

    • Jaringan tidak stabil saat mengimpor data melalui jaringan publik.

    • Logstore memiliki terlalu sedikit shard.

    • Untuk kemungkinan penyebab lainnya, lihat Batas performa.

    • Pastikan Anda telah mengatur nilai yang wajar untuk Maximum Latency in Seconds dan sesuaikan berdasarkan latensi aktual Anda.

    • Periksa apakah traffic kluster Elasticsearch/OpenSearch mencapai batas bandwidth, terutama untuk kluster yang di-host di Alibaba Cloud. Jika iya, tingkatkan bandwidth-nya.

    • Jika Anda mengimpor data Elasticsearch/OpenSearch melalui jaringan publik, pastikan Anda memiliki bandwidth yang cukup.

    • Jika Logstore memiliki sedikit shard, coba tingkatkan jumlah shard dan pantau latensinya. Untuk informasi selengkapnya, lihat Kelola shard.

    Penanganan error

    Error

    Deskripsi

    Error komunikasi dengan kluster Elasticsearch/OpenSearch

    Pekerjaan impor menarik data Elasticsearch/OpenSearch dalam mode scroll dengan durasi keep-alive default 24 jam. Jika error koneksi jaringan atau masalah lain mencegah komunikasi normal dengan Elasticsearch/OpenSearch (seperti kegagalan otentikasi), pekerjaan impor akan mencoba ulang secara otomatis.

    Jika koneksi tidak dipulihkan dalam 24 jam, server sumber akan menghapus sesi scroll. Pekerjaan impor kemudian gagal dengan error "No search context found" dan harus dibuat ulang.