全部产品
Search

搜索本产品

    ：Impor data dari Kafka ke Layanan Log Sederhana

    文档中心

    ：Impor data dari Kafka ke Layanan Log Sederhana

    更新时间：Jul 02, 2025

    Topik ini menjelaskan cara mengimpor data dari Kafka ke Layanan Log Sederhana. Setelah impor, Anda dapat menanyakan, menganalisis, dan mentransformasi data di dalam Layanan Log Sederhana.

    Prasyarat

    Versi yang didukung

    Hanya mendukung Kafka versi 2.2.0 dan yang lebih baru.

    Buat konfigurasi impor data

    1. Masuk ke Konsol Layanan Log Sederhana.

    2. Di bagian Impor Data Cepat, klik Import Data. Pada tab Data Import dari kotak dialog yang muncul, klik Kafka - Data Import.

    3. Pilih proyek dan penyimpanan log, lalu klik Next.

    4. Konfigurasikan parameter untuk konfigurasi impor data.

      1. Di langkah Import Configuration, konfigurasikan parameter berikut.

        Parameter

        Deskripsi

        Job Name

        ID tugas impor.

        Display Name

        Nama tugas impor.

        Job Description

        Deskripsi tugas impor.

        Endpoint

        Alamat yang digunakan untuk terhubung ke kluster Kafka. Anda bisa mendapatkan alamat tersebut dari bidang bootstrap.servers yang dikonfigurasi untuk kluster Kafka. Pisahkan beberapa alamat dengan koma (,).

        • Jika Anda menggunakan kluster Kafka yang disediakan oleh instance ApsaraMQ for Kafka milik Alibaba Cloud, Anda harus memasukkan alamat IP atau nama domain dari titik akhir instance tersebut.

        • Jika Anda menggunakan kluster Kafka yang diterapkan pada instance Elastic Compute Service (ECS) milik Alibaba Cloud, Anda harus memasukkan alamat IP dari instance ECS.

        • Jika Anda menggunakan kluster Kafka lainnya, Anda harus memasukkan alamat IP publik atau nama domain dari broker di dalam kluster Kafka.

        Topics

        Topik Kafka. Pisahkan beberapa topik dengan koma (,).

        Consumer Group

        Jika Anda menggunakan kluster Kafka yang disediakan oleh instance ApsaraMQ for Kafka milik Alibaba Cloud dan tidak mengaktifkan fitur pembuatan grup fleksibel, Anda harus memilih grup konsumen. Untuk informasi lebih lanjut tentang fitur tersebut, lihat Gunakan fitur pembuatan grup fleksibel. Untuk informasi lebih lanjut tentang cara membuat grup konsumen, lihat Buat grup konsumen.

        Starting Position

        Posisi dari mana Anda ingin sistem mulai mengimpor data. Nilai valid:

        • Earliest: Sistem mulai mengimpor data dari entri data Kafka pertama yang ada.

        • Latest: Sistem mulai mengimpor data dari entri data Kafka terbaru yang dihasilkan.

        Data Format

        Format data yang ingin Anda impor. Nilai valid:

        • Simple Mode: Jika data yang ingin Anda impor berformat satu baris, Anda dapat memilih Simple Mode.

        • JSON String: Jika data yang ingin Anda impor berformat JSON, Anda dapat memilih JSON String. Tugas impor akan mengurai data yang diimpor menjadi pasangan kunci-nilai dan hanya mengurai lapisan pertama dari data.

        Parse Array Elements

        Setelah Anda mengaktifkan Parse Array Elements, sistem akan membagi data dalam format array JSON menjadi beberapa bagian data berdasarkan elemen array dan kemudian mengimpor data tersebut.

        Encoding Format

        Format pengkodean atau set karakter dari data yang ingin Anda impor. Nilai valid: UTF-8 dan GBK.

        VPC-based Instance ID

        Jika instance ApsaraMQ for Kafka atau instance ECS Anda berada di dalam virtual private cloud (VPC), Anda dapat menentukan ID VPC untuk memungkinkan Layanan Log Sederhana membaca data dari kluster Kafka melalui jaringan internal Alibaba Cloud.

        Data yang dibaca melalui jaringan internal Alibaba Cloud memberikan keamanan dan stabilitas jaringan yang lebih tinggi.

        Penting

        Pastikan bahwa kluster Kafka dapat diakses dari blok CIDR 100.104.0.0/16.

        Time Configuration

        Time Field

        Bidang waktu yang digunakan untuk mencatat waktu log. Anda dapat memasukkan nama kolom yang mewakili waktu dalam data Kafka.

        Regular Expression to Extract Time

        Jika Anda mengatur Data Format ke Simple Mode, Anda perlu menentukan ekspresi reguler untuk mengekstrak waktu dari data Kafka.

        Contohnya, jika entri data Kafka adalah pesan dengan waktu 2022-08-08 14:20:20, Anda dapat mengatur Regular Expression to Extract Time ke \d\d\d\d-\d\d-\d\d \d\d:\d\d:\d\d.

        Time Field Format

        Format waktu yang digunakan untuk menguraikan nilai bidang waktu.

        • Anda dapat menentukan format waktu yang didukung oleh Java SimpleDateFormat. Contoh: yyyy-MM-dd HH:mm:ss. Untuk informasi lebih lanjut tentang sintaks format waktu, lihat Class SimpleDateFormat. Untuk informasi lebih lanjut tentang format waktu umum, lihat Format waktu.

        • Anda dapat menentukan format waktu epoch. Nilai valid: epoch, epochMillis, epochMacro, dan epochNano.

        Time Zone

        Zona waktu dari bidang waktu.

        Jika Anda mengatur Format Bidang Waktu ke format waktu epoch, Anda tidak perlu mengonfigurasi Zona Waktu.

        Default Time Source

        Jika tidak ada informasi ekstraksi waktu yang diberikan atau ekstraksi waktu gagal, sistem akan menggunakan sumber waktu yang Anda tentukan. Nilai valid: Waktu Sistem Saat Ini dan Timestamp Pesan Kafka.

        Advanced Settings

        Log Context

        Setelah Anda mengaktifkan Log Context, Anda dapat menggunakan fitur pencarian kontekstual. Anda dapat melihat konteks data yang ingin Anda impor di partisi Kafka sumber.

        Communication Protocol

        Informasi tentang protokol komunikasi yang digunakan untuk terhubung ke kluster Kafka. Jika Anda ingin mengimpor data melalui Internet, kami sarankan Anda mengenkripsi koneksi antara Layanan Log Sederhana dan kluster Kafka serta menerapkan autentikasi pengguna. Kode contoh berikut memberikan ilustrasi.

        Bidang protocol mendukung nilai berikut: plaintext, ssl, sasl_plaintext, dan sasl_ssl. Nilai yang direkomendasikan adalah sasl_ssl, yang memerlukan enkripsi koneksi dan autentikasi pengguna.

        Jika Anda mengatur protocol ke sasl_plaintext atau sasl_ssl, Anda juga harus mengonfigurasi node sasl. Bidang mechanism di bawah node sasl mendukung nilai berikut: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. Bidang ini menentukan mekanisme otentikasi username-password.

        {
    "protocol":"sasl_plaintext",
     "sasl":{
        "mechanism":"PLAIN",
        "username":"xxx",
        "password":"yyy"
    }
}

        Private Domain Resolution

        Jika Anda menggunakan kluster Kafka yang diterapkan pada instance ECS dan broker di dalam kluster saling terhubung melalui titik akhir internal, Anda harus menentukan titik akhir dan alamat IP dari instance ECS untuk setiap broker. Contoh:

        {
"hostname#1":"192.168.XX.XX",
"hostname#2":"192.168.XX.XX",
"hostname#3":"192.168.XX.XX"
}

      2. Klik Preview untuk melihat pratinjau hasil impor.

      3. Setelah mengonfirmasi hasilnya, klik Next.

    5. Pratinjau data, konfigurasikan indeks, lalu klik Next.

      Secara default, pengindeksan teks penuh diaktifkan untuk Layanan Log. Anda juga dapat mengonfigurasi indeks bidang berdasarkan log yang dikumpulkan dalam mode manual atau otomatis. Untuk mengonfigurasi indeks bidang dalam mode otomatis, klik Automatic Index Generation. Dengan cara ini, Layanan Log secara otomatis membuat indeks bidang. Untuk informasi lebih lanjut, lihat Buat indeks.

      Penting

      Jika Anda ingin menanyakan dan menganalisis log, Anda harus mengaktifkan pengindeksan teks penuh atau pengindeksan bidang. Jika Anda mengaktifkan kedua pengindeksan teks penuh dan pengindeksan bidang, sistem hanya akan menggunakan indeks bidang.

    6. Klik Query Log. Di halaman analisis dan permintaan, periksa apakah data Kafka telah diimpor.

      Tunggu sekitar 1 menit. Jika data Kafka yang diperlukan ada, data tersebut telah diimpor.

    Lihat konfigurasi impor data

    Setelah membuat konfigurasi impor data, Anda dapat melihat detail konfigurasi dan laporan statistik terkait di konsol Layanan Log Sederhana.

    1. Di bagian Proyek, klik proyek tempat konfigurasi impor data berada.

    2. Temukan dan klik penyimpanan log tempat konfigurasi impor data berada, pilih Data Collection > Data Import, lalu klik nama konfigurasi impor data.

    3. Di halaman Import Configuration Overview, lihat informasi dasar dan laporan statistik dari konfigurasi impor data.

    Apa yang harus dilakukan selanjutnya

    Di halaman Import Configuration Overview, Anda dapat melakukan operasi berikut pada konfigurasi impor data:

    • Ubah konfigurasi impor data

      Untuk mengubah konfigurasi impor data, klik Edit Configurations. Untuk informasi lebih lanjut, lihat Buat konfigurasi impor data.

    • Hapus konfigurasi impor data

      Untuk menghapus konfigurasi impor data, klik Delete Configuration.

      Peringatan

      Setelah konfigurasi impor data dihapus, konfigurasi tersebut tidak dapat dipulihkan.

    • Hentikan pekerjaan impor

      Untuk menghentikan pekerjaan impor data, klik Stop.

    Tanya Jawab Umum

    Deskripsi Masalah

    Penyebab Potensial

    Solusi

    Kesalahan koneksi broker terjadi selama pratinjau. Kode kesalahan: Broker transport failure.

    • Alamat yang ditentukan untuk terhubung ke kluster Kafka tidak valid.

    • Alamat IP yang digunakan oleh tugas impor untuk mengakses kluster Kafka belum ditambahkan ke daftar putih kluster. Akibatnya, tugas impor tidak dapat mengakses kluster.

    • Kluster Kafka Anda diterapkan di Alibaba Cloud, tetapi parameter ID Instance Berbasis VPC tidak dikonfigurasi.

    • Pastikan bahwa alamat yang ditentukan untuk kluster Kafka valid.

    • Tambahkan alamat IP yang digunakan oleh tugas impor untuk mengakses kluster Kafka ke daftar putih kluster. Untuk informasi lebih lanjut, lihat Daftar putih alamat IP.

    • Jika data diimpor dari kluster Kafka melalui jaringan internal Alibaba Cloud, pastikan bahwa parameter ID Instance Berbasis VPC dikonfigurasi.

    Kesalahan batas waktu terjadi selama pratinjau. Kode kesalahan: permintaan pratinjau habis waktu.

    Topik Kafka yang ditentukan dalam konfigurasi impor data tidak berisi data.

    Jika topik Kafka tidak berisi data, tulis data ke topik dan pratinjau data lagi.

    Karakter acak ada di dalam data yang diimpor.

    Format pengkodean yang ditentukan dalam konfigurasi impor data tidak memenuhi persyaratan.

    Perbarui konfigurasi impor data berdasarkan format pengkodean aktual dari data Kafka.

    Untuk menangani karakter acak yang sudah ada, buat penyimpanan log dan konfigurasi impor data.

    Waktu log yang ditampilkan di Layanan Log Sederhana berbeda dari waktu sebenarnya dari data yang diimpor.

    Tidak ada bidang waktu yang ditentukan dalam konfigurasi impor data, atau format waktu atau zona waktu yang ditentukan tidak valid.

    Tentukan bidang waktu atau tentukan format waktu dan zona waktu yang valid. Untuk informasi lebih lanjut, lihat Buat konfigurasi impor data.

    Setelah data diimpor, data tersebut tidak dapat ditanyakan atau dianalisis.

    • Data tidak berada dalam rentang waktu permintaan.

    • Tidak ada indeks yang dikonfigurasikan.

    • Indeks yang dikonfigurasikan gagal berlaku.

    • Periksa apakah waktu data yang ingin Anda tanyakan berada dalam rentang waktu permintaan yang Anda tentukan.

      Jika tidak, sesuaikan rentang waktu permintaan dan tanyakan data lagi.

    • Periksa apakah indeks dikonfigurasikan untuk penyimpanan log tempat data diimpor.

      Jika tidak, konfigurasikan indeks terlebih dahulu. Untuk informasi lebih lanjut, lihat Buat indeks dan Indeks ulang log untuk penyimpanan log.

    • Jika indeks dikonfigurasikan untuk penyimpanan log dan volume data yang diimpor ditampilkan seperti yang diharapkan pada dasbor Data Processing Insight, kemungkinan penyebabnya adalah indeks tidak berlaku. Dalam hal ini, indeks ulang data. Untuk informasi lebih lanjut, lihat Indeks ulang log untuk penyimpanan log.

    Jumlah entri data yang diimpor kurang dari yang diharapkan.

    Ukuran beberapa pesan Kafka melebihi 3 MB. Anda dapat memeriksa ukuran pesan Kafka pada dasbor Data Processing Insight.

    Pastikan bahwa ukuran setiap pesan Kafka tidak melebihi 3 MB.

    Latensi besar terjadi selama impor.

    • Batas bandwidth kluster Kafka telah tercapai.

    • Jaringan tidak stabil saat data diimpor melalui Internet.

    • Jumlah partisi untuk topik Kafka terlalu kecil.

    • Jumlah shard di dalam penyimpanan log terlalu kecil.

    • Untuk informasi lebih lanjut tentang penyebab potensial lainnya, lihat Batas kinerja.

    • Periksa apakah lalu lintas kluster Kafka, terutama kluster Kafka yang diterapkan di Alibaba Cloud, mencapai batas bandwidth. Jika lalu lintas mencapai atau mendekati batas bandwidth, perluas sumber daya bandwidth kluster.

    • Jika jumlah partisi untuk topik Kafka terlalu kecil, tingkatkan jumlah partisi dan pantau latensi.

    • Jika jumlah shard di dalam penyimpanan log terlalu kecil, tingkatkan jumlah shard dan pantau latensi. Untuk informasi lebih lanjut, lihat Kelola shard.

    Penanganan kesalahan

    Item

    Deskripsi

    Kesalahan koneksi jaringan terjadi.

    Tugas impor secara berkala dicoba ulang. Setelah koneksi jaringan dipulihkan, tugas impor melanjutkan konsumsi data dari offset gangguan impor data sebelumnya.

    Topik Kafka tidak ada.

    Jika topik Kafka yang berisi data untuk diimpor tidak ada, tugas impor akan melewati topik tersebut. Hal ini tidak memengaruhi impor data dari topik normal lainnya.

    Setelah topik dibuat ulang, tugas impor mengonsumsi data dalam topik seperti yang diharapkan, dengan latensi sekitar 10 menit.