All Products
Search

This Product

    Simple Log Service:Flume consumption

    Document Center

    Simple Log Service:Flume consumption

    Last Updated:Jun 16, 2026

    Integrasikan Log Service dengan Apache Flume menggunakan plugin aliyun-log-flume untuk menulis dan mengonsumsi data log.

    Informasi latar belakang

    aliyun-log-flume adalah plugin yang menghubungkan Log Service dengan Apache Flume, memungkinkan pertukaran data antara Log Service dan sistem lain seperti HDFS dan Kafka. Plugin ini menyediakan sink dan source.

    • Sink: Flume membaca data dari sumber lain dan menuliskannya ke Log Service.

    • Source: Flume mengonsumsi data log dari Log Service dan menuliskannya ke sistem lain.

    Untuk informasi selengkapnya, lihat aliyun-log-flume.

    Prosedur

    1. Unduh dan instal Apache Flume.

      Untuk informasi selengkapnya, lihat Apache Flume.

    2. Unduh plugin aliyun-log-flume dan letakkan di direktori /flume/lib .

      Untuk informasi selengkapnya, lihat aliyun-log-flume-1.3.jar.

    3. Di direktori /flume/conf , buat file konfigurasi bernama flumejob.conf.

      • Untuk konfigurasi dan contoh sink, lihat Sink.

      • Untuk konfigurasi dan contoh source, lihat Source.

    4. Jalankan Flume.

    Sink

    Sink menulis data dari sumber lain ke Log Service dan mendukung dua format parsing:

    • SIMPLE: menulis seluruh event Flume sebagai satu bidang ke Log Service.

    • DELIMITED: memperlakukan event Flume sebagai data yang dibatasi pemisah, menguraikannya menjadi bidang berdasarkan nama kolom yang dikonfigurasi, lalu menuliskannya ke Log Service.

    Tabel berikut menjelaskan parameter sink.

    Parameter

    Wajib

    Deskripsi

    type

    Ya

    Jenis sink. Atur parameter ini ke com.aliyun.Loghub.flume.sink.LoghubSink.

    endpoint

    Ya

    Titik akhir proyek Log Service. Contoh: http://cn-qingdao.log.aliyuncs.com. Ganti nilai tersebut dengan titik akhir yang sebenarnya. Untuk informasi selengkapnya, lihat Endpoints.

    project

    Ya

    Nama proyek Log Service.

    LogStore

    Ya

    Nama Logstore.

    accessKeyId

    Ya

    ID AccessKey Akun Alibaba Cloud Anda. Kami menyarankan Anda menggunakan pasangan Kunci Akses Pengguna RAM. Untuk informasi selengkapnya, lihat Create an AccessKey.

    accessKey

    Ya

    Rahasia AccessKey Akun Alibaba Cloud Anda. Kami menyarankan Anda menggunakan pasangan Kunci Akses Pengguna RAM. Untuk informasi selengkapnya, lihat Create an AccessKey.

    batchSize

    Tidak

    Jumlah entri data yang ditulis ke Log Service dalam setiap batch. Nilai default: 1000.

    maxBufferSize

    Tidak

    Ukuran antrian buffer. Nilai default: 1.000 entri.

    serializer

    Tidak

    Format serialisasi event. Nilai yang valid:

    • DELIMITED: mengatur format serialisasi ke mode Delimited.

    • SIMPLE: mengatur format serialisasi ke mode Simple. Ini adalah mode default.

    • JSON: mengatur format serialisasi ke mode JSON.

    • serializer kustom: Nama lengkap kelas serialisasi kustom.

    columns

    Tidak

    Parameter ini wajib saat serializer diatur ke DELIMITED. Parameter ini menentukan daftar nama bidang yang dipisahkan koma (,). Urutan bidang harus sesuai dengan urutan dalam data Anda.

    separatorChar

    Tidak

    Parameter ini digunakan saat serializer diatur ke DELIMITED. Parameter ini menentukan pemisah data. Pemisah harus berupa satu karakter. Nilai default: koma (,).

    quoteChar

    Tidak

    Parameter ini digunakan saat serializer diatur ke DELIMITED. Parameter ini menentukan karakter tanda kutip. Nilai default: tanda kutip ganda (").

    escapeChar

    Tidak

    Parameter ini digunakan saat serializer diatur ke DELIMITED. Parameter ini menentukan karakter escape. Nilai default: tanda kutip ganda (").

    useRecordTime

    Tidak

    Menentukan apakah akan menggunakan bidang timestamp data sebagai waktu log. Nilai default adalah false, yang menggunakan waktu saat ini.

    Untuk contoh konfigurasi sink, lihat GitHub.

    Source

    Source mengonsumsi data log dari Log Service dan mengirimkannya ke sistem lain. Dua format output didukung:

    • DELIMITED: menulis data ke Flume dalam format delimited.

    • JSON: menulis data ke Flume dalam format JSON.

    Tabel berikut menjelaskan parameter source.

    Parameter

    Wajib

    Deskripsi

    type

    Ya

    Jenis source. Atur parameter ini ke com.aliyun.Loghub.flume.source.LoghubSource.

    endpoint

    Ya

    Titik akhir proyek Log Service. Contoh: http://cn-qingdao.log.aliyuncs.com. Ganti nilai tersebut dengan titik akhir yang sebenarnya. Untuk informasi selengkapnya, lihat Endpoints.

    project

    Ya

    Nama proyek Log Service.

    LogStore

    Ya

    Nama Logstore.

    accessKeyId

    Ya

    ID AccessKey Akun Alibaba Cloud Anda. Kami menyarankan Anda menggunakan pasangan Kunci Akses Pengguna RAM. Untuk informasi selengkapnya, lihat Create an AccessKey.

    accessKey

    Ya

    Rahasia AccessKey Akun Alibaba Cloud Anda. Kami menyarankan Anda menggunakan pasangan Kunci Akses Pengguna RAM. Untuk informasi selengkapnya, lihat Create an AccessKey.

    heartbeatIntervalMs

    Tidak

    Interval heartbeat antara client dan Log Service. Nilai default: 30.000 ms.

    fetchIntervalMs

    Tidak

    Interval pengambilan data. Nilai default: 100 ms.

    fetchInOrder

    Tidak

    Menentukan apakah akan mengonsumsi data secara berurutan. Nilai default: false.

    batchSize

    Tidak

    Jumlah entri data yang dibaca dalam setiap batch. Nilai default: 100.

    consumerGroup

    Tidak

    Nama kelompok konsumen yang digunakan untuk membaca data.

    initialPosition

    Tidak

    Posisi awal untuk mulai membaca data. Nilai yang valid: begin, end, dan timestamp. Nilai default: begin.

    Catatan

    Jika checkpoint sisi server ada, maka checkpoint tersebut memiliki prioritas lebih tinggi.

    timestamp

    Tidak

    Parameter ini wajib saat initialPosition diatur ke timestamp. Tentukan waktu dalam format Stempel waktu UNIX.

    deserializer

    Ya

    Format deserialisasi event. Nilai yang valid:

    • DELIMITED: mengatur format deserialisasi ke mode Delimited. Ini adalah mode default.

    • JSON: mengatur format deserialisasi ke mode JSON.

    • deserializer kustom: Nama lengkap kelas deserialisasi kustom.

    columns

    Tidak

    Parameter ini wajib saat deserializer diatur ke DELIMITED. Parameter ini menentukan daftar nama bidang yang dipisahkan koma (,). Urutan bidang harus sesuai dengan urutan dalam data Anda.

    separatorChar

    Tidak

    Parameter ini digunakan saat deserializer diatur ke DELIMITED. Parameter ini menentukan pemisah data. Pemisah harus berupa satu karakter. Nilai default: koma (,).

    quoteChar

    Tidak

    Parameter ini digunakan saat deserializer diatur ke DELIMITED. Parameter ini menentukan karakter tanda kutip. Nilai default: tanda kutip ganda (").

    escapeChar

    Tidak

    Parameter ini digunakan saat deserializer diatur ke DELIMITED. Parameter ini menentukan karakter escape. Nilai default: tanda kutip ganda (").

    appendTimestamp

    Tidak

    Parameter ini digunakan saat deserializer diatur ke DELIMITED. Parameter ini menentukan apakah akan menambahkan timestamp secara otomatis sebagai bidang di akhir setiap baris. Nilai default: false.

    sourceAsField

    Tidak

    Parameter ini digunakan saat deserializer diatur ke JSON. Parameter ini menentukan apakah akan menambahkan sumber log sebagai bidang bernama __source__. Nilai default: false.

    tagAsField

    Tidak

    Parameter ini digunakan saat deserializer diatur ke JSON. Parameter ini menentukan apakah akan menambahkan tag log sebagai bidang. Nama bidang diformat sebagai __tag__:{tag_name}. Nilai default: false.

    timeAsField

    Tidak

    Parameter ini digunakan saat deserializer diatur ke JSON. Parameter ini menentukan apakah akan menambahkan waktu log sebagai bidang bernama __time__. Nilai default: false.

    useRecordTime

    Tidak

    Menentukan apakah akan menggunakan waktu log asli dari Log Service untuk stempel waktu event Flume. Jika false, waktu sistem saat ini yang digunakan. Nilai default adalah false.

    Untuk contoh konfigurasi source, lihat GitHub.