Konfigurasi Logstash untuk mengimpor data ke Data Warehouse Edition - AnalyticDB

Logstash adalah pipeline pemrosesan data open source yang berjalan di sisi server. Awalnya, Logstash digunakan untuk menulis data log ke ES. Sejak itu, Logstash telah berkembang untuk mengambil data dari berbagai sumber, mentransformasikannya, dan mengirimkannya ke destinasi penyimpanan pilihan Anda.

Karena AnalyticDB for MySQL mendukung akses Java Database Connectivity (JDBC) native, Anda dapat menggunakan plugin output open source logstash-output-jdbc untuk mengimpor data log ke AnalyticDB for MySQL guna analisis lebih lanjut. Namun, pengujian menunjukkan bahwa ketika volume data log sangat besar, penulisan data ke AnalyticDB for MySQL Edisi Data Warehouse menggunakan JDBC menghasilkan kinerja rendah dan konsumsi resource CPU tinggi. Hal ini disebabkan oleh fakta bahwa JDBC menulis satu record dalam satu waktu. Untuk mengatasi masalah ini, AnalyticDB for MySQL menyediakan plugin output Logstash berbasis JDBC yang telah dioptimalkan: logstash-output-analyticdb. Plugin ini dirancang untuk menulis data log ke AnalyticDB for MySQL secara batch.

Plugin logstash-output-analyticdb menulis data ke AnalyticDB for MySQL lima kali lebih cepat dibandingkan plugin logstash-output-jdbc dan menggunakan resource CPU jauh lebih sedikit.

Instalasi

Untuk informasi selengkapnya tentang cara menginstal Logstash, lihat Installing Logstash.

Buka direktori root Logstash: cd logstash.
Instal plugin logstash-output-analyticdb: bin/logstash-plugin install logstash-output-analyticdb.
Di direktori Logstash, buat direktori vendor/jar/jdbc: mkdir -p vendor/jar/jdbc.
Unduh file JAR JDBC ke direktori vendor/jar/jdbc: cd vendor/jar/jdbc; wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.36/mysql-connector-java-5.1.36.jar.

Plugin logstash-output-analyticdb kini telah terinstal.

Penggunaan

Buat file konfigurasi bernama logstash-analyticdb.conf di direktori `config`. Anda dapat menggunakan nama kustom untuk file ini. File logstash-analyticdb.conf harus berisi konten berikut.

input
{
    stdin { }
}
output {
    analyticdb {
        driver_class => "com.mysql.jdbc.Driver"
        connection_string => "jdbc:mysql://HOSTNAME:PORT/DATABASE?user=USER&password=PASSWORD"
        statement => [ "INSERT INTO log (host, timestamp, message) VALUES(?, ?, ?)", "host", "@timestamp", "message" ]
        commit_size => 4194304
    }
}

connection_string: URL JDBC yang digunakan untuk terhubung ke AnalyticDB for MySQL.
statement: Pernyataan SQL `INSERT`, ditentukan sebagai array.

Pengaturan parameter tambahan:

max_flush_exceptions: Jumlah maksimum percobaan ulang jika terjadi exception saat penulisan data. Nilai default-nya adalah 100.
skip_exception: Menentukan apakah exception akan dilewati. Nilai default-nya adalah `FALSE`. Jika parameter ini diatur ke `FALSE` dan terjadi exception, tugas akan mencoba ulang hingga mencapai jumlah maksimum percobaan ulang yang ditentukan oleh max_flush_exceptions. Jika tugas tetap gagal, program akan melemparkan exception dan menghentikan tugas secara abnormal. Jika Anda mengatur parameter ini ke `TRUE` dan tugas tetap gagal setelah semua percobaan ulang, exception tersebut akan dilewati dan dituliskan ke log.
flush_size: Menentukan jumlah maksimum record yang akan dibatch. Parameter ini digunakan bersama parameter commit_size.
commit_size: Volume data maksimum dalam byte untuk satu batch. Parameter ini digunakan bersama parameter flush_size, dan tugas penulisan akan dikirimkan ketika salah satu batas tercapai.

Daftar di atas menyediakan contoh parameter. Anda dapat mengonfigurasi file logstash-analyticdb.conf sesuai kebutuhan Anda. Untuk informasi tentang konfigurasi lain yang terkait dengan AnalyticDB for MySQL, lihat file README plugin tersebut. Untuk informasi lebih lanjut tentang konfigurasi dan aturan penggunaan Logstash, lihat dokumentasi resmi Logstash.

Konfigurasi kini telah selesai. Anda dapat memulai tugas tersebut.

Jalankan tugas

Di direktori instalasi Logstash, jalankan perintah berikut untuk memulai tugas: bin/logstash -f config/logstash-analyticdb.conf.

Catatan

Kami merekomendasikan menjalankan perintah berikut untuk melakukan upgrade Logstash ke versi terbaru sebelum Anda menulis data.

bin/logstash-plugin update logstash-output-analyticdb