Anda dapat menggunakan Tablestore Sink Connector untuk mengimpor data secara batch dari Apache Kafka ke tabel data atau tabel deret waktu di Tablestore.
Informasi latar belakang
Apache Kafka adalah sistem Message Queuing (MSMQ) terdistribusi. Sistem data dapat menggunakan Kafka Connect untuk mengimpor dan mengekspor aliran data ke dan dari Apache Kafka.
Tim Tablestore telah mengembangkan Tablestore Sink Connector berdasarkan Kafka Connect. Connector ini menarik catatan pesan dari topik yang telah Anda langganan di Apache Kafka dalam mode poll, mengurai catatan tersebut, lalu mengimpor datanya secara batch ke Tablestore. Tablestore Sink Connector mengoptimalkan proses impor data dan mendukung konfigurasi kustom.
Tablestore adalah layanan penyimpanan data multi-model yang dikembangkan oleh Alibaba Cloud. Tablestore mampu menyimpan sejumlah besar data terstruktur dan mendukung berbagai model data, termasuk Model Kolom Lebar dan model TimeSeries. Anda dapat menyinkronkan data dari Apache Kafka ke tabel data atau tabel deret waktu di Tablestore. Tabel data merupakan jenis tabel dalam Model Kolom Lebar, sedangkan tabel deret waktu merupakan jenis tabel dalam model TimeSeries. Untuk informasi selengkapnya, lihat Sinkronisasi data Kafka ke tabel data dan Sinkronisasi data Kafka ke tabel deret waktu.
Fitur
Tablestore Sink Connector mendukung fitur-fitur berikut:
Pengiriman at-least-once
Menjamin bahwa catatan pesan Kafka dikirim dari topik Kafka ke Tablestore minimal satu kali.
Pemetaan data
Mendeserialisasi data dalam topik Kafka menggunakan Converter. Sebelum mendeserialisasi data dengan Converter, Anda perlu mengatur atribut key.converter dan value.converter dalam konfigurasi worker atau connector Kafka Connect. Anda dapat memilih JsonConverter bawaan Kafka Connect, Converter pihak ketiga, atau Converter kustom.
Pembuatan otomatis tabel tujuan di Tablestore
Jika tabel tujuan tidak tersedia di Tablestore, tabel tersebut dapat dibuat secara otomatis berdasarkan kolom kunci primer dan daftar putih kolom atribut yang Anda tentukan. Jika tidak ada daftar putih kolom atribut yang ditentukan, semua bidang dalam nilai catatan pesan Kafka akan digunakan sebagai kolom atribut tabel tujuan.
Kebijakan penanganan error
Error dapat terjadi saat catatan pesan diurai atau ditulis ke Tablestore karena data diimpor secara batch. Jika terjadi error, Anda dapat menghentikan tugas atau mengabaikan error tersebut. Anda juga dapat mencatat catatan pesan dan pesan error di Kafka atau Tablestore.
Mode kerja
Tablestore Sink Connector dapat bekerja dalam mode standalone atau terdistribusi. Anda dapat memilih mode sesuai kebutuhan bisnis Anda.
Dalam mode standalone, semua task dieksekusi dalam satu proses. Mode ini mudah dikonfigurasi dan digunakan, sehingga cocok untuk mempelajari fitur-fitur Tablestore Sink Connector.
Dalam mode terdistribusi, semua task dieksekusi secara paralel dalam beberapa proses. Mode ini dapat mengalokasikan task ke proses berdasarkan beban kerja masing-masing proses dan menyediakan kemampuan toleransi kesalahan selama eksekusi task. Dengan demikian, mode terdistribusi lebih unggul dalam stabilitas dibandingkan mode standalone. Kami merekomendasikan penggunaan mode terdistribusi.