Anda dapat menggunakan Tablestore Sink Connector untuk mengimpor data secara batch dari Apache Kafka ke tabel data atau tabel seri waktu di Tablestore.
Informasi latar belakang
Apache Kafka adalah sistem Message Queuing (MSMQ) terdistribusi. Sistem data dapat menggunakan Kafka Connect untuk mengimpor aliran data ke dan mengekspor aliran data dari Apache Kafka.
Tim Tablestore telah mengembangkan Tablestore Sink Connector berdasarkan Kafka Connect. Tablestore Sink Connector menarik catatan pesan berdasarkan topik yang dilanggan dari Apache Kafka dalam mode polling, mem-parsing catatan tersebut, lalu mengimpor data secara batch ke Tablestore. Tablestore Sink Connector mengoptimalkan proses impor data dan mendukung konfigurasi kustom.
Tablestore adalah layanan penyimpanan data multi-model yang dikembangkan oleh Alibaba Cloud. Tablestore dapat menyimpan sejumlah besar data terstruktur dan mendukung berbagai model data, termasuk model Wide Column dan model TimeSeries. Anda dapat menyinkronkan data dari Apache Kafka ke tabel data atau tabel seri waktu di Tablestore. Tabel data adalah jenis tabel dalam model Wide Column, sedangkan tabel seri waktu adalah jenis tabel dalam model TimeSeries. Untuk informasi lebih lanjut, lihat Penyinkronan Data ke Tabel Data dan Penyinkronan Data ke Tabel Seri Waktu.
Fitur
Tablestore Sink Connector mendukung fitur-fitur berikut:
Pengiriman Setidaknya Sekali
Memastikan bahwa catatan pesan Kafka dikirim dari topik Kafka ke Tablestore setidaknya sekali.
Pemetaan Data
Mendekode data dalam topik Kafka dengan menggunakan Converter. Sebelum mendekode data menggunakan Converter, Anda perlu memodifikasi atribut key.converter dan value.converter dalam konfigurasi worker atau konektor Kafka Connect. Anda dapat memilih JsonConverter bawaan Kafka Connect, Converter pihak ketiga, atau Converter kustom.
Pembuatan Otomatis Tabel Tujuan di Tablestore
Jika tabel tujuan tidak tersedia di Tablestore, tabel tujuan dapat dibuat secara otomatis berdasarkan kolom kunci utama dan daftar putih kolom atribut yang Anda tentukan. Jika daftar putih kolom atribut tidak ditentukan, semua bidang dalam nilai rekaman catatan pesan Kafka digunakan sebagai kolom atribut tabel tujuan.
Kebijakan Penanganan Kesalahan
Kesalahan mungkin terjadi saat catatan pesan diparsing atau ditulis ke Tablestore karena data diimpor dalam batch. Jika terjadi kesalahan, Anda dapat menghentikan tugas atau mengabaikan kesalahan. Anda juga dapat mencatat catatan pesan dan pesan kesalahan di Kafka atau Tablestore.
Mode kerja
Tablestore Sink Connector dapat bekerja dalam mode mandiri atau terdistribusi. Anda dapat memilih mode sesuai dengan kebutuhan bisnis Anda.
Dalam mode mandiri, semua tugas dieksekusi dalam satu proses. Mode ini mudah dikonfigurasi dan digunakan. Anda dapat menggunakan mode mandiri untuk mempelajari fitur-fitur Tablestore Sink Connector.
Dalam mode terdistribusi, semua tugas dieksekusi dalam beberapa proses secara paralel. Mode ini dapat mengalokasikan tugas ke proses berdasarkan beban kerja proses dan menyediakan kemampuan toleransi kesalahan saat tugas dieksekusi. Dengan cara ini, mode terdistribusi lebih unggul dari mode mandiri dalam hal stabilitas. Kami merekomendasikan agar Anda menggunakan mode terdistribusi.