Tablestore：Deskripsi Konfigurasi

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

name

string

Ya

tablestore-sink

Nama konektor. Nama konektor harus unik.

connector.class

class

Ya

TableStoreSinkConnector

Kelas Java konektor.

connector.class=com.aliyun.tablestore.kafka.connect.TableStoreSinkConnector

tasks.max

integer

Ya

3

Jumlah maksimum tugas yang dapat dibuat untuk konektor.

Jika jumlah maksimum tugas gagal dibuat, lebih sedikit tugas mungkin dibuat.

key.converter

string

Tidak

org.apache.kafka.connect.json.JsonConverter

Konverter kunci yang digunakan untuk mengganti konverter kunci default yang ditentukan dalam file konfigurasi pekerja.

value.converter

string

Tidak

org.apache.kafka.connect.json.JsonConverter

Konverter nilai yang digunakan untuk mengganti konverter nilai default yang ditentukan dalam file konfigurasi pekerja.

topics

list

Ya

test

Daftar topik Kafka yang dapat ditentukan untuk konektor. Pisahkan beberapa topik Kafka dengan koma (,).

Anda harus menentukan topik untuk mengelola topik yang ditentukan untuk konektor.

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

tablestore.endpoint

string

Ya

https://xxx.xxx.ots.aliyuncs.com

Titik akhir instance Tablestore. Untuk informasi lebih lanjut, lihat Endpoints.

tablestore.mode

string

Ya

timeseries

Tipe tabel tujuan. Nilai default: normal. Nilai valid:

• normal: tabel data di Tablestore.

• timeseries: tabel seri waktu di Tablestore.

tablestore.access.key.id

string

Ya

LTAn********************

ID AccessKey dan rahasia AccessKey akun Anda. Untuk informasi lebih lanjut tentang cara memperoleh ID AccessKey dan rahasia AccessKey, lihat Buat Pasangan AccessKey.

tablestore.access.key.secret

string

Ya

zbnK**************************

tablestore.auth.mode

string

Ya

aksk

Mode autentikasi. Nilai default: aksk. Nilai valid:

• aksk: menggunakan ID AccessKey dan rahasia AccessKey akun Alibaba Cloud atau pengguna RAM untuk autentikasi. Dalam topik ini, tablestore.auth.mode diatur ke aksk.

• sts: menggunakan kredensial akses sementara yang diperoleh dari Security Token Service (STS) untuk autentikasi. Jika Tablestore terhubung ke Message Queue for Apache Kafka, atur tablestore.auth.mode ke sts. Ini adalah nilai default.

tablestore.instance.name

string

Ya

myotstest

Nama instance Tablestore.

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

event.parse.class

class

Ya

DefaultEventParser

Kelas Java dari EventParser. Nilai default: DefaultEventParser. Parser mengurai catatan pesan Kafka untuk mendapatkan kolom primary key dan kolom atribut tabel data.

Untuk menggunakan DefaultEventParser, kunci atau nilai catatan pesan Kafka harus berupa kelas Struct atau Map dari Kafka Connect. Bidang yang dipilih dalam Struct harus berupa tipe data yang didukung oleh Tablestore Sink Connector. Bidang tersebut dikonversi ke data tipe Tablestore berdasarkan tabel pemetaan tipe data dan kemudian ditulis ke tabel data. Tipe data nilai dalam Map harus merupakan tipe data yang didukung oleh Tablestore Sink Connector. Tablestore Sink Connector mendukung tipe data yang sama dalam Struct dan Map. Nilai dalam Map dikonversi ke data bertipe biner dan kemudian ditulis ke tabel data.

Jika tipe data catatan pesan Kafka tidak kompatibel dengan Tablestore Sink Connector, Anda dapat memanggil operasi yang didefinisikan oleh com.aliyun.tablestore.kafka.connect.parsers.EventParser untuk mengonfigurasi parser.

table.name.format

string

Tidak

kafka_<topic>

String format untuk nama tabel data Tablestore tujuan. Nilai default: <topic>. <topic> dapat digunakan dalam string sebagai placeholder untuk topik dari mana Anda ingin mengekspor data. Misalnya, jika table.name.format diatur ke kafka_<topic>, dan nama topik Kafka dari mana Anda ingin mengekspor data adalah test, catatan pesan Kafka dari topik test dipetakan ke tabel bernama kafka_test di Tablestore.

topics.assign.tables diberi prioritas lebih tinggi daripada table.name.format. Jika topics.assign.tables ditentukan, abaikan konfigurasi table.name.format.

topics.assign.tables

list

Ya

test:destTable

Menentukan pemetaan antara topik dan tabel Tablestore tujuan dalam format <topic_1>:<tablename_1>,<topic_2>:<tablename_2>. Pisahkan beberapa pemetaan dengan koma (,). Misalnya, test:destTable menentukan bahwa catatan pesan dari topik bernama test ditulis ke tabel data bernama destTable.

topics.assign.tables diberi prioritas lebih tinggi daripada table.name.format. Jika topics.assign.tables ditentukan, abaikan konfigurasi table.name.format.

primarykey.mode

string

Tidak

kafka

Mode primary key tabel data. Nilai valid:

• kafka: <connect_topic>_<connect_partition> dan <connect_offset> digunakan sebagai primary key tabel data. Topik Kafka <connect_topic> dan partisi <connect_partition> dipisahkan dengan garis bawah (_), dan <connect_offset> menentukan offset catatan pesan dalam partisi.

• record_key: Bidang kelas Struct atau kunci kelas Map dalam kunci rekaman digunakan sebagai primary key tabel data.

• record_value: Bidang kelas Struct atau kunci kelas Map dalam nilai rekaman digunakan sebagai primary key tabel data.

Konfigurasikan parameter ini bersama dengan tablestore.<tablename>.primarykey.name dan tablestore.<tablename>.primarykey.type. Nilai parameter ini tidak peka huruf besar/kecil.

tablestore.<tablename>.primarykey.name

list

Tidak

A,B

Nama kolom primary key tabel data. <tablename> adalah placeholder untuk nama tabel data. Nilai parameter ini berisi satu hingga empat nama kolom primary key yang dipisahkan dengan koma (,).

Kolom primary key tabel data Tablestore berurutan. Anda perlu memperhatikan urutan kolom primary key saat Anda mendefinisikan tablestore.<tablename>.primarykey.name. Misalnya, PRIMARY KEY (A, B, C) dan PRIMARY KEY (A, C, B) memiliki skema yang berbeda.

tablestore.<tablename>.primarykey.type

list

Tidak

string, integer

Tipe data kolom primary key dalam tabel data. <tablename> adalah placeholder untuk nama tabel data. Pisahkan tipe data kolom primary key dengan koma (,). Urutan tipe data kolom primary key harus sesuai dengan urutan nama kolom primary key yang ditentukan oleh tablestore.<tablename>.primarykey.name. Nilai parameter ini tidak peka huruf besar/kecil. Nilai valid: integer, string, binary, dan auto_increment.

tablestore.<tablename>.columns.whitelist.name

list

Tidak

A,B

Nama kolom atribut dalam daftar putih kolom atribut. <tablename> adalah placeholder untuk nama tabel data. Pisahkan nama kolom atribut dengan koma (,).

Jika Anda tidak mengonfigurasi parameter ini, semua bidang kelas Struct atau semua kunci kelas Map dalam nilai rekaman digunakan sebagai kolom atribut tabel data. Jika Anda mengonfigurasi parameter ini, bidang dalam nilai rekaman difilter berdasarkan daftar putih kolom atribut yang ditentukan untuk mendapatkan kolom atribut yang diperlukan.

tablestore.<tablename>.columns.whitelist.type

list

Tidak

string, integer

Tipe data kolom atribut dalam daftar putih kolom atribut. <tablename> adalah placeholder untuk nama tabel data. Pisahkan tipe data kolom atribut dengan koma (,). Urutan tipe data kolom atribut harus sesuai dengan urutan nama kolom atribut yang ditentukan oleh tablestore.<tablename>.columns.whitelist.name. Nilai parameter ini tidak peka huruf besar/kecil. Nilai valid: integer, string, binary, boolean, dan double.

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

insert.mode

string

Tidak

put

Mode tulis. Nilai default: put. Nilai valid:

• put: Data yang ada ditimpa oleh baris data yang Anda tulis ke tabel. Nilai ini sesuai dengan operasi PutRow dari Tablestore.

• update: Saat Anda memperbarui baris data, kolom atribut ditambahkan ke baris atau nilai kolom atribut yang ada diperbarui. Nilai ini sesuai dengan operasi UpdateRow dari Tablestore.

Nilai parameter ini tidak peka huruf besar/kecil.

insert.order.enable

boolean

Tidak

true

Menentukan apakah data ditulis ke tabel data dalam urutan data dibaca. Nilai default: true. Nilai valid:

• true: Catatan pesan Kafka ditulis ke tabel data dalam urutan catatan pesan dibaca.

• false: Catatan pesan Kafka ditulis ke tabel data tanpa urutan tertentu. Ini meningkatkan kinerja tulis.

auto.create

boolean

Tidak

false

Menentukan apakah tabel tujuan dibuat secara otomatis. Tabel data atau tabel seri waktu dapat dibuat secara otomatis. Nilai default: false. Nilai valid:

• true: Sistem secara otomatis membuat tabel tujuan Tablestore.

• false: Sistem tidak secara otomatis membuat tabel tujuan Tablestore.

delete.mode

string

Tidak

none

Mode penghapusan. Konfigurasi parameter ini hanya berlaku saat data disinkronkan ke tabel data dan mode primary key diatur ke record_key. Nilai default: none. Nilai valid:

• none: Tidak ada operasi penghapusan yang dapat dilakukan.

• row: Baris dapat dihapus. Jika nilai rekaman kosong, baris yang sesuai dihapus.

• column: Kolom atribut dapat dihapus. Jika nilai bidang kelas Struct atau nilai kunci kelas Map dalam nilai rekaman kosong, kolom atribut yang sesuai dihapus.

• row_and_column: Baris dan kolom atribut dapat dihapus.

Nilai parameter ini tidak peka huruf besar/kecil.

Parameter ini ditentukan berdasarkan nilai parameter insert.mode. Untuk informasi lebih lanjut, lihat Lampiran: Sintaks Hapus.

buffer.size

integer

Tidak

1024

Jumlah maksimum baris yang dapat dimasukkan dalam antrian buffer di memori saat data ditulis ke tabel data. Nilai default: 1024. Nilai parameter ini harus merupakan eksponen dari 2.

max.thread.count

integer

Tidak

3

Jumlah thread callback yang digunakan saat data ditulis ke tabel data. Nilai default = Jumlah vCPU + 1.

max.concurrency

integer

Tidak

10

Jumlah maksimum permintaan tulis konkuren yang dapat dikirim untuk menulis data ke tabel data. Nilai default: 10.

bucket.count

integer

Tidak

3

Jumlah bucket ke mana data ditulis. Nilai default: 3. Jika Anda meningkatkan nilai parameter ini, kemampuan tulis konkuren dapat ditingkatkan. Namun, Anda tidak dapat mengatur nilai parameter ini lebih besar dari jumlah maksimum permintaan tulis konkuren yang Anda tentukan.

flush.Interval

integer

Tidak

10000

Interval refresh antrian buffer saat data ditulis ke tabel data. Unit: milidetik. Nilai default: 10000.

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

runtime.error.tolerance

string

Tidak

none

Kebijakan penanganan kesalahan yang digunakan jika terjadi kesalahan saat catatan pesan Kafka diurai atau ditulis ke tabel. Nilai default: none. Nilai valid:

• none: Kesalahan menyebabkan tugas impor data yang menggunakan Tablestore Sink Connector gagal.

• all: Catatan pesan yang melaporkan kesalahan dilewati dan dicatat.

Nilai parameter ini tidak peka huruf besar/kecil.

runtime.error.mode

string

Tidak

ignore

Menentukan cara memproses catatan pesan yang melaporkan kesalahan saat catatan pesan Kafka diurai atau ditulis ke tabel. Nilai default: ignore. Nilai valid:

• ignore: Semua kesalahan diabaikan.

• kafka: Catatan pesan yang melaporkan kesalahan dan pesan kesalahan disimpan di topik Kafka yang berbeda. Dalam hal ini, Anda perlu menentukan runtime.error.bootstrap.servers dan runtime.error.topic.name. Kunci dan nilai catatan pesan Kafka yang melaporkan kesalahan di topik baru sama dengan kunci dan nilai catatan pesan di topik dari mana Anda ingin mengekspor data. Bidang ErrorInfo disertakan dalam header untuk mencatat pesan kesalahan.

• tablestore: Catatan pesan yang melaporkan kesalahan dan pesan kesalahan disimpan di tabel data Tablestore yang berbeda. Dalam hal ini, Anda perlu menentukan runtime.error.table.name. Kolom primary key tabel data yang digunakan untuk mencatat catatan pesan yang melaporkan kesalahan dan pesan kesalahan adalah topic_partition (tipe string) dan offset (tipe integer). Kolom atribut tabel data adalah key (tipe bytes), value (tipe bytes), dan error_info (tipe string).

Jika runtime.error.mode diatur ke kafka, Anda perlu melakukan serialisasi header, kunci, dan nilai catatan pesan Kafka. Jika runtime.error.mode diatur ke tablestore, Anda perlu melakukan serialisasi kunci dan nilai catatan pesan Kafka. Secara default, org.apache.kafka.connect.json.JsonConverter digunakan untuk serialisasi data dan schemas.enable diatur ke true. Anda dapat menggunakan JsonConverter untuk deserialisasi data untuk mendapatkan data asli. Untuk informasi lebih lanjut tentang Converter, lihat Kafka Converter.

runtime.error.bootstrap.servers

string

Tidak

localhost:9092

Alamat kluster Kafka tempat catatan pesan yang melaporkan kesalahan dan pesan kesalahan disimpan.

runtime.error.topic.name

string

Tidak

errors

Nama topik Kafka yang menyimpan catatan pesan yang melaporkan kesalahan dan pesan kesalahan.

runtime.error.table.name

string

Tidak

errors

Nama tabel Tablestore yang menyimpan catatan pesan yang melaporkan kesalahan dan pesan kesalahan.

Parameter

Tipe

Diperlukan

Contoh

Deskripsi

tablestore.timeseries.<tablename>.measurement

string

Ya

mName

Menentukan bahwa nilai yang sesuai dengan kunci yang ditentukan dalam data berformat JSON ditulis ke tabel seri waktu sebagai nilai bidang _m_name.

Jika tablestore.timeseries.<tablename>.measurement diatur ke <topic>, nilai yang sesuai dengan kunci topik catatan pesan Kafka ditulis ke tabel seri waktu sebagai nilai bidang _m_name.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda. Misalnya, jika nama tabel seri waktu adalah test, nama parameternya adalah tablestore.timeseries.test.measurement.

tablestore.timeseries.<tablename>.dataSource

string

Ya

ds

Menentukan bahwa nilai yang sesuai dengan kunci ds dalam data berformat JSON ditulis ke tabel seri waktu sebagai nilai bidang _data_source.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.<tablename>.tags

list

Ya

region,level

Menentukan bahwa nilai yang sesuai dengan kunci region dan level dalam data berformat JSON ditulis ke tabel seri waktu sebagai nilai bidang tags.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.<tablename>.time

string

Ya

timestamp

Menentukan bahwa nilai yang sesuai dengan kunci timestamp dalam data berformat JSON ditulis ke tabel seri waktu sebagai nilai bidang _time.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.<tablename>.time.unit

string

Ya

MILLISECONDS

Satuan nilai parameter tablestore.timeseries.<tablename>.time. Nilai valid: SECONDS, MILLISECONDS, MICROSECONDS, dan NANOSECONDS.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.<tablename>.field.name

list

Tidak

cpu,io

Menentukan bahwa kunci cpu dan io dalam data berformat JSON ditulis ke tabel seri waktu sebagai nama _field_name dan nilai yang sesuai dengan kunci cpu dan io dalam data berformat JSON ditulis ke tabel seri waktu sebagai nilai _field_name.

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.<tablename>.field.type

string

Tidak

double,integer

Tipe data bidang yang ditentukan oleh tablestore.timeseries.<tablename>.field.name. Nilai valid: double, integer, string, binary, dan boolean. Pisahkan beberapa tipe data dengan koma (,).

<tablename> dalam parameter adalah placeholder untuk nama tabel seri waktu. Ubah nama parameter berdasarkan kebutuhan bisnis Anda.

tablestore.timeseries.mapAll

boolean

Tidak

false

Menentukan apakah bidang selain bidang primary key dan bidang waktu dalam data berformat JSON ditulis ke tabel seri waktu sebagai bidang.

Jika tablestore.timeseries.mapAll diatur ke false, Anda harus mengonfigurasi parameter tablestore.timeseries.<tablename>.field.name dan tablestore.timeseries.<tablename>.field.type.

tablestore.timeseries.toLowerCase

boolean

Tidak

true

Menentukan apakah kunci dalam bidang dikonversi ke huruf kecil sebelum ditulis/dan kemudian ditulis ke tabel seri waktu. Kunci dalam bidang adalah kunci dalam bidang non-primary key atau non-waktu, atau kunci yang ditentukan dalam tablestore.timeseries.<tablename>.field.name.

tablestore.timeseries.rowsPerBatch

integer

Tidak

50

Jumlah maksimum baris yang dapat ditulis ke Tablestore dalam satu permintaan. Nilai maksimum dan default adalah 200.