Realtime Compute for Apache Flink：Opsi konektor (VVR 8 dan sebelumnya)

Opsi

Deskripsi

Tipe data

Diperlukan?

Nilai default

Catatan

connector

Jenis konektor.

String

Ya

Tidak ada nilai default

Atur opsi ini ke hologres.

dbname

Nama database.

String

Ya

Tidak ada nilai default

Hologres V2.0 memperkenalkan instans gudang virtual sebagai jenis baru dari instans elastis dan high-availability. Sumber daya komputasi dibagi menjadi beberapa gudang virtual untuk mengimplementasikan penyebaran high-availability. Gudang virtual yang berbeda berbagi titik akhir yang sama. Anda dapat menambahkan akhiran tertentu pada nilai opsi dbname untuk menentukan gudang virtual yang ingin Anda sambungkan. Sebagai contoh, jika Anda ingin menyambungkan tabel dimensi ke gudang virtual read_warehouse, tentukan 'dbname' = 'db_test@read_warehouse'.

tablename

Nama tabel.

String

Ya

Tidak ada nilai default

Jika skema bukan public, atur tablename ke schema.tableName.

username

• Nama pengguna akun kustom. Format: BASIC$<user_name>.

• ID AccessKey dari akun Alibaba Cloud Anda atau pengguna RAM.

String

Ya

Tidak ada nilai default

• Akun yang dikonfigurasi harus memiliki akses ke database Hologres yang sesuai. Untuk informasi lebih lanjut, lihat Model izin Hologres dan Manajemen pengguna.

• Untuk informasi tentang cara mendapatkan pasangan AccessKey, lihat Bagaimana cara melihat pasangan AccessKey sebuah akun?

password

• Kata sandi akun kustom.

• Rahasia AccessKey dari akun Alibaba Cloud atau pengguna RAM Anda.

String

Ya

Tidak ada nilai default

endpoint

Titik akhir Hologres.

String

Ya

Tidak ada nilai default

Lihat Titik akhir untuk terhubung ke Hologres.

connection.ssl.mode

Menentukan apakah akan mengaktifkan transmisi terenkripsi SSL dan menentukan mode transmisi terenkripsi SSL yang digunakan.

String

Tidak

disable

• disable: Transmisi terenkripsi SSL dinonaktifkan.

• require: SSL diaktifkan untuk mengenkripsi tautan data.

• verify-ca: SSL diaktifkan untuk mengenkripsi tautan data, dan sertifikat CA digunakan untuk memverifikasi keaslian server Hologres.

• verify-full: SSL diaktifkan untuk mengenkripsi tautan data; dan klien menggunakan sertifikat CA untuk memverifikasi keaslian server Hologres, serta memeriksa kesesuaian antara nama umum (CN) atau Sistem Nama Domain (DNS) dalam sertifikat CA dengan titik akhir Hologres yang dikonfigurasi.

connection.ssl.root-cert.location

Path dari Sertifikat jika sertifikat CA digunakan.

String

Tidak

Tidak ada nilai default

Jika Anda mengatur connection.ssl.mode ke verify-ca atau verify-full, opsi ini menjadi wajib. Anda dapat menggunakan fitur artifacts di konsol Realtime Compute for Apache Flink untuk mengunggah sertifikat, yang akan disimpan di direktori /flink/usrlib. Sebagai contoh, jika nama file sertifikat CA adalah certificate.crt, atur opsi ini ke '/flink/usrlib/certificate.crt'.

jdbcRetryCount

Jumlah maksimum percobaan ulang yang diizinkan untuk membaca dan menulis data jika terjadi kegagalan koneksi.

Bilangan Bulat

Tidak

10

jdbcRetrySleepInitMs

Periode tunggu tetap untuk setiap percobaan ulang.

Panjang

Tidak

1000

Periode tunggu aktual untuk setiap percobaan ulang dihitung dengan menggunakan rumus berikut: jdbcRetrySleepInitMs+retry*jdbcRetrySleepStepMs. Satuan: milidetik.

jdbcRetrySleepStepMs

Periode tunggu kumulatif untuk setiap percobaan ulang.

Long

Tidak

5000

Periode tunggu aktual untuk setiap percobaan ulang dihitung dengan menggunakan rumus berikut: jdbcRetrySleepInitMs+retry*jdbcRetrySleepStepMs. Satuan: milidetik.

jdbcConnectionMaxIdleMs

Durasi maksimum koneksi JDBC dapat tetap idle.

Long

Tidak

60000

Jika koneksi JDBC tetap idle selama periode waktu yang melebihi nilai opsi ini, koneksi akan ditutup dan dilepaskan. Satuan: milidetik.

jdbcMetaCacheTTL

Waktu maksimum untuk menyimpan informasi TableSchema dalam cache.

Long

Tidak

60000

Satuan: milidetik.

jdbcMetaAutoRefreshFactor

Faktor untuk memicu penyegaran otomatis cache. Jika waktu tersisa untuk menyimpan data dalam cache kurang dari waktu untuk memicu penyegaran otomatis cache, sistem secara otomatis menyegarkan cache.

Integer

Tidak

4

Waktu tersisa untuk menyimpan data dalam cache dihitung dengan menggunakan rumus berikut:

Waktu tersisa untuk menyimpan data dalam cache = Waktu kedaluwarsa cache - Waktu data telah disimpan dalam cache.

Setelah cache diperbarui secara otomatis, durasi data disimpan di cache dihitung ulang dari 0.

Waktu untuk memicu penyegaran otomatis cache dihitung dengan menggunakan rumus berikut:

jdbcMetaCacheTTL/jdbcMetaAutoRefreshFactor.

type-mapping.timestamp-converting.legacy

Menentukan apakah akan melakukan konversi tipe waktu antara Realtime Compute for Apache Flink dan Hologres.

Boolean

Tidak

true

• true: Konversi zona waktu dilakukan berdasarkan zona waktu Java Virtual Machine (JVM) dalam lingkungan runtime.

• false (direkomendasikan): Konversi zona waktu dilakukan berdasarkan zona waktu Realtime Compute for Apache Flink.

property-version

Versi opsi konektor.

Integer

Tidak

0

Nilai valid:

• 0

• 1 (direkomendasikan)

Opsi

Deskripsi

Tipe data

Diperlukan?

Nilai default

Catatan

field_delimiter

Pemisah yang digunakan antar baris saat data diekspor.

String

Tidak

"\u0002"

binlog

Menentukan apakah akan mengonsumsi data log biner.

Boolean

Tidak

false

• true

• false

sdkMode

Mode SDK.

String

Tidak

holohub

• holohub: Data log biner dikonsumsi dalam mode HoloHub.

• jdbc: Data log biner dikonsumsi dalam mode JDBC.

• jdbc_fixed: Data log biner dikonsumsi dalam mode JDBC tetap, yang tidak tunduk pada batasan koneksi. Mode ini tidak mendukung mengonsumsi log biner dari database dengan penyembunyian data diaktifkan.

Untuk informasi tentang nilai yang direkomendasikan untuk versi berbeda, lihat Tindakan pencegahan.

jdbcBinlogSlotName

Nama slot dari tabel sumber log biner dalam mode JDBC.

String

Tidak

Tidak ada nilai default

Opsi ini hanya berlaku ketika sdkMode diatur ke jdbc. Jika Anda tidak menentukan opsi ini, konektor Hologres secara otomatis membuat slot. Untuk informasi lebih lanjut, lihat Konsumsi log biner dalam mode JDBC.

binlogMaxRetryTimes

Jumlah percobaan ulang setelah Realtime Compute for Apache Flink gagal membaca data log biner.

Integer

Tidak

60

binlogRetryIntervalMs

Interval antara percobaan ulang setelah Realtime Compute for Apache Flink gagal membaca data log biner.

Panjang

Tidak

2000

Satuan: milidetik.

binlogBatchReadSize

Jumlah baris di mana data log biner dibaca dalam satu waktu.

Integer

Tidak

100

cdcMode

Menentukan apakah akan membaca data log biner dalam mode CDC.

Boolean

Tidak

false

• true: Data log biner dibaca dalam mode CDC.

• false: Data log biner tidak dibaca dalam mode CDC.

upsertSource

Menentukan apakah tabel sumber membaca aliran changelog yang berisi pesan UPSERT.

Boolean

Tidak

false

Opsi ini hanya berlaku dalam mode CDC.

• true: Hanya pesan UPSERT yang didukung, termasuk pesan INSERT, DELETE, dan UPDATE_AFTER.

• false: Semua jenis pesan didukung, termasuk pesan INSERT, DELETE, UPDATE_BEFORE, dan UPDATE_AFTER.

binlogStartupMode

Mode konsumsi log biner.

String

Tidak

earliestOffset

• initial: Mengonsumsi semua data terlebih dahulu, kemudian Log biner dikonsumsi.

• earliestOffset: Mengonsumsi Log biner dari yang paling awal.

• timestamp: Mengonsumsi Log biner dari waktu yang ditentukan oleh opsi startTime.

startTime

Waktu mulai ketika data Hologres dikonsumsi.

String

Tidak

Tidak ada nilai default

Formatnya adalah yyyy-MM-dd hh:mm:ss. Jika opsi ini tidak dikonfigurasi dan pekerjaan tidak dilanjutkan dari suatu state, Realtime Compute for Apache Flink mulai mengonsumsi data Hologres dari log biner paling awal.

jdbcScanFetchSize

Jumlah catatan data yang dapat diproses sekaligus selama operasi pemindaian.

Integer

Tidak

256

jdbcScanTimeoutSeconds

Periode batas waktu untuk operasi pemindaian.

Bilangan Bulat

Tidak

60

Satuan: detik.

jdbcScanTransactionSessionTimeoutSeconds

Periode waktu habis untuk transaksi yang menjadi bagian dari operasi pemindaian.

Integer

Tidak

600

Opsi ini sesuai dengan parameter GUC Hologres GUC parameter idle_in_transaction_session_timeout.

Nilai 0 berarti waktu habis tidak diizinkan.

enable_filter_push_down

Menentukan apakah akan melakukan filter pushdown selama fase pembacaan data penuh.

Boolean

Tidak

false

• false: Filter pushdown tidak dilakukan.

• true: Kondisi filter yang didukung didorong ke Hologres selama fase pembacaan data penuh. Operasi filter pushdown dilakukan dalam skenario pembacaan data penuh berikut: pembacaan data penuh dari tabel sumber Hologres di mana fitur binary logging dinonaktifkan, dan pembacaan data penuh dalam tabel log biner ketika konektor Hologres mengonsumsi data penuh dan inkremental dalam tabel sumber.

  Penting

  Kami menyarankan Anda menggunakan VVR 6.0.7 atau versi lebih baru dan menentukan opsi ini dalam pernyataan DDL tabel sumber untuk mengaktifkan filter pushdown, meningkatkan kinerja keseluruhan.

partition-binlog.mode

Mode di mana log biner dalam tabel terpartisi dikonsumsi.

Enum

Tidak

DISABLE

• DISABLE: Tabel sumber bukan merupakan tabel terpartisi. Jika tabel Hologres yang ditentukan adalah tabel terpartisi, pengecualian akan dilaporkan.

• DYNAMIC: Partisi terbaru dari tabel terpartisi terus dikonsumsi. Fitur partisi dinamis harus diaktifkan untuk tabel terpartisi. Dalam mode dinamis, partisi dikonsumsi secara kronologis, dari yang tertua hingga yang terbaru. Ketika data dalam partisi sebelum yang terbaru sedang dikonsumsi, konektor mulai mengonsumsi data dalam partisi terbaru ketika unit waktu baru tiba.

• STATIC: Partisi tetap dari tabel terpartisi dikonsumsi. Beberapa partisi dapat dikonsumsi pada saat yang bersamaan. Partisi tidak dapat ditambahkan atau dihapus selama proses konsumsi. Secara default, semua partisi dari tabel terpartisi dikonsumsi.

partition-binlog-lateness-timeout-minutes

Lateness maksimum yang diizinkan sebelum timeout dipicu ketika data dalam tabel partisi dikonsumsi secara dinamis.

Boolean

Tidak

60

• Satuan: menit.

• Dalam mode dinamis, konektor Hologres mulai mengonsumsi data dari partisi terbaru ketika unit waktu baru tiba. Namun, ia tidak segera berhenti mengonsumsi partisi sebelumnya. Sebaliknya, ia terus memantau partisi sebelumnya untuk memastikan semua data terlambat dikonsumsi.

  Sebagai contoh, dalam tabel berpartisi harian dengan lateness maksimum 60 menit, konsumsi data untuk partisi 20240920 akan diperpanjang hingga 01:00:00 pada 21 September 2024, bukan berakhir pada 00:00:00.

• Nilai opsi ini tidak boleh melebihi waktu unit partisi.

  Untuk tabel yang dipartisi per hari, nilai maksimum opsi ini adalah 24 × 60 = 1440 menit. Dalam mode dinamis, biasanya konektor mengonsumsi satu partisi pada satu waktu. Namun, ia dapat mengonsumsi dua partisi secara paralel selama periode lateness maksimum yang ditentukan.

partition-values-to-read

Partisi yang akan dikonsumsi ketika data dalam tabel partisi dikonsumsi dalam mode statis.

String

Tidak

Tidak ada nilai default

• Jika Anda tidak mengonfigurasi opsi ini, konektor Hologres mengonsumsi semua partisi tabel yang ditentukan dalam mode statis. Jika Anda mengonfigurasi opsi ini, konektor hanya mengonsumsi partisi yang ditentukan.

• Berikan nilai partisi untuk opsi ini, bukan nama partisi lengkap. Pisahkan beberapa nilai partisi dengan koma (,). Ekspresi reguler tidak didukung.

Opsi

Deskripsi

Tipe data

Diperlukan?

Nilai default

Catatan

sdkMode

Mode SDK.

String

Tidak

jdbc

• jdbc: Data ditulis menggunakan driver JDBC.

• jdbc_copy: Data ditulis dalam mode jdbc_copy.

  Mode ini sangat performa dalam menulis data streaming dan berguna untuk skenario throughput tinggi, latensi rendah. Mode ini tidak mendukung penghapusan data, penulisan ke tabel partisi, atau opsi ignoreNullWhenUpdate.

• rpc: Data ditulis dalam mode RPC. Data tipe JSONB atau RoarinBitmap tidak dapatditulis ke Hologres.

• jdbc_fixed (dalam pratinjau publik): Data ditulis dalam mode JDBC tetap.

  Dibandingkan dengan mode JDBC, mode JDBC tetap tidak memakan koneksi. Data tipe JSONB atau RoarinBitmap tidak dapat ditulis ke Hologres. Mode ini tidak mendukung menulis data ke database dengan penyembunyian data diaktifkan.

Untuk informasi tentang nilai yang direkomendasikan dalam versi VVR berbeda, lihat Tindakan pencegahan.

bulkload

Menentukan apakah akan menulis data dalam mode bulkload.

Boolean

Tidak

false

Opsi ini berlaku hanya ketika opsi sdkMode diatur ke jdbc_copy. Aktifkan mode ini saat menulis data ke tabel tanpa kunci utama; untuk menulis data ke tabel dengan kunci utama, pastikan nilai unik dari kunci utama untuk menghindari pengecualian. Dibandingkan dengan mode jdbc_copy, lebih sedikit sumber daya Hologres yang dikonsumsi saat Anda menulis data dalam mode bulkload.

useRpcMode

Menentukan apakah akan menggunakan konektor Hologres dalam mode RPC.

Boolean

Tidak

false

• true: Gunakan mode RPC.

• false: Gunakan mode JDBC.

  Driver JDBC memerlukan koneksi SQL, meningkatkan jumlah koneksi JDBC.

mutatetype

Mode penulisan data.

String

Tidak

insertorignore

• insertorignore: Mengabaikan catatan duplikat.

• insertorreplace: Mengganti baris yang ada dengan catatan duplikat.

• insertorupdate: Memperbarui bidang tertentu untuk catatan duplikat, mempertahankan nilai di bidang lainnya.

  Pertimbangkan tabel dengan empat bidang: a (kunci utama), b, c, dan d. Hanya bidang a dan b yang didefinisikan dalam tabel sink. Ketika nilai kunci utama dari catatan masuk adalah duplikat, hanya bidang b yang diperbarui sementara bidang c dan d tetap tidak berubah.

partitionrouter

Menentukan apakah akan menulis data ke tabel partisi.

Boolean

Tidak

false

createparttable

Menentukan apakah akan secara otomatis membuat tabel terpartisi yang tidak ada berdasarkan nilai partisi.

Boolean

Tidak

false

Dalam mode RPC, jika nilai partisi mengandung tanda hubung (-), tabel partisi baru tidak dapat dibuat secara otomatis.

ignoredelete

Menentukan apakah akan mengabaikan pesan retraksi.

Boolean

Tidak

true

sink.delete-strategy

Menentukan strategi untuk memproses pesan retraction.

String

Tidak

Tidak ada nilai default

Nilai yang valid:

• IGNORE_DELETE: Mengabaikan pesan UPDATE_BEFORE dan DELETE. Ini ideal untuk skenario yang berfokus pada penyisipan dan pembaruan data serta tidak memerlukan penghapusan.

• NON_PK_FIELD_TO_NULL: Mengabaikan pesan UPDATE_BEFORE, dan menangani pesan DELETE dengan memperbarui nilai non-primary key menjadi null. Strategi ini memungkinkan Anda menghapus data tertentu tanpa memengaruhi kolom lain selama partial update.

• DELETE_ROW_ON_PK: Mengabaikan pesan UPDATE_BEFORE dan memproses pesan DELETE dengan menghapus seluruh baris berdasarkan nilai primary key-nya. Strategi ini memungkinkan Anda menghapus seluruh baris selama partial update.

• CHANGELOG_STANDARD: Mematuhi standar changelog Flink SQL: Tidak mengabaikan pesan DELETE dan memperlakukan pesan UPDATE sebagai DELETE diikuti oleh INSERT, memastikan akurasi data. Strategi ini berlaku untuk skenario tanpa partial update.

connectionSize

Ukuran pool koneksi JDBC yang dibuat dalam penyebaran Realtime Compute for Apache Flink.

Bilangan Bulat

Tidak

3

Ukuran pool koneksi JDBC sebanding dengan throughput data. Jika performa deployment buruk, tingkatkan ukuran pool koneksi.

jdbcWriteBatchSize

Jumlah maksimum baris data yang dapat diproses oleh operator sink aliran Hologres sekaligus saat menggunakan driver JDBC.

Bilangan Bulat

Tidak

256

Unit: baris.

jdbcWriteBatchByteSize

Jumlah maksimum byte data yang dapat diproses oleh node sink streaming Hologres sekaligus saat menggunakan driver JDBC.

Panjang

Tidak

2097152 (2 × 1024 × 1024 byte = 2 MB)

jdbcWriteFlushInterval

Periode waktu maksimum yang diperlukan untuk menunggu node sink streaming Hologres menulis data dari beberapa baris ke Hologres secara bersamaan saat menggunakan JDBC driver.

Panjang

Tidak

10000

Unit: milidetik.

ignoreNullWhenUpdate

Menentukan apakah akan mengabaikan nilai null dalam data yang ditulis ketika mutatetype='insertOrUpdate' ditentukan.

Boolean

Tidak

false

• false: Nilai null ditulis ke tabel sink Hologres.

• true: Nilai null dalam data yang ditulis diabaikan.

connectionPoolName

Nama dari kolam koneksi. Di dalam TaskManager yang sama, tabel yang dikonfigurasi dengan kolam koneksi yang sama dapat berbagi kolam koneksi.

String

Tidak

Tidak ada nilai default

Atur opsi ini ke string apa pun selain 'default'. Jika Anda menetapkan kumpulan koneksi yang sama untuk beberapa tabel, Anda juga harus menetapkan opsi connectionSize ke nilai yang sama untuk tabel-tabel tersebut.

jdbcEnableDefaultForNotNullColumn

Menentukan apakah akan mengizinkan konektor Hologres mengisi nilai default jika nilai null ditulis ke kolom non-null yang tidak memiliki nilai default yang dikonfigurasi dalam tabel Hologres.

Boolean

Tidak

true

• true: Konektor mengisi nilai default berdasarkan aturan berikut:

  • Jika kolom bertipe STRING, kolom dibiarkan kosong.

  • Jika kolom bertipe NUMBER, nilai null diubah menjadi 0.

  • Jika kolom bertipe DATE, TIMESTAMP, atau TIMESTAMPTZ, nilai null diubah menjadi 1970-01-01 00:00:00.

• false: Konektor tidak mengisi nilai default. Jika nilai null ditulis ke kolom non-null, pengecualian akan dilaporkan.

remove-u0000-in-text.enabled

Menentukan apakah akan mengizinkan konektor Hologres menghapus karakter tidak valid \u0000 dari data STRING yang ditulis ke tabel sink.

Boolean

Tidak

false

• false: Konektor tidak menghapus karakter yang tidak valid, tetapi dapat melaporkan kesalahan, seperti ERROR: invalid byte sequence for encoding "UTF8": 0x00, saat mengidentifikasi data kotor.

  Untuk menyelesaikan kesalahan ini, hapus secara manual data kotor dari tabel sumber atau definisikan cara memproses data kotor dalam kode pekerjaan.

• true: Konektor menghapus karakter tidak valid \u0000.

partial-insert.enabled

Menentukan apakah hanya bidang yang dideklarasikan dalam pernyataan INSERT yang disisipkan.

Boolean

Tidak

false

• false: Semua bidang yang didefinisikan dalam pernyataan DDL tabel sink diperbarui. Nilai bidang yang tidak dideklarasikan dalam pernyataan INSERT diperbarui menjadi null.

• true: Bidang yang didefinisikan dalam pernyataan INSERT didorong ke konektor. Dengan cara ini, hanya bidang yang dideklarasikan yang diperbarui atau disisipkan.

deduplication.enabled

Menentukan apakah akan melakukan deduplikasi saat data ditulis secara batch dalam mode JDBC atau jdbc_fixed.

Boolean

Tidak

true

• true: Menyimpan catatan terbaru di antara yang memiliki nilai kunci utama identik. Asumsikan kolom pertama berfungsi sebagai kunci utama:

  • Jika INSERT (1,'a') dan INSERT (1,'b') tiba secara berurutan, hanya (1,'b') yang disimpan dan ditulis ke Hologres.

  • Jika catatan (1,'a') sudah ada di tabel sink Hologres dan DELETE (1,'a') dan INSERT (1,'b') tiba secara berurutan, hanya (1,'b') yang disimpan dan ditulis ke Hologres. Ini setara dengan operasi pembaruan langsung, bukan penghapusan diikuti oleh penyisipan.

• false: Deduplikasi tidak dilakukan selama proses pengelompokan data. Jika catatan data baru tiba dengan kunci utama yang menduplikasi salah satu yang sudah ada dalam batch saat ini, catatan lama ditulis sebelum yang baru.

check-and-put.column

Menentukan apakah akan mengaktifkan fitur pembaruan bersyarat dan mengonfigurasi nama bidang yang ingin Anda periksa.

String

Tidak

Tidak ada nilai default

Anda harus mengatur opsi ini ke nama bidang dalam tabel Hologres.

check-and-put.operator

Operator perbandingan untuk operasi pembaruan bersyarat.

String

Tidak

GREATER

Opsi ini memungkinkan Anda membandingkan bidang pemeriksaan dalam catatan data baru dengan bidang pemeriksaan dalam catatan data lama di tabel. Jika hasil perbandingan memenuhi nilai opsi ini, Anda dapat melakukan operasi pembaruan bersyarat.

Nilai valid: GREATER, GREATER_OR_EQUAL, EQUAL, NOT_EQUAL, LESS, LESS_OR_EQUAL, IS_NULL, dan IS_NOT_NULL.

check-and-put.null-as

Ketika Anda melakukan operasi pembaruan bersyarat, jika catatan data lama bernilai null, nilai null dianggap sebagai nilai valid dari opsi ini.

String

Tidak

Tidak ada nilai default

Dalam PostgreSQL, hasil dari membandingkan nilai apa pun dengan NULL adalah FALSE. Oleh karena itu, ketika data asli dalam tabel adalah NULL, Anda harus menetapkan NULL-AS sebagai parameter saat melakukan operasi pembaruan bersyarat. Parameter NULL-AS sama dengan fungsi COALESCE dalam Flink SQL.

aggressive.enabled

Menentukan apakah akan mengaktifkan mode commit agresif.

Boolean

Tidak

false

Jika Anda mengatur opsi ini ke true, koneksi idle akan dipaksa untuk melakukan commit meskipun jumlah catatan data yang dapat diproses sekaligus tidak mencapai jumlah yang diharapkan. Latensi penulisan data dapat dikurangi ketika lalu lintas rendah.

Opsi

Deskripsi

Tipe data

Diperlukan?

Nilai default

Catatan

sdkMode

Mode SDK.

String

Tidak

jdbc

• jdbc: Data diquery menggunakan driver JDBC. Baik query titik berdasarkan kunci utama maupun query yang tidak berdasarkan kunci utama didukung. Namun, query yang tidak berdasarkan kunci utama sangat memengaruhi performa dan lambat.

• rpc: Data diquery dalam mode RPC. Hanya query titik berdasarkan kunci utama yang didukung. Saat Anda menggabungkan tabel dimensi Hologres dengan tabel lain, Anda harus menentukan semua bidang dalam kunci utama tabel dimensi dalam klausa ON. Perbedaan antara mode RPC dan mode JDBC adalah bahwa mode RPC tidak memakan koneksi dan tidak mendukung membaca data tipe JSONB atau RoarinBitmap dari Hologres.

• jdbc_fixed: Data diquery dalam mode JDBC tetap. Perbedaan antara mode JDBC tetap dan mode JDBC adalah bahwa mode JDBC tetap tidak memakan koneksi dan tidak mendukung membaca data tipe JSONB atau RoarinBitmap dari Hologres. Hanya query titik berdasarkan kunci utama yang didukung. Saat Anda menggabungkan tabel dimensi Hologres dengan tabel lain, Anda harus menentukan semua bidang dalam kunci utama tabel dimensi dalam klausa ON. Mode ini tidak mendukung query database yang fitur penyembunyian data diaktifkan.

Untuk informasi lebih lanjut tentang nilai yang direkomendasikan untuk versi VVR berbeda, lihat Catatan.

useRpcMode

Menentukan apakah akan menyambungkan ke konektor Hologres menggunakan RPC.

Boolean

Tidak

false

Nilai valid:

• true: Konektor Hologres disambungkan menggunakan RPC. Efek pengaturan ini sama dengan efek saat Anda mengatur opsi sdkMode ke rpc. Jika RPC digunakan, jumlah koneksi SQL berkurang.

• false: Konektor Hologres disambungkan menggunakan JDBC.

  Driver JDBC memerlukan koneksi SQL. Ini meningkatkan jumlah koneksi JDBC.

connectionSize

Ukuran pool koneksi JDBC yang dibuat dalam sebuah job.

Bilangan Bulat

Tidak

3

Jika pekerjaan memiliki kinerja yang buruk, kami sarankan Anda meningkatkan ukuran kolam koneksi. Ukuran kolam koneksi JDBC sebanding dengan throughput data.

connectionPoolName

Nama kolam koneksi. Dalam TaskManager yang sama, tabel yang dikonfigurasikan dengan kolam koneksi yang sama dapat berbagi kolam koneksi.

String

Tidak

Tidak ada nilai default

Atur opsi ini ke string apa pun selain 'default'. Jika Anda mengatur kolam koneksi yang sama untuk beberapa tabel, Anda juga harus mengatur opsi connectionSize ke nilai yang sama untuk tabel-tabel tersebut.

jdbcReadBatchSize

Jumlah maksimum catatan data yang dapat diproses pada saat yang sama untuk query titik dalam tabel dimensi Hologres.

Integer

Tidak

128

jdbcReadBatchQueueSize

Jumlah maksimum permintaan yang diizinkan dalam antrian di thread untuk melakukan query titik dalam tabel dimensi Hologres.

Integer

Tidak

256

jdbcReadTimeoutMs

Periode timeout untuk melakukan query titik dalam tabel dimensi Hologres.

Long

Tidak

0

Nilai default 0 berarti timeout tidak diizinkan.

jdbcReadRetryCount

Jumlah percobaan ulang ketika query titik dalam tabel dimensi Hologres mengalami timeout.

Integer

Tidak

• Versi VVR lebih awal dari 8.0.5: 1

• VVR 8.0.5 atau lebih baru: 10

Opsi ini berbeda dari jdbcRetryCount. Opsi jdbcRetryCount menentukan jumlah maksimum percobaan ulang yang diizinkan untuk membaca dan menulis data jika terjadi kegagalan koneksi.

jdbcScanFetchSize

Jumlah maksimum catatan data yang dapat diproses pada saat yang sama dengan memanggil operasi scan saat Anda melakukan join tabel satu-ke-banyak. Dalam join tabel satu-ke-banyak, tidak ada kunci utama lengkap yang digunakan.

Integer

Tidak

256

jdbcScanTimeoutSeconds

Periode timeout maksimum untuk operasi scan.

Integer

Tidak

60

Satuan: detik.

cache

Kebijakan cache.

String

Tidak

None

Nilai valid:

• None

• LRU

cacheSize

Jumlah maksimum baris data yang dapat disimpan dalam cache.

Integer

Tidak

10000

Opsi ini tersedia setelah Anda mengatur cache ke LRU. Satuan: baris.

cacheTTLMs

Interval sistem menyegarkan cache.

Long

Tidak

Lihat kolom catatan.

Satuan: milidetik. Nilai default opsi cacheTTLMs bervariasi berdasarkan nilai parameter cache:

• Jika opsi cache diatur ke LRU, opsi cacheTTLMs menentukan periode timeout cache. Secara default, entri cache tidak kedaluwarsa.

• Jika opsi cache diatur ke None, Anda tidak perlu mengonfigurasi opsi cacheTTLMs, yang menunjukkan bahwa cache tidak kedaluwarsa.

cacheEmpty

Menentukan apakah akan menyimpan hasil query JOIN yang kosong dalam cache.

Boolean

Tidak

true

• true: Query JOIN yang hasilnya kosong disimpan dalam cache.

• false: Query JOIN yang hasilnya kosong tidak disimpan dalam cache.

  Jika kondisi sebelum AND terpenuhi tetapi kondisi setelah AND tidak terpenuhi dalam pernyataan JOIN, query JOIN yang hasilnya kosong juga disimpan dalam cache. Contoh kode berikut memberikan contoh:

  LEFT JOIN latest_emergency FOR SYSTEM_TIME AS OF PROCTIME() AS t2
   ON t1.alarm_id = t2.alarm_id -- Jika peringatan dinamis dikonfigurasikan, tambahkan id peringatan selama pencocokan.
   AND CASE
   WHEN alarm_type = 2 THEN t1.dynamic_id = t2.dynamic_alarm_id
   ELSE true
   END

async

Menentukan apakah akan mengaktifkan sinkronisasi data dalam mode asinkron.

Boolean

Tidak

false

• true

• false