Hologres：Gunakan Flink untuk mengimpor data

Versi Flink

Realtime Compute for Apache Flink (Versi VVR)

Versi Hologres

Informasi Pembaruan

Referensi

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• Masalah berikut telah diperbaiki: Ketika kumpulan koneksi dibagikan, deadlock mungkin terjadi jika klien baru didaftarkan.

• Ketika pekerjaan yang mengonsumsi log biner dilanjutkan dari suatu status, ID tabel tidak lagi dicek secara paksa.

Konektor Hologres

1.17

8.0.8

2.1.x

2.2.x

Tabel hasil:

• Selain ignoredelete, parameter sink.delete-strategy ditambahkan untuk memungkinkan metode lain digunakan untuk memproses catatan UPDATE BEFORE.

Konektor Hologres

1.17

8.0.7

2.1.x

Tabel dimensi:

• Masalah berikut telah diperbaiki: Jika tabel dimensi berisi banyak bidang, metadata sering ditanyakan dan waktu penerapan draft habis.

Semua jenis tabel:

• Masalah berikut telah diperbaiki: Ketika pengguna berbeda melakukan operasi pada tabel berbeda dalam kumpulan koneksi yang sama, pesan kesalahan muncul, menunjukkan bahwa izin yang diperlukan tidak diberikan.

Konektor Hologres

1.17

8.0.6

2.1.x

Tabel sumber:

• Dalam Hologres V2.1 dan seterusnya, mode HoloHub dihentikan. Anda tidak dapat lagi menggunakan Realtime Compute for Apache Flink untuk mengonsumsi log biner Hologres dalam mode HoloHub. Jika Anda menggunakan konektor Hologres dari Realtime Compute for Apache Flink yang menggunakan VVR 8.0.6 dan versi instans Hologres lebih baru dari V2.1, konektor Hologres secara otomatis mengubah mode HoloHub menjadi mode Java Database Connectivity (JDBC). Untuk informasi lebih lanjut, lihat Gunakan Realtime Compute for Apache Flink atau Blink untuk mengonsumsi data log biner Hologres secara real-time.

Semua jenis tabel:

• Anda dapat mengonfigurasi parameter type-mapping.timestamp-converting.legacy untuk mengaktifkan konversi tipe waktu antara Realtime Compute for Apache Flink dan Hologres. Dengan cara ini, tipe data TIMESTAMP_LTZ dari Realtime Compute for Apache Flink didukung oleh Hologres. Untuk informasi lebih lanjut, lihat Zona waktu Realtime Compute for Apache Flink dan Hologres dalam topik "Konektor Hologres".

• Konektor Hologres

• Memulai dengan gudang virtual

• Terhubung ke instans gudang virtual

• Kelola izin pada grup tabel yang dimuat ke gudang virtual

1.17

8.0.5

2.0.x

2.1.x

Tabel sumber:

• Untuk Hologres V2.1 dan seterusnya, jika Anda menggunakan JDBC untuk mengonsumsi log biner Hologres, Anda tidak perlu membuat slot. Untuk informasi lebih lanjut, lihat Gunakan JDBC untuk mengonsumsi log biner Hologres. Sejak Flink 1.17, jika versi instans Hologres Anda lebih baru dari V2.1, publikasi dan slot tidak dibuat secara otomatis.

Tabel hasil:

• Parameter deduplication.enabled ditambahkan. Nilai defaultnya adalah true. Jika Anda mengatur parameter ini ke false, data tidak dihapus duplikat saat ditulis ke dan di agregasi dalam tabel hasil. Fitur ini cocok untuk skenario seperti pemutaran penuh data CDC streaming hulu.

• Tabel tanpa kunci utama mendukung penulisan batch. Penulisan batch mengonsumsi lebih sedikit sumber daya Hologres daripada mode jdbc_copy.

Semua jenis tabel:

• Anda dapat mengaktifkan enkripsi transmisi dengan mengonfigurasi parameter connection.ssl.mode dan connection.ssl.root-cert.location.

• Parameter timeout ditambahkan untuk koneksi JDBC internal. Ini mencegah waktu tunggu lama untuk koneksi klien dalam skenario seperti restart server setelah kegagalan.

• Konektor Hologres

• Gunakan konektor Hologres dari Realtime Compute for Apache Flink untuk mengonsumsi data Hologres secara real-time

1.17

8.0.4

2.0.x

2.1.x

Tabel sumber:

• Publikasi dibuat secara otomatis ketika Anda menggunakan JDBC untuk mengonsumsi log biner. Namun, jika tabel dibangun ulang, publikasi yang ada tidak dihapus secara otomatis. Akibatnya, log biner tabel yang dibangun ulang tidak dapat dikonsumsi. Dalam versi ini, sistem secara otomatis menghapus publikasi yang ada untuk menyelesaikan masalah ini.

Semua jenis tabel:

• Nilai default ditambahkan ke parameter kumpulan koneksi. Tabel dimensi Hologres dan tabel hasil dalam tugas yang sama berbagi kumpulan koneksi.

• Konektor Hologres

• Gunakan konektor Hologres dari Realtime Compute for Apache Flink untuk mengonsumsi data Hologres secara real-time

1.17

8.0.3

2.0.x

2.1.x

Semua jenis tabel:

• Tabel dimensi dan tabel hasil di semua versi Hologres tidak mendukung mode panggilan prosedur jarak jauh (RPC). Jika Anda menentukan mode RPC, sistem secara otomatis beralih mode RPC ke mode jdbc_fixed. Jika instans Hologres Anda berjalan di versi lebih lama, kami sarankan Anda memperbarui instans Anda.

Konektor Hologres

1.15

6.0.7

• 1.3.x

• 2.0.x

• Tabel sumber:

  Konektor Hologres diperbarui untuk beradaptasi dengan Hologres V2.0 dan seterusnya. Jika instans Hologres V2.0 atau lebih baru terhubung, mode HoloHub yang digunakan untuk tabel sumber log biner secara otomatis beralih ke mode JDBC.

• Tabel dimensi:

  Konektor Hologres diperbarui untuk beradaptasi dengan Hologres V2.0 dan seterusnya. Jika instans Hologres V2.0 atau lebih baru terhubung, mode RPC yang digunakan untuk tabel dimensi secara otomatis beralih ke mode jdbc_fixed.

• Tabel hasil:

  • Konektor Hologres diperbarui untuk beradaptasi dengan Hologres V2.0 dan seterusnya. Jika instans Hologres V2.0 atau lebih baru terhubung, mode RPC yang digunakan untuk tabel dimensi secara otomatis beralih ke mode jdbc_fixed.

  • Fitur untuk memperbarui kolom tertentu ditambahkan. Anda dapat menyisipkan hanya bidang yang dinyatakan dalam pernyataan INSERT dari Realtime Compute for Apache Flink. Fitur ini menyederhanakan penggabungan data ke dalam tabel lebar.

• Semua jenis tabel:

  Jika terjadi pengecualian konversi catatan di konektor, data sumber dan hasil konversi saat ini ditampilkan untuk memudahkan pemecahan masalah data kotor.

• Masalah yang diperbaiki:

  • Masalah berikut telah diperbaiki: Kesalahan tidak ditampilkan ketika instans atau database berbeda menggunakan connectionPoolName yang sama dalam penerapan.

  • Masalah berikut telah diperbaiki: Jika kolom tipe STRING dalam tabel dimensi berisi nilai null di VVR 6.0.6 dari Realtime Compute for Apache Flink, kesalahan NullPointerException (NPE) dikembalikan.

Konektor Hologres

1.15

6.0.6

1.3.x

Tabel sumber:

• Jika Anda mengonsumsi log biner Hologres dalam mode JDBC, parameter nama slot tidak diperlukan. Anda dapat membuat slot default untuk memfasilitasi pergantian dari mode HoloHub ke mode JDBC.

• Parameter enable_filter_push_down ditambahkan. Jika Realtime Compute for Apache Flink membaca data dari tabel sumber Hologres dalam mode batch, dorongan filter tidak dilakukan secara otomatis. Jika Anda ingin mengaktifkan dorongan filter, atur parameter ini ke true.

Konektor Hologres

1.15

6.0.5

1.3.x

• Semua jenis tabel: Saat penerapan dimulai, semua informasi parameter dicetak dalam log TaskManager untuk memudahkan pemecahan masalah.

• CREATE TABLE AS (CTAS)/CREATE DATABASE AS (CDAS): Mode normalisasi tipe bidang didukung. Dalam mode ini, perubahan tipe data di tabel sumber tidak menyebabkan kegagalan penerapan jika tipe data sebelum dan sesudah perubahan dapat dikonversi menjadi tipe data yang sama berdasarkan aturan normalisasi tipe.

• Katalog Hologres: Pernyataan ALTER TABLE dapat dieksekusi untuk memodifikasi properti tabel fisik Hologres. Misalnya, Anda dapat mengubah nama tabel, menambahkan kolom, mengganti nama kolom, dan memodifikasi komentar kolom.

• CREATE TABLE AS (CTAS)

• Gunakan Katalog Hologres

1.15

6.0.3~6.0.4

1.3.x

Tabel sumber:

• Log biner Hologres dapat dikonsumsi dalam mode JDBC. Mode ini mendukung banyak tipe data dan memungkinkan Anda membuat akun kustom.

• Dorongan filter didukung oleh tabel sumber yang berisi data penuh dan inkremental dan berada dalam fase penuh serta tabel sumber batch.

Tabel hasil:

Data dapat ditulis ke tabel hasil dalam mode salinan tetap. Mode ini didukung di Hologres V1.3. Mode streaming digunakan dalam mode salinan tetap. Dalam mode JDBC, data diproses dalam batch. Oleh karena itu, penulisan dalam mode salinan tetap memiliki throughput lebih tinggi, latensi lebih rendah, dan konsumsi memori klien lebih sedikit daripada penulisan dalam mode JDBC.

Katalog Hologres:

• Properti tabel default dapat digunakan saat Anda membuat katalog Hologres.

Parameter sdkMode: Beberapa mode tersedia untuk jenis tabel berbeda di Hologres. Parameter sdkMode digunakan untuk menentukan mode untuk tabel di Hologres.

• Pernyataan COPY

1.13

4.0.18

1.1 dan seterusnya

Masalah berikut telah diperbaiki: Kinerja penulisan terpengaruh negatif jika metrik terkait tabel sink dilaporkan.

1.13 dan 1.15

4.0.15 dan 6.0.2

1.1 dan seterusnya

Tabel sumber:

• Tabel sumber batch peka huruf besar-kecil secara default.

• Durasi timeout untuk transaksi yang terlibat dalam operasi pemindaian pada tabel sumber batch dapat dikonfigurasi.

• Masalah berikut telah diperbaiki: String kompleks dalam tabel sumber batch mungkin gagal diurai.

• Mode Upsert ditambahkan untuk tabel sumber yang berisi data penuh dan inkremental.

Tabel dimensi:

Pengaturan durasi timeout untuk permintaan asinkron didukung oleh tabel dimensi Hologres. Durasi timeout ditentukan oleh parameter asyncTimeoutMs.

Tabel hasil:

• Pernyataan PARTITION BY didukung. Saat Anda membuat tabel hasil Hologres menggunakan pernyataan CREATE TABLE AS, Anda dapat menggunakan pernyataan PARTITION BY untuk mendefinisikan tabel partisi.

• Metrik currentSendTime didukung.

• Tabel sumber Apache Flink

• CREATE TABLE AS (CTAS)

1.13

4.0.13

1.1 dan seterusnya

• Konsumsi data penuh dan inkremental dalam tabel sumber didukung.

• API DataStream didukung.

• Konektor DataStream Hologres

1.13

4.0.11

0.10 dan seterusnya

Pernyataan CREATE TABLE AS dan CREATE DATABASE AS didukung.

• CREATE TABLE AS (CTAS)

• CREATE DATABASE AS (CDAS)

1.13

4.0.8

0.10 dan seterusnya

Katalog Hologres didukung oleh tabel hasil, tabel sumber, dan tabel dimensi.

Kelola Katalog Hologres

1.13

3.0.0

0.9 dan seterusnya

Konsumsi data Hologres secara real-time didukung.

Flink yang sepenuhnya dikelola

Tingkat Keparahan

Masalah

Versi Terpengaruh

Versi Diperbaiki

Solusi

P1

Pesan kesalahan "Binlog Convert Failed" dilaporkan atau pembacaan data dari beberapa shard berhenti pada titik waktu tertentu selama konsumsi log biner dalam mode JDBC. Ketika gateway instans Hologres menerima pesan timeout backend, gateway mengirimkan informasi pengecualian ke klien. Dalam proses ini, terjadi kesalahan. Akibatnya, pembacaan data macet, atau penguraian data gagal.

N/A

N/A

Dalam banyak kasus, kesalahan ini lebih mungkin dilaporkan ketika tekanan balik pekerjaan terjadi. Jika pembacaan data macet, lanjutkan pekerjaan dari checkpoint terbaru.

Untuk sepenuhnya menyelesaikan masalah ini, Anda harus memperbarui instans Hologres Anda ke V2.2.21 atau lebih baru.

P2

Ketika penerapan draft lambat atau habis waktu, Thread Dump diperiksa untuk menemukan bahwa proses penerapan macet di GetTableSchema.

N/A

N/A

Beberapa situasi mungkin ada. Anda dapat melakukan langkah-langkah berikut secara berurutan untuk memecahkan masalah:

1. Verifikasi koneksi jaringan antara kluster Flink dan instans Hologres.

2. Atur parameter jdbcRetryCount ke 1 untuk mencegah percobaan ulang internal menyembunyikan penyebab utama masalah.

3. Perbarui instans Hologres Anda ke Hologres V2.1 atau lebih baru. Di Hologres V2.0 dan sebelumnya, metadata mungkin tidak dibersihkan tepat waktu ketika Anda sering melakukan operasi bahasa definisi data (DDL). Ini dapat memperlambat penanyaan metadata.

P0

Jika Anda menulis data tipe TEXT, JSON, atau JSONB ke Hologres dalam mode FixedFE dan karakter tidak valid terkandung dalam sumber data, pengecualian tak terduga mungkin dilemparkan. Akibatnya, node FE terhubung restart, dan koneksi FE terputus. Mode FixedFE sesuai dengan mode jdbc_fixed dalam konektor Hologres.

N/A

N/A

Jika validitas string hulu tidak dapat dijamin, kami sarankan Anda menulis data ke Hologres dalam mode JDBC dan mengatur parameter

remove-u0000-in-text.enabled ke true untuk tabel hasil.

Anda juga dapat memperbarui instans Hologres Anda ke Hologres V3.0 atau lebih baru untuk menggunakan mode jdbc_fixed.

P1

Ketika tabel dimensi JDBC digabungkan dengan beberapa tabel, tugas Flink mungkin mengalami penggunaan memori berlebih atau situasi Out Of Memory (OOM).

N/A

N/A

Anda menggunakan prefix scan di Hologres V1.3. Ketika jumlah hasil kueri melebihi nilai parameter jdbcScanFetchSize, masalah bahwa kueri batch tidak berhenti terjadi. Metode bypass: Atur parameter jdbcScanFetchSize ke nilai besar, seperti 100000.

Untuk menyelesaikan masalah ini, Anda harus memperbarui instans Hologres Anda ke Hologres V2.0 atau lebih baru.

P1

Pengecualian the table id parsed from checkpoint is different from the current table id dilemparkan ketika pekerjaan yang mengonsumsi log biner dilanjutkan dari suatu status. Alasannya adalah operasi TRUNCATE dilakukan atau tabel dibangun ulang selama pekerjaan sebelumnya berjalan. Namun, checkpoint menyimpan ID tabel ketika pekerjaan pertama kali dimulai, yang tidak cocok dengan ID tabel saat ini.

8.0.4

8.0.9

Di Flink 8.0.9 dan seterusnya, ID tabel tidak lagi dicek secara paksa. Hanya log tingkat peringatan yang dihasilkan. Ini memungkinkan pekerjaan dilanjutkan dari status terbaru. Namun, kami masih tidak menyarankan Anda membangun ulang tabel ketika pekerjaan yang mengonsumsi log biner sedang berjalan. Operasi pembangunan ulang tabel dapat menyebabkan log biner sebelumnya hilang sepenuhnya.

P2

Tekanan balik terjadi ketika pekerjaan sedang berjalan. Dengan memeriksa Thread Dump, ditemukan bahwa kumpulan eksekusi macet di metode close atau start. Alasannya adalah bahwa ketika beberapa klien menggunakan kembali kumpulan koneksi yang sama, deadlock mungkin terjadi dan kumpulan koneksi tidak dapat ditutup dengan benar.

8.0.5

8.0.9

Kami sarankan Anda memperbarui versi instans Hologres Anda.

P2

Anda mengonsumsi data penuh dan inkremental dalam tabel sumber setelah melakukan operasi DELETE FROM pada tabel sumber. Tidak ada data yang tersedia dalam fase konsumsi inkremental. Akibatnya, semua log biner dikonsumsi dari awal dalam fase konsumsi penuh.

8.0.6 dan sebelumnya

8.0.7

Kami sarankan Anda memperbarui versi instans Hologres Anda atau menentukan waktu mulai untuk konsumsi inkremental.

P1

Jika tabel dimensi berisi sejumlah besar bidang, waktu penerapan draft habis.

8.0.6

8.0.7

Kami sarankan Anda memperbarui versi instans Hologres Anda.

P0

Jika parameter enable_filter_push_down diatur ke true untuk tabel sumber batch, dorongan filter tidak berlaku. Akibatnya, data yang perlu difilter juga dibaca.

8.0.5 dan sebelumnya

8.0.6

Kami sarankan Anda memperbarui versi instans Hologres Anda.

P0

Jika Anda menulis data tipe JSON atau JSONB ke Hologres dalam mode FixedFE dan data tersebut tidak valid, node FE terhubung restart dan koneksi FE terputus. Mode FixedFE sesuai dengan mode jdbc_fixed dalam konektor Hologres.

8.0.5 dan sebelumnya

N/A

Jika data sumber tipe JSON atau JSONB mungkin tidak valid, kami sarankan Anda menggunakan mode JDBC untuk menulis data ke Hologres.

P1

Jika tabel dimensi JDBC digabungkan dengan beberapa tabel, pengecualian internal seperti kegagalan koneksi tidak dapat dilaporkan. Dalam hal ini, node yang digabungkan secara asinkron memiliki tekanan balik, dan data tidak lagi mengalir. Masalah ini terjadi dengan probabilitas kecil.

6.0.7 dan sebelumnya

8.0.3

Kami sarankan Anda memperbarui versi instans Anda. Anda juga dapat me-restart penerapan.

P1

Kebocoran memori mungkin terjadi ketika Anda mengonsumsi log biner Hologres dalam mode JDBC. Jika kebocoran memori terjadi, laju konsumsi mungkin tinggi ketika pekerjaan dimulai dan kemudian terus menurun.

6.0.7 dan sebelumnya

6.0.7

Kami sarankan Anda memperbarui versi instans Anda. Untuk penerapan DataStream, Anda perlu menggunakan dependensi versi 1.15-vvr-6.0.7-1.

P0

Pengecualian yang ditangkap oleh operasi flush terjadwal dalam mode JDBC hanya dilaporkan ketika catatan data berikutnya ditulis. Operasi flush terjadwal dikontrol oleh parameter jdbcWriteFlushInterval. Jika jumlah data yang ditulis kecil, operasi checkpoint mungkin berhasil selama periode ketika pengecualian ditangkap tetapi belum dilaporkan. Dalam hal ini, jika kegagalan penulisan data terjadi, penerapan mulai menulis ulang data dari checkpoint. Akibatnya, data mungkin hilang.

6.0.6 dan sebelumnya

6.0.7

Masalah ini kemungkinan besar terjadi ketika jumlah data kecil. Kami sarankan Anda memperbarui versi instans Anda atau mengubah nilai parameter jdbcWriteFlushInterval menjadi lebih besar dari interval checkpoint.

P2

Jika Anda tidak menentukan nama slot ketika Anda mengonsumsi log biner dalam mode JDBC, sistem secara otomatis membuat slot dan menggunakan nama default. Jika nama tabel berisi karakter khusus atau nama skema, nama slot yang dibuat secara otomatis tidak valid, dan slot tidak dapat digunakan. Akibatnya, kesalahan sintaks dilaporkan.

6.0.6

6.0.7

Kami sarankan Anda memperbarui versi instans Anda. Untuk penerapan DataStream, Anda perlu menggunakan dependensi versi 1.15-vvr-6.0.7-1.

P1

Jika instans Hologres atau database berbeda dalam penerapan menggunakan connectionPoolName yang sama, pengecualian mungkin terjadi. Sebagai contoh, tabel tidak ditemukan.

6.0.6 dan sebelumnya

6.0.7

Tentukan nilai berbeda untuk parameter connectionPoolName untuk instans Hologres atau database berbeda yang digunakan untuk penerapan.

P1

Jika tabel dimensi berisi string null, pengecualian NPE dilaporkan.

6.0.6

6.0.7

Kami sarankan Anda memperbarui versi instans Hologres Anda.

P0

Secara default, dorongan filter diaktifkan untuk tabel sumber Hologres. Jika penerapan menggunakan tabel dimensi Hologres dan pernyataan bahasa manipulasi data (DML) yang digunakan untuk menulis data berisi kondisi filter pada bidang non-kunci utama dalam tabel dimensi, dorongan filter salah dilakukan pada tabel dimensi. Ini dapat menyebabkan penggabungan tabel dimensi tidak valid.

6.0.3~6.0.5

6.0.6

Kami sarankan Anda memperbarui versi instans Hologres Anda.

P0

Jika nilai parameter mutatetype yang berbeda ditentukan untuk beberapa tabel hasil tetapi nilai parameter connectionPoolName yang sama ditentukan untuk tabel hasil tersebut, konfigurasi parameter mutatetype mungkin tertimpa, dan konfigurasi tidak berlaku.

6.0.2 dan sebelumnya

6.0.3

Atur mutatetype ke InsertOrUpdate untuk semua tabel hasil. Anda juga dapat menentukan nilai berbeda untuk parameter connectionPoolName untuk tabel yang nilainya dari parameter mutatetype berbeda.

P1

Pengecualian NPE dilaporkan jika bidang hg_binlog_timestamp_us dinyatakan dalam pernyataan DDL tabel sumber log biner.

6.0.2

6.0.3

Jangan gunakan bidang yang ditentukan, atau perbarui versi instans Hologres Anda.

P1

Pelaporan metrik secara negatif memengaruhi kinerja penulisan tabel hasil. Hasil pemecahan masalah menunjukkan bahwa thread dump dari node sink macet di reportWriteLatency.

4.0.15~4.0.17

4.0.18

Gunakan versi yang tidak terpengaruh oleh masalah ini.

P2

String yang mengandung karakter khusus gagal diproses saat Anda membaca beberapa baris data bertipe string atau array string dari tabel sumber sekaligus.

4.0.14 dan sebelumnya

4.0.15

Hapus data kotor di tabel sumber atau tingkatkan versi instance Hologres Anda.

P2

Jika Anda mendeklarasikan field log biner unik seperti hg_binlog dalam pernyataan DDL yang digunakan untuk memproses data penuh dan tambahan dari tabel sumber, hanya sebagian data yang dapat dikonsumsi.

4.0.13

4.0.14

Jangan gunakan fitur sinkronisasi data penuh dan inkremental, atau tingkatkan versi instance Hologres Anda.