Hologres:Jenis layanan Flink yang didukung

Versi Flink

Versi VVR (Ververica Runtime)

Versi Hologres

Informasi pembaruan

Referensi

1.20

11.6

3.2.x

4.0.x

4.1.x

Tabel sumber:

• Menambahkan mode startup LATEST_OFFSET untuk mengonsumsi data Binlog dari offset terbaru.

• Menambahkan dukungan untuk tipe array VARCHAR dalam langganan Binlog.

Catalog:

• Hologres Catalog kini mengekspos indeks global dan kunci pemindaian awalan sebagai indeks katalog.

Umum:

• Menambahkan cache permintaan probe JDBC untuk mencegah SQL Gateway timeout dalam skenario multi-tabel.

Hologres: gudang data real time

1.20

11.5

3.2.x

4.0.x

4.1.x

Tabel sumber:

• Menambahkan parameter scan.binlog.prefer.physical-column.over.metadata untuk memprioritaskan kolom fisik ketika namanya bentrok dengan kolom metadata.

• Tabel sumber batch tidak lagi melakukan reshuffle secara default.

Tabel dimensi:

• Menambahkan validasi lookup untuk tabel kolom. Anda harus mengatur parameter lookup.read.column-table.enabled ke true untuk menggunakan tabel kolom sebagai tabel dimensi.

Umum:

• Menambahkan dukungan untuk otentikasi Access Key V4 (AKV4).

Perbaikan bug:

• Memperbaiki NullPointerException (NPE) yang terjadi saat menerima catatan DELETE selama operasi check-and-put.

• Memperbarui holo-client untuk memperbaiki pembacaan kolom yang salah saat pemangkasan kolom diaktifkan untuk Binlog.

Hologres: gudang data real time

1.20

11.4

3.2.x

4.0.x

4.1.x

Tabel sink:

• Menambahkan parameter sink.ignore-null-when-update-by-expr.enabled untuk mengabaikan nilai null selama pembaruan yang menggunakan ekspresi insert.

• Menambahkan dukungan untuk ekspresi konflik insert (conflict expr) untuk penanganan konflik kustom.

• Mode copy streaming kini mendukung format baris biner, meningkatkan kinerja penulisan.

Tabel dimensi:

• Menambahkan dukungan untuk filter pushdown pada tabel dimensi.

Perbaikan bug:

• Memperbarui holo-client untuk memperbaiki bug yang mencegah koneksi tabel dimensi satu-ke-banyak ditutup saat pekerjaan dihentikan.

Hologres: gudang data real time

1.20

11.3

3.1.x

3.2.x

4.0.x

Tabel sumber:

• Menambahkan dukungan untuk kompresi data dan pemangkasan kolom dalam konsumsi Binlog, mengurangi lalu lintas jaringan dan penggunaan memori.

• Menambahkan dukungan untuk filter pushdown dalam Binlog, mengurangi transfer data yang tidak perlu.

Tabel sink:

• Memperbaiki konflik antara sufiks partisi dan partisi dinamis selama pembuatan.

• Menambahkan dukungan untuk menulis ke kolom yang dihasilkan.

Umum:

• Koneksi kini secara otomatis beralih ke frontend (FE) saat Anda memilih tipe data yang tidak didukung oleh FE tetap.

• Memperbarui holo-client untuk memperbaiki kegagalan koneksi yang terjadi saat nama database mengandung @warehouse.

Perbaikan bug:

• Memperbaiki masalah di mana konektor tidak dapat pulih dari checkpoint jika tabel telah dihapus.

• Memperbaiki masalah di mana LSN status partisi salah diinisialisasi ke 0 untuk shard kosong saat mengonsumsi dari tabel induk partisi.

• Memperbaiki kegagalan yang terjadi saat membaca data RoaringBitmap melalui JDBC Binlog.

Hologres: gudang data real time

1.20

11.2

3.1.x

3.2.x

4.0.x

Tabel sink:

• Menambahkan pengaturan tingkat tabel, sink.not-generate-binlog.enabled, untuk mencegah pembuatan Binlog selama penulisan. Ini mencegah loop konsumsi Binlog.

• Kebijakan data kotor kini hanya berlaku untuk pengecualian data kotor aktual.

Umum:

• Metadata tabel tidak lagi diakses saat membuat HologresDynamicTableSink, mempercepat pengiriman pekerjaan.

Perbaikan bug:

• Memperbaiki masalah kompatibilitas mundur dengan konfigurasi sumber Binlog dan upsert.

• Memperbaiki masalah kompatibilitas mundur dengan parameter konfigurasi Hologres.

• Memperbaiki masalah kompatibilitas dengan parameter yang sudah tidak digunakan.

• Memperbaiki NPE yang terjadi saat menulis array TEXT yang berisi elemen null.

Hologres: gudang data real time

1.20

11.1

3.1.x

3.2.x

Tabel sumber:

• Menambahkan dukungan untuk menentukan nilai partisi guna berlangganan Binlog tabel partisi Hologres.

Tabel sink:

• Menambahkan dukungan untuk partisi berformat tanggal.

Tabel dimensi:

• Menambahkan metrik untuk hit dan miss cache.

Umum:

• Konektor kini secara otomatis memilih mode koneksi optimal berdasarkan masalah yang diketahui.

• Memperbaiki masalah di mana opsi dengan format non-standar dalam petunjuk SQL gagal mengganti opsi katalog.

Hologres: gudang data real time

1.20

11.0

3.1.x

3.2.x

Umum:

• Menghapus semua kode dan dependensi terkait RPC dan HoloHub. Konektor kini secara eksklusif menggunakan mode JDBC. Nama parameter telah direfaktor.

Tabel sumber:

• Tabel sumber untuk data lengkap dan inkremental: Setelah pembacaan snapshot lengkap selesai, konsumsi inkremental dimulai dari LSN maksimum saat ini untuk mencegah kehilangan data.

Hologres: gudang data real time

1.17

8.0.11

2.1.x

2.2.x

3.0.x

Tabel sumber:

• Menambahkan dukungan untuk membaca Binlog tabel partisi.

• Menambahkan dukungan untuk kolom metadata dalam tabel sumber.

• Tipe desimal dalam JDBC Binlog kini menggunakan skala dari tipe Flink.

• Tabel sumber untuk data lengkap dan inkremental: Setelah pembacaan snapshot selesai, konsumsi inkremental kini dimulai dari LSN maksimum saat ini.

Tabel sink:

• Menambahkan kemampuan check-and-put untuk penulisan kondisional.

• Menambahkan dukungan untuk flushing agresif, mengurangi latensi visibilitas data.

• Mode penulisan copy kini mendukung tipe data TIME.

• Menambahkan parameter ukuran buffer sel maksimum untuk mode penulisan copy.

• Menambahkan idle-session-timeout dalam mode penulisan copy untuk mencegah koneksi idle berkepanjangan.

Umum:

• Mengubah nilai default parameter remove-u0000-in-text.enabled menjadi true.

• Menambahkan dukungan untuk kompatibilitas state dalam skenario peningkatan dan penurunan spesifikasi.

• Pabrik tidak lagi memvalidasi parameter Binlog saat menggunakan tabel dimensi katalog, mencegah error positif palsu.

• Pekerjaan kini hanya mencoba ulang tiga kali sebelum gagal cepat selama penerapan untuk mencegah penantian lama.

Perbaikan bug:

• Memperbarui holo-client untuk memperbaiki masalah penguraian URL JDBC.

• Memperbaiki masalah di mana konsumsi JDBC Binlog untuk tabel sumber data lengkap dan inkremental dimulai dari LSN+1 setelah checkpoint.

• Memperbaiki kesalahan normalisasi tipe dalam skenario CTAS saat penghapusan kolom dan perubahan tipe terjadi bersamaan.

Hologres: gudang data real time

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• Memperbaiki potensi masalah deadlock saat klien baru didaftarkan dalam kolam koneksi bersama.

• ID tabel tidak lagi diperiksa secara paksa saat pekerjaan konsumsi Binlog dilanjutkan dari state yang disimpan.

Hologres: gudang data real time

1.17

8.0.8

2.1.x

2.2.x

Tabel sink:

• Menambahkan parameter sink.delete-strategy untuk memberikan lebih banyak opsi dalam menangani catatan UPDATE_BEFORE, melengkapi opsi ignoredelete yang sudah ada.

Hologres: gudang data real time

1.17

8.0.7

2.1.x

Tabel dimensi:

• Memperbaiki masalah di mana pengambilan metadata yang sering untuk tabel dimensi dengan banyak bidang menyebabkan timeout penerapan pekerjaan.

Umum:

• Memperbaiki kesalahan izin tidak mencukupi yang terjadi saat tabel berbeda menggunakan pengguna berbeda dalam kolam koneksi bersama.

Hologres: gudang data real time

1.17

8.0.6

2.1.x

Tabel sumber:

• Konektor kini secara otomatis beralih dari mode HoloHub ke mode JDBC untuk Hologres V2.1 atau versi setelahnya, karena mode HoloHub tidak dilanjutkan dan tidak lagi didukung di versi tersebut. Untuk informasi lebih lanjut, lihat Konsumsi binlog Hologres secara real time dengan Flink/Blink.

Umum:

• Menambahkan dukungan untuk parameter type-mapping.timestamp-converting.legacy untuk membaca dan menulis tipe data Flink TIMESTAMP_LTZ dengan benar. Untuk informasi lebih lanjut, lihat Hologres: gudang data real time.

• Hologres: gudang data real time

• Panduan cepat: Gunakan gudang virtual

• Terhubung ke gudang virtual

• Berikan akses data ke gudang virtual

1.17

8.0.5

2.0.x

2.1.x

Tabel sumber:

• Untuk Hologres V2.1 dan versi setelahnya, Anda tidak perlu lagi membuat slot untuk mengonsumsi data Binlog melalui JDBC. Untuk informasi lebih lanjut, lihat Konsumsi Binlog melalui JDBC. Akibatnya, mulai dari versi ini, publikasi dan slot tidak lagi dibuat secara otomatis jika instans Hologres adalah V2.1 atau versi setelahnya.

Tabel sink:

• Parameter baru deduplication.enabled ditambahkan. Nilai default-nya adalah true. Saat parameter ini diatur ke false, tabel hasil dapat melewati deduplikasi selama proses agregasi dan penulisan. Fitur ini berguna untuk skenario seperti replay lengkap aliran CDC upstream.

• Tabel tanpa kunci primer kini mendukung penulisan bulkload, yang mengonsumsi lebih sedikit sumber daya Hologres dibandingkan mode jdbc_copy sebelumnya.

Umum:

• Menambahkan dukungan untuk mengaktifkan enkripsi dalam transit dengan menggunakan parameter connection.ssl.mode dan connection.ssl.root-cert.location.

• Menambahkan parameter timeout untuk koneksi JDBC internal untuk mencegah koneksi klien menjadi tidak responsif dalam skenario seperti restart server yang tidak terduga.

• Hologres: gudang data real time

• Gunakan konektor Hologres dari Realtime Compute for Apache Flink untuk mengonsumsi data Hologres secara real time

1.17

8.0.4

2.0.x

2.1.x

Tabel sumber:

• Memperbaiki masalah di mana publikasi sisa dapat mencegah konsumsi Binlog setelah pembangunan ulang tabel. Konektor kini secara otomatis menghapus publikasi lama.

Umum:

• Tabel dimensi Hologres dan tabel sink dalam pekerjaan yang sama kini berbagi kolam koneksi, meningkatkan batas koneksi efektif.

• Hologres: gudang data real time

• Gunakan konektor Hologres dari Realtime Compute for Apache Flink untuk mengonsumsi data Hologres secara real time

1.17

8.0.3

2.0.x

2.1.x

Umum:

• Terlepas dari versi instans Hologres, tabel dimensi dan tabel sink tidak lagi mendukung mode RPC. Jika Anda memilih mode RPC, mode tersebut secara otomatis beralih ke mode jdbc_fixed. Kami merekomendasikan agar Anda meningkatkan instans jika menggunakan versi awal.

Hologres: gudang data real time

1.15

6.0.7

• 1.3.x

• 2.0.x

• Tabel sumber:

  Menambahkan kompatibilitas dengan Hologres V2.0. Jika konektor mendeteksi koneksi ke instans Hologres V2.0 atau versi setelahnya, mode Binlog HoloHub secara otomatis beralih ke mode Binlog JDBC.

• Tabel dimensi:

  Menambahkan kompatibilitas dengan Hologres V2.0. Jika konektor mendeteksi koneksi ke instans Hologres V2.0 atau versi setelahnya, mode RPC secara otomatis beralih ke mode jdbc_fixed.

• Tabel sink:

  • Menambahkan kompatibilitas dengan Hologres V2.0. Jika konektor mendeteksi koneksi ke instans Hologres V2.0 atau versi setelahnya, mode RPC secara otomatis beralih ke mode jdbc_fixed.

  • Menambahkan dukungan untuk pembaruan kolom parsial. Anda hanya dapat memasukkan bidang yang dideklarasikan dalam pernyataan INSERT Flink. Fitur ini menyederhanakan skenario penggabungan tabel lebar.

• Umum:

  Saat terjadi pengecualian konversi catatan, konektor kini mencatat data sumber dan hasil konversi untuk membantu troubleshooting masalah data kotor.

• Perbaikan bug:

  • Memperbaiki masalah di mana penggunaan connectionPoolName yang sama untuk instans atau database berbeda dalam pekerjaan yang sama tidak menimbulkan error.

  • Memperbaiki exception null pointer di versi 6.0.6 yang terjadi saat tipe string dalam tabel dimensi memiliki nilai null.

Hologres: gudang data real time

1.15

6.0.6

1.3.x

Tabel sumber:

• Parameter nama slot tidak lagi diperlukan saat Anda mengonsumsi data Binlog Hologres dalam mode JDBC. Slot default dapat dibuat untuk memungkinkan peralihan lebih lancar dari mode HoloHub.

• Parameter baru enable_filter_push_down ditambahkan. Tabel sumber batch tidak lagi mendorong kondisi filter secara default. Atur parameter ini ke true untuk mengaktifkan filter pushdown.

Hologres: gudang data real time

1.15

6.0.5

1.3.x

• Umum: Saat pekerjaan dimulai, semua informasi parameter dicetak ke log TaskManager untuk mempermudah troubleshooting.

• CTAS/CDAS: Menambahkan mode toleran untuk tipe data bidang. Dalam mode ini, jika terjadi perubahan tipe data di sumber, perubahan tersebut dianggap berhasil selama tipe asli dan tipe baru dapat dinormalisasi ke tipe yang sama.

• Hologres Catalog: Meningkatkan sintaks ALTER TABLE untuk mendukung modifikasi properti tabel fisik Hologres, termasuk mengubah nama tabel, menambahkan kolom, mengganti nama kolom, dan memodifikasi komentar kolom.

• Pernyataan CREATE TABLE AS (CTAS) (Akan dihentikan)

• Gunakan Hologres Catalog

1.15

6.0.3~6.0.4

1.3.x

Tabel sumber:

• Menambahkan mode JDBC untuk mengonsumsi data Binlog Hologres. Mode ini mendukung lebih banyak tipe data dan memungkinkan akun kustom.

• Menambahkan dukungan untuk filter pushdown untuk tabel sumber batch dan fase lengkap tabel sumber untuk data lengkap dan inkremental.

Tabel sink:

Menambahkan dukungan untuk menulis data dalam mode Fixed Copy. Fixed Copy adalah fitur baru di Hologres V1.3. Dibandingkan dengan mode JDBC, mode Fixed Copy memberikan throughput lebih tinggi dan latensi data lebih rendah melalui streaming, serta mengurangi konsumsi memori klien dengan menghilangkan batching.

Hologres Catalog:

• Menambahkan dukungan untuk mengatur properti tabel default saat membuat katalog.

Parameter sdkMode: Mode berbeda tersedia untuk jenis tabel berbeda di Hologres. Parameter sdkMode kini digunakan untuk mengkonsolidasikan pemilihan mode.

• Pernyataan COPY

1.13

4.0.18

1.1 dan versi setelahnya

Memperbaiki masalah di mana pelaporan metrik untuk tabel sink menurunkan kinerja penulisan.

1.13 dan 1.15

4.0.15 dan 6.0.2

1.1 dan versi setelahnya

Tabel sumber:

• Tabel sumber batch kini peka huruf besar/kecil secara default.

• Menambahkan dukungan untuk mengonfigurasi timeout transaksi untuk operasi Scan pada tabel sumber batch.

• Memperbaiki masalah di mana penguraian string kompleks dalam tabel sumber batch bisa gagal.

• Menambahkan mode Upsert untuk tabel sumber data lengkap dan inkremental.

Tabel dimensi:

Menambahkan dukungan untuk mengonfigurasi timeout permintaan asinkron (asyncTimeoutMs) untuk tabel dimensi Hologres.

Tabel sink:

• Menambahkan dukungan untuk sintaks PARTITION BY untuk mendefinisikan tabel partisi saat membuat tabel sink Hologres dengan CTAS.

• Metrik mendukung metrik currentSendTime.

• Tabel sumber Apache Flink

• Pernyataan CREATE TABLE AS (CTAS) (Akan dihentikan)

1.13

4.0.13

1.1 dan versi setelahnya

• Menambahkan dukungan untuk tabel sumber data lengkap dan inkremental.

• Menambahkan dukungan untuk API DataStream.

• Konektor DataStream Hologres

1.13

4.0.11

0.10 dan versi setelahnya

Menambahkan dukungan untuk CTAS dan CDAS.

• Pernyataan CREATE TABLE AS (CTAS) (Akan dihentikan)

• Pernyataan CREATE DATABASE AS (CDAS) (Akan dihentikan)

1.13

4.0.8

0.10 dan versi setelahnya

Menambahkan dukungan untuk Hologres Catalog untuk tabel sink, tabel sumber, dan tabel dimensi.

Kelola katalog Hologres

1.13

3.0.0

0.9 dan versi setelahnya

Menambahkan dukungan untuk konsumsi data real time dari Hologres.

Fully Managed Flink

Tingkat keparahan

Deskripsi

Versi yang terpengaruh

Versi perbaikan

Solusi

P0

Saat menulis ke subset kolom dalam tabel hasil, jika bidang yang tidak ditulis memiliki nilai default terkait waktu (seperti current_timestamp atau now()), nilai yang diisi mungkin salah. Hal ini terjadi karena mode FixedFE tidak menangani nilai default terkait waktu dengan benar.

11.0-11.5

N/A

Gunakan fungsi now() di sisi Flink untuk meneruskan nilai ke bidang yang sesuai dalam tabel hasil. Atau, atur parameter connection.fixed.enabled ke false.

P0

Saat mengonsumsi Binlog, jika kolom fisik dan kolom metadata memiliki nama yang sama, seperti table_name, konektor salah membaca nilai dari kolom metadata alih-alih kolom fisik, sehingga menghasilkan data yang salah.

8.0.11, 11.0-11.4

11.5

Tingkatkan ke versi 11.5 atau versi setelahnya dan atur scan.binlog.prefer.physical-column.over.metadata ke true. Atau, hindari mendeklarasikan kolom fisik dengan nama yang sama dengan kolom metadata dalam DDL tabel sumber Binlog.

P1

Saat mengonsumsi Binlog, pemangkasan kolom dapat membaca data ke kolom yang salah. Hal ini terjadi karena holo-client mungkin mengambil kolom yang tidak diharapkan saat menangani pemangkasan kolom.

11.3-11.5

Hotfix telah dirilis untuk semua versi yang terpengaruh (11.3-11.5).

Hotfix mengatasi masalah ini, sehingga Anda kemungkinan besar tidak akan mengalaminya. Untuk pekerjaan DataStream, gunakan versi konektor terbaru.

P2

Pemindai untuk tabel dimensi satu-ke-banyak tidak ditutup dengan benar saat Anda menghentikan pekerjaan. Hal ini dapat menyebabkan kebocoran sumber daya atau timeout pekerjaan selama shutdown. Masalah ini disebabkan oleh logika shutdown pemindai internal holo-client yang bermasalah.

Versi sebelum 11.3

11.4

Tingkatkan ke versi 11.4 atau versi setelahnya.

P1

Saat menggunakan fitur check-and-put, pemrosesan catatan delete melemparkan NullPointerException (NPE) dan menyebabkan pekerjaan gagal.

8.0.11-11.4

11.5

Tingkatkan ke versi 11.5 atau versi setelahnya. Atau, hindari menggunakan check-and-put pada aliran yang memiliki operasi delete.

P2

Konektor gagal melanjutkan dari checkpoint jika tabel dihapus dan dibuat ulang saat pekerjaan sedang berjalan.

11.0-11.2

11.3

Di lingkungan pengujian, Anda dapat meningkatkan ke versi 11.3 atau versi setelahnya untuk menghindari masalah ini. Catatan: Menghapus tabel selama konsumsi Binlog memengaruhi kebenaran data. Oleh karena itu, hindari membangun ulang tabel selama konsumsi Binlog di lingkungan produksi.

P1

Membaca data RoaringBitmap melalui JDBC Binlog gagal dan melemparkan exception parsing.

11.0-11.2

11.3

Tingkatkan ke versi 11.3 atau versi setelahnya.

P1

Saat mengonsumsi dari tabel partisi fisik, jika shard tidak memiliki data, konektor salah menginisialisasi Log Sequence Number (LSN) state ke 0. Hal ini menyebabkan kehilangan data saat pekerjaan dilanjutkan dari state ini.

Versi sebelum 8.0.10, 11.0-11.2

8.0.11, 11.3

Tingkatkan ke versi 8.0.11, atau 11.3 atau versi setelahnya.

P1

Menulis array TEXT yang berisi elemen null melemparkan NPE dan menyebabkan operasi penulisan gagal.

11.0-11.1

11.2

Tingkatkan ke versi 11.2 atau versi setelahnya. Atau, pastikan array TEXT upstream tidak berisi elemen null.

P1

Konflik antara sufiks pembuatan partisi dan partisi dinamis menyebabkan pembuatan partisi gagal.

11.0-11.2

11.3

Tingkatkan ke versi 11.3 atau versi setelahnya.

P2

Exception yang tidak terkait data kotor dapat memicu kebijakan data kotor, menyebabkan exception valid ditangani secara salah (misalnya, diam-diam dibuang).

11.0-11.1

11.2

Tingkatkan ke versi 11.2 atau versi setelahnya.

P1

Untuk tabel sumber Integrasi Lengkap dan Inkremental, JDBC Binlog mulai mengonsumsi di LSN+1. Jika LSN saat ini sudah ada di checkpoint, melanjutkan darinya mungkin melewatkan satu catatan.

8.0.10 dan versi sebelumnya

8.0.11

Tingkatkan ke versi 8.0.11.

P2

Dalam skenario CTAS, jika penghapusan kolom dan perubahan tipe terjadi dalam operasi yang sama, kesalahan normalisasi tipe menyebabkan perubahan skema gagal.

8.0.10 dan versi sebelumnya

8.0.11

Tingkatkan ke versi 8.0.11. Atau, hindari menghapus kolom dan mengubah tipe dalam operasi yang sama.

P2

Saat menggunakan tabel dimensi katalog, validasi parameter Binlog oleh factory menyebabkan exception positif palsu.

8.0.10 dan versi sebelumnya

8.0.11

Tingkatkan ke versi 8.0.11.

P2

Dalam skenario multi-tabel, jumlah permintaan polling JDBC yang berlebihan menyebabkan SQL Gateway timeout.

11.0-11.5

11.6

Tingkatkan ke versi 11.6. Atau, kurangi jumlah tabel Hologres dalam satu pekerjaan.

P2

Saat mode FixedFE dipilih, jika tabel berisi tipe data yang tidak didukung oleh FixedFE, koneksi tidak secara otomatis menurunkan spesifikasi ke koneksi FE, menyebabkan exception penulisan atau kueri.

11.0-11.2

11.3

Tingkatkan ke versi 11.3 atau versi setelahnya. Atau, tentukan secara manual mode koneksi FE.

P1

Saat mengonsumsi Binlog dalam mode JDBC, exception "Binlog Convert Failed" mungkin terjadi, atau pembacaan data dari beberapa shard mungkin macet. Hal ini terjadi karena gateway instans Hologres memiliki masalah saat mengembalikan exception timeout backend ke klien, menyebabkan operasi baca hang atau gagal dengan error parsing.

N/A

N/A

Masalah ini lebih mungkin terjadi saat tekanan balik pekerjaan tinggi. Jika pembacaan data macet, restart pekerjaan dan lanjutkan dari checkpoint terbaru.

Untuk menyelesaikan masalah ini sepenuhnya, tingkatkan instans Hologres Anda ke V2.2.21 atau versi setelahnya.

P2

Pekerjaan diterapkan dengan lambat atau timeout. Analisis thread dump menunjukkan bahwa proses macet di GetTableSchema.

N/A

N/A

Masalah ini dapat memiliki berbagai penyebab. Anda dapat melakukan troubleshooting dengan mengikuti langkah-langkah berikut:

1. Verifikasi konektivitas jaringan antara kluster Flink dan instans Hologres.

2. Atur parameter jdbcRetryCount ke 1 untuk memastikan akar penyebab exception tidak disembunyikan oleh retry internal.

3. Di Hologres V2.0 dan versi sebelumnya, operasi DDL yang sering dapat menyebabkan keterlambatan dalam pembersihan metadata, yang mungkin memperlambat kueri metadata tabel. Kami merekomendasikan agar Anda meningkatkan instans Hologres ke V2.1 atau versi setelahnya.

P0

Saat menulis data TEXT, JSON, atau JSONB ke Hologres dalam mode FixedFE (yang sesuai dengan mode jdbc_fixed konektor), karakter tidak valid dalam sumber data dapat melemparkan exception yang tidak terduga. Hal ini dapat menyebabkan node FE yang terhubung restart, mengganggu koneksi.

N/A

N/A

Jika Anda tidak dapat menjamin validitas string upstream, Anda harus menulis data dalam mode JDBC.

Anda juga harus mengatur parameter remove-u0000-in-text.enabled untuk tabel hasil.

Atau, tingkatkan instans Hologres Anda ke V3.0 atau versi setelahnya untuk terus menggunakan mode jdbc_fixed.

P1

Saat melakukan join satu-ke-banyak pada tabel dimensi JDBC, tugas Flink mungkin mengalami penggunaan memori tinggi atau error Out Of Memory (OOM).

N/A

N/A

Di Hologres V1.3, jika Anda menggunakan prefix scan dan jumlah hasil kueri melebihi nilai jdbcScanFetchSize, kueri batch mungkin tidak berhenti. Sebagai solusi sementara, atur jdbcScanFetchSize ke nilai besar, seperti 100000.

Untuk menyelesaikan masalah ini sepenuhnya, tingkatkan instans Hologres Anda ke V2.0 atau versi setelahnya.

P1

Pekerjaan Binlog melemparkan exception the table id parsed from checkpoint is different from the current table id selama pemulihan stateful. Alasannya adalah pekerjaan melakukan operasi TRUNCATE atau membuat ulang tabel selama eksekusi sebelumnya. Checkpoint menyimpan ID tabel dari startup awal pekerjaan, yang tidak cocok dengan ID tabel saat ini.

8.0.4

8.0.9

Mulai dari versi 8.0.9, pemeriksaan ID tabel tidak lagi diberlakukan. Sebagai gantinya, peringatan dicatat, yang memungkinkan pekerjaan dilanjutkan dari state terbaru. Namun, hindari membangun ulang tabel saat pekerjaan Binlog sedang berjalan, karena operasi ini menyebabkan semua data Binlog sebelumnya hilang.

P2

Tekanan balik terjadi saat pekerjaan berjalan. Thread dump menunjukkan bahwa pool eksekusi macet di metode close() atau start(). Hal ini dapat terjadi jika beberapa klien berbagi kolam koneksi yang sama, yang mungkin menyebabkan deadlock yang mencegah kolam koneksi ditutup dengan benar.

8.0.5

8.0.9

Tingkatkan versi konektor.

P2

Jika Anda menjalankan pekerjaan untuk konsumsi lengkap dan inkremental setelah melakukan operasi DELETE FROM pada tabel sumber, fase konsumsi lengkap mengonsumsi ulang semua data Binlog dari awal karena tidak ada data yang tersedia dalam fase inkremental.

8.0.6 dan versi sebelumnya

8.0.7

Tingkatkan versi konektor atau tentukan waktu mulai untuk konsumsi inkremental.

P1

Jika tabel dimensi berisi banyak bidang, penerapan pekerjaan timeout.

8.0.6

8.0.7

Tingkatkan versi konektor.

P0

Saat parameter enable_filter_push_down diaktifkan untuk tabel sumber batch, filter tidak berlaku. Akibatnya, konektor tetap membaca data yang seharusnya difilter.

8.0.5 dan versi sebelumnya

8.0.6

Tingkatkan versi konektor.

P0

Saat menulis data JSON atau JSONB ke Hologres dalam mode FixedFE (yang sesuai dengan mode jdbc_fixed konektor), jika data sumber berisi bidang JSON atau JSONB yang tidak valid, node FE yang terhubung restart dan koneksi FE terputus.

8.0.5 dan versi sebelumnya

Tidak ada

Jika validitas string JSON atau JSONB upstream tidak dapat dijamin, gunakan mode JDBC untuk menulis data.

P1

Saat melakukan join satu-ke-banyak pada tabel dimensi JDBC, exception internal seperti kegagalan koneksi tidak dilemparkan dengan benar. Hal ini dapat memanifestasikan sebagai tekanan balik pada node join asinkron, menyebabkan aliran data berhenti. Masalah ini jarang terjadi.

6.0.7 dan versi sebelumnya

8.0.3

Tingkatkan versi konektor. Anda juga dapat me-restart pekerjaan sebagai solusi sementara.

P1

Terjadi kebocoran memori saat mengonsumsi data Binlog dalam mode JDBC. Hal ini mungkin terlihat sebagai laju konsumsi tinggi di awal pekerjaan, yang kemudian terus menurun.

6.0.7 dan versi sebelumnya

6.0.7

Tingkatkan versi konektor. Untuk pekerjaan DataStream, Anda harus menggunakan dependensi versi 6.0.7-1.

P0

Saat menulis dalam mode JDBC, exception yang ditangkap selama flush terjadwal (dikontrol oleh parameter jdbcWriteFlushInterval) tidak dilemparkan hingga catatan data berikutnya diproses. Jika trafik penulisan rendah, checkpoint mungkin berhasil dibuat meskipun exception telah ditangkap tetapi belum dilemparkan. Jika kegagalan berikutnya terjadi, pekerjaan akan dilanjutkan dari checkpoint tidak valid ini, yang dapat menyebabkan kehilangan data.

6.0.6 dan versi sebelumnya

6.0.7

Masalah ini lebih mungkin terjadi dengan trafik rendah. Tingkatkan versi konektor, atau atur jdbcWriteFlushInterval lebih panjang dari interval checkpoint.

P2

Saat mengonsumsi data Binlog dalam mode JDBC tanpa mengatur nama slot, sistem secara otomatis membuatnya. Jika nama tabel atau skema berisi karakter khusus, nama slot yang dihasilkan secara otomatis tidak valid dan menyebabkan error sintaksis.

6.0.6

6.0.7

Tingkatkan versi konektor. Untuk pekerjaan DataStream, Anda harus menggunakan dependensi versi 6.0.7-1.

P1

Jika instans atau database Hologres berbeda dalam pekerjaan yang sama menggunakan connectionPoolName yang sama, exception seperti "tabel tidak ditemukan" dapat terjadi.

6.0.6 dan versi sebelumnya

6.0.7

Gunakan connectionPoolName yang berbeda untuk setiap instans atau database Hologres yang digunakan dalam pekerjaan yang sama.

P1

NPE dilemparkan jika tabel dimensi berisi bidang string dengan nilai null.

6.0.6

6.0.7

Tingkatkan versi konektor.

P0

Filter pushdown diaktifkan secara default untuk tabel sumber Hologres. Namun, jika pekerjaan juga menggunakan tabel dimensi Hologres, dan DML penulisan berisi filter pada bidang non-kunci primer tabel dimensi, filter tersebut juga salah didorong ke tabel dimensi. Hal ini dapat menyebabkan hasil join tabel dimensi yang salah.

6.0.3-6.0.5

6.0.6

Tingkatkan versi konektor.

P0

Jika beberapa tabel hasil memiliki pengaturan mutatetype berbeda tetapi berbagi connectionPoolName yang sama untuk menggunakan kembali kolam koneksi, pengaturan mutatetype dapat ditimpa, sehingga tidak berlaku.

6.0.2 dan versi sebelumnya

6.0.3

Atur mutatetype untuk semua tabel hasil ke InsertOrUpdate. Atau, gunakan connectionPoolName yang berbeda untuk tabel dengan pengaturan mutatetype berbeda.

P1

NPE dilemparkan jika bidang hg_binlog_timestamp_us dideklarasikan dalam DDL tabel sumber Binlog.

6.0.2

6.0.3

Jangan gunakan bidang ini, atau tingkatkan versi konektor.

P1

Pelaporan metrik memengaruhi kinerja penulisan tabel hasil. thread dump dari node sink menunjukkan bahwa proses macet di reportWriteLatency.

4.0.15-4.0.17

4.0.18

Gunakan versi yang tidak terpengaruh oleh masalah ini.

P2

Saat membaca data tipe STRING atau STRING ARRAY dari tabel sumber batch, parsing gagal jika data berisi karakter khusus.

4.0.14 dan versi sebelumnya

4.0.15

Hapus data kotor dari tabel sumber, atau tingkatkan versi konektor.

P2

Jika Anda mendeklarasikan bidang khusus Binlog, seperti hg_binlog, dalam DDL tabel sumber untuk Integrasi Lengkap dan Inkremental, data lengkap tidak dapat dikonsumsi.

4.0.13

4.0.14

Hindari menggunakan fitur Integrasi Lengkap dan Inkremental, atau tingkatkan versi konektor.