Hologres:サポート対象の Flink サービスタイプ

Flink バージョン

VVR (Ververica Runtime) バージョン

Hologres バージョン

更新情報

リファレンス

1.20

11.6

3.2.x

4.0.x

4.1.x

ソーステーブル：

• 最新のオフセットから Binlog データを消費するために、 LATEST_OFFSET 起動モードが追加されました。

• Binlog サブスクリプションで VARCHAR 配列型がサポートされるようになりました。

カタログ：

• Hologres カタログが、グローバルインデックスとプレフィックススキャンキーをカタログインデックスとして公開するようになりました。

全般：

• 複数テーブルのシナリオで SQL Gateway がタイムアウトするのを防ぐために、JDBC プローブ要求キャッシュが追加されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.5

3.2.x

4.0.x

4.1.x

ソーステーブル：

• 物理列名がメタデータ列と競合する場合に物理列を優先するための scan.binlog.prefer.physical-column.over.metadata パラメーターが追加されました。

• バッチソーステーブルは、デフォルトでリシャッフルを実行しなくなりました。

ディメンションテーブル：

• 列指向テーブルのルックアップ検証が追加されました。列指向テーブルをディメンションテーブルとして使用するには、 lookup.read.column-table.enabled パラメーターを true に設定する必要があります。

全般：

• Access Key V4 (AKV4) 認証のサポートが追加されました。

バグ修正：

• チェックアンドプット操作中に DELETE レコードを受信したときに発生する NullPointerException (NPE) が修正されました。

• Binlog で列プルーニングが有効になっている場合に、不正な列読み取りが発生する問題を修正するために、holo-client が更新されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.4

3.2.x

4.0.x

4.1.x

シンクテーブル：

• 挿入式を使用した更新中に null 値を無視するための sink.ignore-null-when-update-by-expr.enabled パラメーターが追加されました。

• カスタムの競合処理のために、挿入競合式 (conflict expr) のサポートが追加されました。

• ストリームコピーモードがバイナリ行形式をサポートするようになり、書き込みパフォーマンスが向上しました。

ディメンションテーブル：

• ディメンションテーブルでのフィルタープッシュダウンのサポートが追加されました。

バグ修正：

• ジョブが停止したときに 1 対多のディメンションテーブル接続が閉じられないバグを修正するために、holo-client が更新されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.3

3.1.x

3.2.x

4.0.x

ソーステーブル：

• Binlog 消費におけるデータ圧縮と列プルーニングのサポートが追加され、ネットワークトラフィックとメモリ使用量が削減されました。

• Binlog でのフィルタープッシュダウンのサポートが追加され、不要なデータ転送が削減されました。

シンクテーブル：

• 作成時のパーティションサフィックスと動的パーティション間の競合が修正されました。

• 生成列への書き込みがサポートされるようになりました。

全般：

• 固定 FE がサポートしていないデータ型を選択すると、接続が自動的にフロントエンド (FE) に切り替わるようになりました。

• データベース名に @warehouse が含まれている場合に発生していた接続の失敗を修正するために、holo-client が更新されました。

バグ修正：

• テーブルがドロップされた場合に、コネクターがチェックポイントから回復できなかった問題が修正されました。

• パーティション化された親テーブルから消費する際に、空のシャードのパーティション状態 LSN が誤って 0 に初期化される問題が修正されました。

• JDBC Binlog を介して RoaringBitmap データを読み取る際に発生していた失敗が修正されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.2

3.1.x

3.2.x

4.0.x

シンクテーブル：

• 書き込み中に Binlog が生成されないようにするためのテーブルレベル設定 sink.not-generate-binlog.enabled が追加されました。これにより、Binlog 消費ループが防止されます。

• ダーティデータポリシーが、実際のダーティデータ例外にのみ適用されるようになりました。

全般：

• HologresDynamicTableSink の作成時にテーブルメタデータにアクセスしなくなり、ジョブの送信が高速化されました。

バグ修正：

• Binlog とアップサートのソース設定に関する下位互換性の問題が修正されました。

• Hologres 設定パラメーターに関する下位互換性の問題が修正されました。

• 非推奨パラメーターとの互換性の問題が修正されました。

• null 要素を含む TEXT 配列を書き込むときに発生する NPE が修正されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.1

3.1.x

3.2.x

ソーステーブル：

• Hologres パーティションテーブルの Binlog をサブスクライブするためのパーティション値の指定がサポートされるようになりました。

シンクテーブル：

• 日付形式のパーティションがサポートされるようになりました。

ディメンションテーブル：

• キャッシュヒットとミスのメトリクスが追加されました。

全般：

• コネクターが既知の問題に基づいて最適な接続モードを自動的に選択するようになりました。

• SQL ヒント内の非標準形式のオプションがカタログオプションを上書きできなかった問題が修正されました。

Hologres：リアルタイムデータウェアハウス

1.20

11.0

3.1.x

3.2.x

全般：

• RPC と HoloHub に関連するすべてのコードと依存関係が削除されました。コネクターは JDBC モードのみを使用するようになりました。パラメーター名はリファクタリングされました。

ソーステーブル：

• 全量・増分データのソーステーブル：完全なスナップショットの読み取りが完了した後、データ損失を防ぐために、現在の最大 LSN から増分消費が開始されます。

Hologres：リアルタイムデータウェアハウス

1.17

8.0.11

2.1.x

2.2.x

3.0.x

ソーステーブル：

• パーティションテーブルの Binlog の読み取りがサポートされるようになりました。

• ソーステーブルのメタデータ列がサポートされるようになりました。

• JDBC Binlog の decimal 型が Flink 型のスケールを使用するようになりました。

• 全量・増分データのソーステーブル：スナップショットの読み取りが完了した後、増分消費が現在の最大 LSN から開始されるようになりました。

シンクテーブル：

• 条件付き書き込みのためのチェックアンドプット機能が追加されました。

• 積極的なフラッシュのサポートが追加され、データの可視化レイテンシーが短縮されました。

• コピー書き込みモードが TIME データ型をサポートするようになりました。

• コピー書き込みモードの最大セルバッファサイズパラメーターが追加されました。

• 長期間のアイドル接続を防ぐために、コピー書き込みモードに idle-session-timeout が追加されました。

全般：

• remove-u0000-in-text.enabled パラメーターのデフォルト値が true に変更されました。

• アップグレードおよびダウングレードシナリオでの状態互換性のサポートが追加されました。

• カタログディメンションテーブルが使用されている場合、ファクトリは Binlog パラメーターを検証しなくなり、誤検知エラーが防止されます。

• デプロイ中にジョブが 3 回のみ再試行し、その後フェイルファストするようになりました。これにより、長時間の待機を防ぎます。

バグ修正：

• JDBC URL の解析問題を修正するために、holo-client が更新されました。

• 全量・増分データのソーステーブルの JDBC Binlog 消費が、チェックポイント後に LSN+1 から開始される問題が修正されました。

• 列のドロップと型変更が同時に発生した場合の CTAS シナリオでの型正規化エラーが修正されました。

Hologres：リアルタイムデータウェアハウス

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• 共有コネクションプールに新しいクライアントが登録された際の潜在的なデッドロック問題が修正されました。

• 保存された状態から Binlog 消費ジョブが再開される際に、テーブル ID が強制的にチェックされなくなりました。

Hologres：リアルタイムデータウェアハウス

1.17

8.0.8

2.1.x

2.2.x

シンクテーブル：

• 既存の ignoredelete オプションを補完し、UPDATE_BEFORE レコードを処理するための選択肢を増やす sink.delete-strategy パラメーターが追加されました。

Hologres：リアルタイムデータウェアハウス

1.17

8.0.7

2.1.x

ディメンションテーブル：

• 多くのフィールドを持つディメンションテーブルで頻繁にメタデータをフェッチすることが原因で発生していたジョブのデプロイタイムアウトの問題が修正されました。

全般：

• 共有コネクションプール内で異なるテーブルが異なるユーザーを使用した場合に発生していた権限不足エラーが修正されました。

Hologres：リアルタイムデータウェアハウス

1.17

8.0.6

2.1.x

ソーステーブル：

• HoloHub モードはそのバージョンで廃止され、サポートされなくなったため、Hologres V2.1 以降ではコネクターが自動的に HoloHub から JDBC モードに切り替わるようになりました。詳細については、「Flink/Blink を使用した Hologres Binlog のリアルタイム消費」をご参照ください。

全般：

• Flink の TIMESTAMP_LTZ データ型を正しく読み書きするための type-mapping.timestamp-converting.legacy パラメーターのサポートが追加されました。詳細については、「Hologres：リアルタイムデータウェアハウス」をご参照ください。

• Hologres：リアルタイムデータウェアハウス

• クイックスタート：仮想ウェアハウスの使用

• 仮想ウェアハウスへの接続

• 仮想ウェアハウスへのデータアクセス権の付与

1.17

8.0.5

2.0.x

2.1.x

ソーステーブル：

• Hologres V2.1 以降では、JDBC 経由で Binlog データを消費するためにスロットを作成する必要はなくなりました。詳細については、「JDBC 経由での Binlog の消費」をご参照ください。その結果、このバージョン以降、Hologres インスタンスが V2.1 以降の場合、パブリケーションとスロットは自動的に作成されなくなりました。

シンクテーブル：

• 新しい deduplication.enabled パラメーターが追加されました。デフォルト値は true です。このパラメーターを false に設定すると、結果テーブルは集計および書き込みプロセス中に重複排除をスキップできます。この機能は、アップストリームの CDC ストリームの完全なリプレイなどのシナリオで役立ちます。

• プライマリキーのないテーブルが bulkload 書き込みをサポートするようになりました。これにより、以前の jdbc_copy モードよりも Hologres リソースの消費が少なくなります。

全般：

• connection.ssl.mode および connection.ssl.root-cert.location パラメーターを使用して、転送中の暗号化を有効にできるようになりました。

• 予期しないサーバーの再起動などのシナリオでクライアント接続が応答しなくなるのを防ぐために、内部 JDBC 接続のタイムアウトパラメーターが追加されました。

• Hologres：リアルタイムデータウェアハウス

• Realtime Compute for Apache Flink の Hologres コネクターを使用して Hologres のデータをリアルタイムで消費する

1.17

8.0.4

2.0.x

2.1.x

ソーステーブル：

• 残存するパブリケーションがテーブルの再構築後に Binlog の消費を妨げる問題が修正されました。コネクターは古いパブリケーションを自動的に削除するようになりました。

全般：

• 同じジョブ内の Hologres ディメンションテーブルとシンクテーブルがコネクションプールを共有するようになり、有効な接続制限が増加しました。

• Hologres：リアルタイムデータウェアハウス

• Realtime Compute for Apache Flink の Hologres コネクターを使用して Hologres のデータをリアルタイムで消費する

1.17

8.0.3

2.0.x

2.1.x

全般：

• Hologres インスタンスのバージョンに関係なく、ディメンションテーブルとシンクテーブルは RPC モードをサポートしなくなりました。RPC モードを選択した場合、自動的に jdbc_fixed モードに切り替わります。インスタンスが古いバージョンの場合は、アップグレードすることを推奨します。

Hologres：リアルタイムデータウェアハウス

1.15

6.0.7

• 1.3.x

• 2.0.x

• ソーステーブル：

  Hologres V2.0 との互換性が追加されました。コネクターが Hologres V2.0 以降のインスタンスへの接続を検出すると、HoloHub Binlog モードが自動的に JDBC Binlog モードに切り替わります。

• ディメンションテーブル：

  Hologres V2.0 との互換性が追加されました。コネクターが Hologres V2.0 以降のインスタンスへの接続を検出すると、RPC モードが自動的に jdbc_fixed モードに切り替わります。

• シンクテーブル：

  • Hologres V2.0 との互換性が追加されました。コネクターが Hologres V2.0 以降のインスタンスへの接続を検出すると、RPC モードが自動的に jdbc_fixed モードに切り替わります。

  • 部分的な列の更新がサポートされるようになりました。Flink の INSERT ステートメントで宣言されたフィールドのみを挿入できます。この機能により、ワイドテーブルのマージシナリオが簡素化されます。

• 全般：

  レコード変換例外が発生した場合、コネクターはソースデータと変換結果をログに記録し、ダーティデータの問題のトラブルシューティングに役立つようになりました。

• バグ修正：

  • 同じジョブ内で異なるインスタンスまたはデータベースに同じ connectionPoolName を使用してもエラーが発生しなかった問題が修正されました。

  • バージョン 6.0.6 で、ディメンションテーブルの文字列型に null 値があった場合に発生していた NullPointerException が修正されました。

Hologres：リアルタイムデータウェアハウス

1.15

6.0.6

1.3.x

ソーステーブル：

• JDBC モードで Hologres Binlog データを消費する場合、スロット名パラメーターは不要になりました。デフォルトのスロットを作成できるため、HoloHub モードからの切り替えがスムーズになります。

• 新しい enable_filter_push_down パラメーターが追加されました。バッチソーステーブルは、デフォルトでフィルター条件をプッシュダウンしなくなりました。フィルタープッシュダウンを有効にするには、このパラメーターを true に設定します。

Hologres：リアルタイムデータウェアハウス

1.15

6.0.5

1.3.x

• 全般：ジョブの開始時に、すべてのパラメーター情報が TaskManager ログに出力されるようになり、トラブルシューティングが容易になりました。

• CTAS/CDAS：フィールドデータ型に寛容モードが追加されました。このモードでは、ソースでデータ型の変更が発生した場合、元の型と新しい型が同じ型に正規化できる限り、変更は成功したと見なされます。

• Hologres カタログ：ALTER TABLE 構文が強化され、テーブル名の変更、列の追加、列名の変更、列コメントの変更など、Hologres 物理テーブルのプロパティを変更できるようになりました。

• CREATE TABLE AS (CTAS) ステートメント (廃止予定)

• Hologres カタログの使用

1.15

6.0.3~6.0.4

1.3.x

ソーステーブル：

• Hologres Binlog データを消費するための JDBC モードが追加されました。このモードは、より多くのデータ型をサポートし、カスタムアカウントを使用できます。

• バッチソーステーブル、および全量・増分データのソーステーブルの全量フェーズにおいて、フィルタープッシュダウンのサポートが追加されました。

シンクテーブル：

Fixed Copy モードでのデータ書き込みがサポートされるようになりました。Fixed Copy は Hologres V1.3 の新機能です。JDBC モードと比較して、Fixed Copy モードはストリーミングを介してより高いスループットとより低いデータレイテンシーを提供し、バッチ処理を排除することでクライアントのメモリ消費を削減します。

Hologres カタログ：

• カタログを作成する際に、デフォルトのテーブルプロパティを設定できるようになりました。

sdkMode パラメーター：Hologres のテーブルの種類ごとに異なるモードが利用可能です。sdkMode パラメーターは、モード選択を統合するために使用されるようになりました。

• COPY ステートメント

1.13

4.0.18

1.1 以降

シンクテーブルのメトリクスを報告すると書き込みパフォーマンスが低下する問題が修正されました。

1.13 および 1.15

4.0.15 および 6.0.2

1.1 以降

ソーステーブル：

• バッチソーステーブルは、デフォルトで大文字と小文字を区別するようになりました。

• バッチソーステーブルでのスキャン操作のトランザクションタイムアウトを設定できるようになりました。

• バッチソーステーブルで複雑な文字列を解析すると失敗することがある問題が修正されました。

• 全量・増分データのソーステーブルにアップサートモードが追加されました。

ディメンションテーブル：

Hologres ディメンションテーブルの非同期リクエストタイムアウト (asyncTimeoutMs) を設定できるようになりました。

シンクテーブル：

• CTAS を使用して Hologres シンクテーブルを作成する際に、PARTITION BY 構文でパーティションテーブルを定義できるようになりました。

• メトリクスが currentSendTime メトリクスをサポートするようになりました。

• Apache Flink ソーステーブル

• CREATE TABLE AS (CTAS) ステートメント (廃止予定)

1.13

4.0.13

1.1 以降

• 全量・増分データのソーステーブルがサポートされるようになりました。

• DataStream API がサポートされるようになりました。

• Hologres DataStream Connector

1.13

4.0.11

0.10 以降

CTAS と CDAS がサポートされるようになりました。

• CREATE TABLE AS (CTAS) ステートメント (廃止予定)

• CREATE DATABASE AS (CDAS) ステートメント (廃止予定)

1.13

4.0.8

0.10 以降

シンクテーブル、ソーステーブル、ディメンションテーブルで Hologres カタログがサポートされるようになりました。

Hologres カタログの管理

1.13

3.0.0

0.9 以降

Hologres からのリアルタイムデータ消費がサポートされるようになりました。

Fully Managed Flink

重大度

説明

影響を受けるバージョン

修正済みバージョン

解決策

P0

結果テーブルの列のサブセットに書き込む際、書き込まれないフィールドに時間関連のデフォルト値 (current_timestamp や now() など) が設定されていると、書き込まれる値が不正になることがあります。これは、FixedFE モードが時間関連のデフォルト値を正しく処理しないためです。

11.0-11.5

N/A

Flink 側の now() 関数を使用して、結果テーブルの対応するフィールドに値を渡してください。または、connection.fixed.enabled パラメーターを false に設定してください。

P0

Binlog のコンシューム中に、物理列とメタデータ列が table_name のように同じ名前を持つ場合、コネクタは物理列ではなくメタデータ列から値を誤って読み取り、結果としてデータが不正確になります。

8.0.11、11.0-11.4

11.5

バージョン 11.5 以降にアップグレードして scan.binlog.prefer.physical-column.over.metadata を true に設定するか、Binlog ソーステーブルの DDL でメタデータ列と同じ名前の物理列を宣言しないようにしてください。

P1

Binlog の消費中に、カラムプルーニングによってデータが誤った列に読み込まれることがあります。これは、holo-client がカラムプルーニングを処理する際に、予期しない列を取得する可能性があるためです。

11.3-11.5

影響を受けるすべてのバージョン (11.3-11.5) に対してホットフィックスがリリースされています。

この問題はホットフィックスで対処されているため、発生する可能性は低いです。DataStream ジョブの場合は、最新のコネクタバージョンを使用してください。

P2

ジョブを停止したときに、1対多のディメンションテーブルのスキャナーが正しく閉じません。これにより、リソースリークやシャットダウン時のジョブタイムアウトが発生する可能性があります。この問題は、holo-client の内部スキャナーシャットダウンロジックの問題が原因です。

11.3 より前のバージョン

11.4

バージョン 11.4 以降にアップグレードしてください。

P1

チェックアンドプット機能を使用しているときに、delete レコードを処理すると NullPointerException (NPE) がスローされてジョブが失敗します。

8.0.11-11.4

11.5

バージョン 11.5 以降にアップグレードしてください。または、delete 操作を含むストリームではチェックアンドプットを使用しないでください。

P2

ジョブの実行中にテーブルがドロップされて再作成された場合、コネクタはチェックポイントからの再開に失敗します。

11.0-11.2

11.3

テスト環境では、この問題を回避するためにバージョン 11.3 以降にアップグレードしてください。注：Binlog の消費中にテーブルをドロップするとデータの正確性に影響するため、本番環境では、Binlog の消費中にテーブルを再構築することは避けてください。

P1

JDBC Binlog を介して RoaringBitmap データを読み取ると失敗し、解析例外がスローされます。

11.0-11.2

11.3

バージョン 11.3 以降にアップグレードしてください。

P1

物理的にパーティション化されたテーブルから消費する際、シャードにデータがない場合、コネクタはステートのログシーケンス番号 (LSN) を誤って 0 に初期化します。これにより、このステートからジョブが再開されるとデータが失われます。

8.0.10 より前のバージョン、および 11.0～11.2

8.0.11、11.3

バージョン 8.0.11、または 11.3 以降にアップグレードしてください。

P1

null 要素を含む TEXT 配列を書き込むと NPE がスローされ、書き込み操作が失敗します。

11.0-11.1

11.2

バージョン 11.2 以降にアップグレードしてください。または、アップストリームの TEXT 配列に null 要素が含まれないようにします。

P1

パーティション作成サフィックスと動的パーティション間の競合により、パーティションの作成が失敗します。

11.0-11.2

11.3

バージョン 11.3 以降にアップグレードしてください。

P2

ダーティデータとは無関係の例外がダーティデータポリシーをトリガーし、有効な例外が誤って処理される (たとえば、サイレントに破棄される) ことがあります。

11.0-11.1

11.2

バージョン 11.2 以降にアップグレードしてください。

P1

全量・増分統合ソーステーブルの場合、JDBC Binlog は LSN+1 から消費を開始します。現在の LSN がすでにチェックポイントにある場合、そこから再開すると 1 レコードがスキップされる可能性があります。

8.0.10 以前のバージョン

8.0.11

バージョン 8.0.11 にアップグレードしてください。

P2

CTAS シナリオで、列のドロップと型の変更が同じ操作で発生した場合、型の正規化エラーによりスキーマの変更が失敗します。

8.0.10 以前のバージョン

8.0.11

バージョン 8.0.11 にアップグレードしてください。または、同じ操作で列をドロップして型を変更しないようにします。

P2

カタログディメンションテーブルを使用すると、Binlog パラメーターのファクトリ検証によって誤検知の例外が発生します。

8.0.10 以前のバージョン

8.0.11

バージョン 8.0.11 にアップグレードしてください。

P2

複数テーブルのシナリオでは、過剰な数の JDBC ポーリング要求により SQL Gateway がタイムアウトします。

11.0-11.5

11.6

バージョン 11.6 にアップグレードしてください。または、1 つのジョブ内の Hologres テーブルの数を減らします。

P2

FixedFE モードを選択したときに、テーブルに FixedFE でサポートされていないデータ型が含まれている場合、接続は自動的に FE 接続にダウングレードされず、書き込みまたはクエリの例外が発生します。

11.0-11.2

11.3

バージョン 11.3 以降にアップグレードしてください。または、手動で FE 接続モードを指定します。

P1

JDBC モードで Binlog を消費する際、「Binlog Convert Failed」例外が発生したり、一部のシャードからのデータ読み取りが停止したりすることがあります。これは、Hologres インスタンスのゲートウェイがクライアントにバックエンドのタイムアウト例外を返す際に問題があり、読み取り操作がハングしたり、解析エラーで失敗したりするためです。

N/A

N/A

この問題は、ジョブのバックプレッシャーが高い場合に発生しやすくなります。データ読み取りが停止した場合は、ジョブを再起動し、最新のチェックポイントから再開してください。

この問題を完全に解決するには、Hologres インスタンスを V2.2.21 以降にアップグレードしてください。

P2

ジョブのデプロイが遅い、またはタイムアウトします。スレッドダンプを分析すると、プロセスが GetTableSchema でスタックしていることがわかります。

N/A

N/A

この問題には複数の原因が考えられます。以下の手順でトラブルシューティングしてください：

1. Flink クラスターと Hologres インスタンス間の ネットワーク接続 を確認してください。

2. 内部リトライによって例外の根本原因が隠されないように、jdbcRetryCount パラメーターを 1 に設定します。

3. Hologres V2.0 以前では、頻繁な DDL 操作によってメタデータのクリーンアップが遅延し、テーブルメタデータのクエリが遅くなることがあります。Hologres インスタンスを V2.1 以降にアップグレードすることを推奨します。

P0

FixedFE モード (コネクタの jdbc_fixed モードに対応) で TEXT、JSON、または JSONB データを Hologres に書き込む際、データソースに無効な文字が含まれていると、予期しない例外がスローされることがあります。これにより、接続先の FE ノードが再起動し、接続が切断される可能性があります。

N/A

N/A

アップストリームの文字列の有効性を保証できない場合は、JDBC モードでデータを書き込む必要があります。

また、結果テーブルに remove-u0000-in-text.enabled パラメーターを設定する必要があります。

または、Hologres インスタンスを V3.0 以降にアップグレードすると、引き続き jdbc_fixed モードを使用できます。

P1

JDBC ディメンションテーブルで 1 対多の結合を実行すると、Flink タスクで高いメモリ使用量や Out Of Memory (OOM) エラーが発生することがあります。

N/A

N/A

Hologres V1.3 では、prefix scan を使用し、クエリ結果の数が jdbcScanFetchSize の値を超えると、バッチクエリが終了しないことがあります。回避策として、jdbcScanFetchSize を 100000 のような大きな値に設定してください。

この問題を完全に解決するには、Hologres インスタンスを V2.0 以降にアップグレードしてください。

P1

Binlog ジョブがステートフルリカバリー中に the table id parsed from checkpoint is different from the current table id 例外をスローします。原因は、ジョブが以前の実行中に TRUNCATE 操作を実行したか、テーブルを再作成したためです。チェックポイントにはジョブの初期起動時のテーブル ID が格納されているため、現在のテーブル ID と一致しません。

8.0.4

8.0.9

バージョン 8.0.9 以降、テーブル ID のチェックは強制されなくなりました。代わりに警告がログに記録され、ジョブは最新のステートから再開できます。ただし、Binlog ジョブの実行中にテーブルを再構築すると、以前のすべての Binlog データが失われるため、この操作は避けてください。

P2

ジョブの実行中にバックプレッシャーが発生することがあります。スレッドダンプを分析すると、実行プールが close() または start() メソッドでスタックしていることがわかります。これは、複数のクライアントが同じコネクションプールを共有している場合に発生する可能性があり、デッドロックによってコネクションプールが正しく閉じられなくなることがあります。

8.0.5

8.0.9

コネクタのバージョンをアップグレードしてください。

P2

ソーステーブルで DELETE FROM 操作を実行した後、全量・増分消費のジョブを実行すると、増分フェーズで利用可能なデータがないため、全量消費フェーズが最初からすべての Binlog データを再消費します。

8.0.6 以前のバージョン

8.0.7

コネクタのバージョンをアップグレードするか、増分消費の開始時刻を指定してください。

P1

ディメンションテーブルに多数のフィールドが含まれている場合、ジョブのデプロイがタイムアウトします。

8.0.6

8.0.7

コネクタのバージョンをアップグレードしてください。

P0

バッチソーステーブルで enable_filter_push_down パラメーターが有効な場合、フィルターは有効になりません。その結果、コネクタはフィルターされるべきデータを読み取ってしまいます。

8.0.5 以前のバージョン

8.0.6

コネクタのバージョンをアップグレードしてください。

P0

FixedFE モード (コネクタの jdbc_fixed モードに対応) で JSON または JSONB データを Hologres に書き込む際、ソースデータに無効な JSON または JSONB フィールドが含まれていると、接続先の FE ノードが再起動し、FE 接続が切断されます。

8.0.5 以前のバージョン

なし

アップストリームの JSON または JSONB 文字列の有効性が保証できない場合は、JDBC モードを使用してデータを書き込んでください。

P1

JDBC ディメンションテーブルで 1 対多の結合を実行すると、接続障害などの内部例外が正しくスローされません。これにより、非同期結合ノードでバックプレッシャーが発生し、データフローが停止する可能性があります。この問題はまれに発生します。

6.0.7 以前のバージョン

8.0.3

コネクタのバージョンをアップグレードしてください。一時的な解決策としてジョブを再起動することもできます。

P1

JDBC モードで Binlog データを消費すると、メモリリークが発生します。これは、ジョブの開始時に消費率が高く、その後継続的に低下するという形で現れることがあります。

6.0.7 より前のバージョン

6.0.7

コネクタのバージョンをアップグレードしてください。DataStream ジョブの場合は、バージョン 6.0.7-1 の依存関係を使用する必要があります。

P0

JDBC モードで書き込みを行う際、スケジュールされたフラッシュ (jdbcWriteFlushInterval パラメーターで制御) 中にキャプチャされた例外は、次のデータレコードが処理されるまでスローされません。書き込みトラフィックが少ない場合、例外がキャプチャされてもまだスローされていない間にチェックポイントが正常に作成される可能性があります。その後障害が発生すると、ジョブはこの無効なチェックポイントから再開され、データ損失につながる可能性があります。

6.0.6 以前のバージョン

6.0.7

この問題は、トラフィックが少ない場合に発生しやすくなります。コネクタのバージョンをアップグレードするか、jdbcWriteFlushInterval をチェックポイント間隔より長く設定してください。

P2

JDBC モードで Binlog データを消費する際にスロット名を設定しないと、システムが自動的に作成します。テーブル名またはスキーマ名に特殊文字が含まれている場合、自動生成されたスロット名が無効になり、構文エラーが発生します。

6.0.6

6.0.7

コネクタのバージョンをアップグレードしてください。DataStream ジョブの場合は、バージョン 6.0.7-1 の依存関係を使用する必要があります。

P1

同じジョブ内の異なる Hologres インスタンスまたはデータベースが同じ connectionPoolName を使用すると、「table not found」などの例外が発生する可能性があります。

6.0.6 以前のバージョン

6.0.7

同じジョブで使用される各 Hologres インスタンスまたはデータベースに、異なる connectionPoolName を使用してください。

P1

ディメンションテーブルに null 値を持つ文字列フィールドが含まれている場合、NPE がスローされます。

6.0.6

6.0.7

コネクタのバージョンをアップグレードしてください。

P0

Hologres ソーステーブルでは、フィルタープッシュダウンがデフォルトで有効になっています。ただし、ジョブが Hologres ディメンションテーブルも使用し、書き込み DML にディメンションテーブルの主キー以外のフィールドに対するフィルターが含まれている場合、そのフィルターはディメンションテーブルにも誤ってプッシュダウンされます。これにより、ディメンションテーブルの結合結果が不正になる可能性があります。

6.0.3-6.0.5

6.0.6

コネクタのバージョンをアップグレードしてください。

P0

複数の結果テーブルが異なる mutatetype 設定を持ちながら、同じ connectionPoolName を共有してコネクションプールを再利用する場合、mutatetype 設定が上書きされ、有効にならない可能性があります。

6.0.2 以前のバージョン

6.0.3

すべての結果テーブルの mutatetype を InsertOrUpdate に設定してください。または、mutatetype 設定が異なるテーブルには、異なる connectionPoolName を使用してください。

P1

Binlog ソーステーブルの DDL で hg_binlog_timestamp_us フィールドが宣言されている場合、NPE がスローされます。

6.0.2

6.0.3

このフィールドを使用しないか、コネクタのバージョンをアップグレードしてください。

P1

メトリックのレポートは、結果テーブルの書き込みパフォーマンスに影響します。シンクノードの スレッドダンプ は、 reportWriteLatency でスタックしていることを示しています。

4.0.15-4.0.17

4.0.18

この問題の影響を受けないバージョンを使用します。

P2

バッチソーステーブルから STRING または STRING ARRAY 型のデータを読み取る際、データに特殊文字が含まれていると解析に失敗します。

4.0.14 以前のバージョン

4.0.15

ソーステーブルからダーティデータを削除するか、コネクタのバージョンをアップグレードしてください。

P2

全量・増分統合のソーステーブルの DDL で hg_binlog などの Binlog 固有のフィールドを宣言すると、全量データを消費できません。

4.0.13

4.0.14

全量・増分統合機能の使用を避けるか、コネクタのバージョンをアップグレードしてください。