Hologres:Flink を使用したデータのインポート

Flink バージョン

Realtime Compute for Apache Flink (VVR バージョン)

Hologres バージョン

更新情報

参照情報

1.17

8.0.9～8.0.10

2.1.x

2.2.x

3.0.x

• 次の問題が修正されました。接続プールが共有されている場合、新しいクライアントが登録されるとデッドロックが発生する可能性があります。

• バイナリログを使用するジョブが状態から再開する場合、テーブル ID は強制的にチェックされなくなりました。

Hologres コネクタ

1.17

8.0.8

2.1.x

2.2.x

結果テーブル:

• ignoredeleteに加えて、sink.delete-strategy パラメーターが追加され、UPDATE BEFORE レコードの処理により多くのメソッドを使用できるようになりました。

Hologres コネクタ

1.17

8.0.7

2.1.x

ディメンションテーブル:

• 次の問題が修正されました。ディメンションテーブルに多数のフィールドが含まれている場合、メタデータが頻繁にクエリされ、ドラフトデプロイがタイムアウトします。

すべての種類のテーブル:

• 次の問題が修正されました。異なるユーザーが同じ接続プール内の異なるテーブルで操作を実行すると、必要な権限が付与されていないことを示すエラーメッセージが表示されます。

Hologres コネクタ

1.17

8.0.6

2.1.x

ソーステーブル:

• Hologres V2.1 以降では、HoloHub モードは廃止されています。Realtime Compute for Apache Flink を使用して HoloHub モードで Hologres バイナリログを使用することはできなくなりました。VVR 8.0.6 を使用する Realtime Compute for Apache Flink の Hologres コネクタを使用し、Hologres インスタンスのバージョンが V2.1 以後の場合、Hologres コネクタは HoloHub モードを Java Database Connectivity (JDBC) モードに自動的に変更します。詳細については、「Realtime Compute for Apache Flink または Blink を使用して Hologres バイナリログデータをリアルタイムで使用する」をご参照ください。

すべての種類のテーブル:

• type-mapping.timestamp-converting.legacy パラメーターを構成して、Realtime Compute for Apache Flink と Hologres 間の時間タイプの変換を有効にできます。これにより、Realtime Compute for Apache Flink の TIMESTAMP_LTZ データ型が Hologres でサポートされます。詳細については、「Hologres コネクタ」トピックのRealtime Compute for Apache Flink と Hologres のタイムゾーン」をご参照ください。

• Hologres コネクタ

• 仮想ウェアハウスインスタンスの概要

• 仮想ウェアハウスインスタンスに接続する

• 仮想ウェアハウスにロードされたテーブルグループの権限を管理する

1.17

8.0.5

2.0.x

2.1.x

ソーステーブル:

• Hologres V2.1 以降では、JDBC を使用してバイナリログを使用する場合、スロットを作成する必要はありません。詳細については、「JDBC を使用して Hologres バイナリログを使用する」をご参照ください。Flink 1.17 以降、Hologres インスタンスのバージョンが V2.1 以降の場合、パブリケーションとスロットは自動的に作成されません。

結果テーブル:

• deduplication.enabled パラメーターが追加されました。デフォルト値は true です。このパラメーターを false に設定すると、結果テーブルにデータが書き込まれて集計されるときに、データの重複除去は行われません。この機能は、アップストリームの Change Data Capture (CDC) ストリーミングデータの完全再生などのシナリオに適しています。

• プライマリキーのないテーブルは、バッチ書き込みをサポートしています。バッチ書き込みは、jdbc_copy モードよりも Hologres リソースの消費量が少なくなります。

すべての種類のテーブル:

• connection.ssl.mode パラメーターと connection.ssl.root-cert.location パラメーターを構成することで、転送暗号化を有効にできます。

• 内部 JDBC 接続のタイムアウトパラメーターが追加されました。これにより、障害発生時のサーバー再起動などのシナリオで、クライアント接続の待機時間が長くなるのを防ぎます。

• Hologres コネクタ

• Realtime Compute for Apache Flink の Hologres コネクタを使用して Hologres のデータをリアルタイムで使用する

1.17

8.0.4

2.0.x

2.1.x

ソーステーブル:

• JDBC を使用してバイナリログを使用する場合、パブリケーションは自動的に作成されます。ただし、テーブルが再構築された場合、既存のパブリケーションは自動的に削除されません。その結果、再構築されたテーブルのバイナリログを使用できなくなります。このバージョンでは、この問題を解決するために、システムは既存のパブリケーションを自動的に削除します。

すべての種類のテーブル:

• 接続プールパラメーターにデフォルト値が追加されました。同じタスク内の Hologres ディメンションテーブルと結果テーブルは、接続プールを共有します。

• Hologres コネクタ

• Realtime Compute for Apache Flink の Hologres コネクタを使用して Hologres のデータをリアルタイムで使用する

1.17

8.0.3

2.0.x

2.1.x

すべての種類のテーブル:

• すべての Hologres バージョンのディメンションテーブルと結果テーブルは、リモートプロシージャコール (RPC) モードをサポートしていません。RPC モードを指定すると、システムは RPC モードを jdbc_fixed モードに自動的に切り替えます。Hologres インスタンスが以前のバージョンで実行されている場合は、インスタンスをアップグレードすることをお勧めします。

Hologres コネクタ

1.15

6.0.7

• 1.3.x

• 2.0.x

• ソーステーブル:

  Hologres コネクタは、Hologres V2.0 以降に適合するように更新されています。V2.0 以降の Hologres インスタンスが接続されている場合、バイナリログソーステーブルに使用される HoloHub モードは自動的に JDBC モードに切り替わります。

• ディメンションテーブル:

  Hologres コネクタは、Hologres V2.0 以降に適合するように更新されています。V2.0 以降の Hologres インスタンスが接続されている場合、ディメンションテーブルに使用される RPC モードは自動的に jdbc_fixed モードに切り替わります。

• 結果テーブル:

  • Hologres コネクタは、Hologres V2.0 以降に適合するように更新されています。V2.0 以降の Hologres インスタンスが接続されている場合、ディメンションテーブルに使用される RPC モードは自動的に jdbc_fixed モードに切り替わります。

  • 特定の列を更新する機能が追加されました。Realtime Compute for Apache Flink の INSERT 文で宣言されているフィールドのみを挿入できます。この機能により、ワイドテーブルへのデータのマージが簡素化されます。

• すべての種類のテーブル:

  コネクタでレコード変換例外が発生した場合、ソースデータと現在の変換結果が表示され、ダーティデータのトラブルシューティングが容易になります。

• 修正された問題:

  • 次の問題が修正されました。デプロイメントで異なるインスタンスまたはデータベースが同じ connectionPoolName を使用すると、エラーが表示されません。

  • 次の問題が修正されました。Realtime Compute for Apache Flink の VVR 6.0.6 で、ディメンションテーブルの STRING 型の列に null 値が含まれている場合、NullPointerException (NPE) エラーが返されます。

Hologres コネクタ

1.15

6.0.6

1.3.x

ソーステーブル:

• JDBC モードで Hologres バイナリログを使用する場合、スロット名パラメーターは不要です。デフォルトスロットを作成して、HoloHub モードから JDBC モードへの切り替えを容易にすることができます。

• enable_filter_push_down パラメーターが追加されました。Realtime Compute for Apache Flink がバッチモードで Hologres ソーステーブルからデータを読み取る場合、フィルタープッシュダウンは自動的に実行されません。フィルタープッシュダウンを有効にするには、このパラメーターを true に設定します。

Hologres コネクタ

1.15

6.0.5

1.3.x

• すべての種類のテーブル: デプロイメントの開始時に、すべてのパラメーター情報が TaskManager ログに出力され、トラブルシューティングが容易になります。

• CREATE TABLE AS (CTAS)/CREATE DATABASE AS (CDAS): フィールドタイプの正規化モードがサポートされています。このモードでは、変更前後のデータ型が型の正規化ルールに基づいて同じデータ型に変換できる場合、ソーステーブルのデータ型の変更によってデプロイメントが失敗することはありません。

• Hologres カタログ: ALTER TABLE 文を実行して、Hologres 物理テーブルのプロパティを変更できます。たとえば、テーブル名の変更、列の追加、列名の変更、列コメントの変更などが可能です。

• CREATE TABLE AS 文

• Hologres カタログを使用する

1.15

6.0.3～6.0.4

1.3.x

ソーステーブル:

• Hologres バイナリログは JDBC モードで使用できます。このモードは多くのデータ型をサポートし、カスタムアカウントを作成できます。

• フィルタープッシュダウンは、完全データと増分データを含むソーステーブルと、完全フェーズとバッチソーステーブルでサポートされています。

結果テーブル:

データは固定コピーモードで結果テーブルに書き込むことができます。このモードは Hologres V1.3 でサポートされています。ストリーミングモードは固定コピーモードで使用されます。JDBC モードでは、データはバッチで処理されます。そのため、固定コピーモードでの書き込みは、JDBC モードでの書き込みよりもスループットが高く、レイテンシが低く、クライアントメモリの消費量が少なくなります。

Hologres カタログ:

• Hologres カタログを作成するときに、デフォルトのテーブルプロパティを使用できます。

sdkMode パラメーター: Hologres のさまざまな種類のテーブルで複数のモードを使用できます。sdkMode パラメーターは、Hologres のテーブルのモードを指定するために使用されます。

• COPY 文

1.13

4.0.18

1.1 以降

次の問題が修正されました。シンクテーブル関連のメトリックが報告されると、書き込みパフォーマンスに悪影響を及ぼします。

1.13 および 1.15

4.0.15 および 6.0.2

1.1 以降

ソーステーブル:

• バッチソーステーブルでは、デフォルトで大文字と小文字が区別されます。

• バッチソーステーブルのスキャン操作に関連するトランザクションのタイムアウト期間を構成できます。

• 次の問題が修正されました。バッチソーステーブルの複雑な文字列が解析に失敗することがあります。

• 完全データと増分データを含むソーステーブルに Upsert モードが追加されました。

ディメンションテーブル:

非同期リクエストのタイムアウト期間設定は、Hologres ディメンションテーブルでサポートされています。タイムアウト期間は asyncTimeoutMs パラメーターで指定します。

結果テーブル:

• PARTITION BY 文がサポートされています。CREATE TABLE AS 文を使用して Hologres 結果テーブルを作成する場合、PARTITION BY 文を使用してパーティションテーブルを定義できます。

• メトリック currentSendTime がサポートされています。

• Apache Flink ソーステーブル

• CREATE TABLE AS 文

1.13

4.0.13

1.1 以降

• ソーステーブルの完全データと増分データの使用がサポートされています。

• DataStream API がサポートされています。

• Hologres コネクタ

1.13

4.0.11

0.10 以降

CREATE TABLE AS 文と CREATE DATABASE AS 文がサポートされています。

• CREATE TABLE AS 文

• CREATE DATABASE AS 文

1.13

4.0.8

0.10 以降

Hologres カタログは、結果テーブル、ソーステーブル、およびディメンションテーブルでサポートされています。

Hologres カタログの管理

1.13

3.0.0

0.9 以降

Hologres データのリアルタイム使用がサポートされています。

フルマネージド Flink

重大度

問題

影響を受けるバージョン

修正バージョン

ソリューション

P1

JDBC モードでのバイナリログ使用中に、「Binlog Convert Failed」というエラーメッセージが報告されるか、一部のシャードからのデータ読み取りが特定の時点で停止します。Hologres インスタンスのゲートウェイがバックエンドタイムアウトメッセージを受信すると、ゲートウェイは例外情報をクライアントに送信します。このプロセスでエラーが発生しました。その結果、データの読み取りが停止するか、データの解析に失敗します。

N/A

N/A

ほとんどの場合、このエラーはジョブのバックプレッシャーが発生したときに報告される可能性が高くなります。データの読み取りが停止した場合は、最新のチェックポイントからジョブを再開します。

この問題を完全に解決するには、Hologres インスタンスを V2.2.21 以降にアップグレードする必要があります。

P2

ドラフトデプロイが遅い場合、またはタイムアウトした場合、スレッドダンプをチェックして、デプロイプロセスが GetTableSchema で停止していることを確認します。

N/A

N/A

複数の状況が存在する可能性があります。問題のトラブルシューティングを行うには、次の手順を順番に実行します。

1. Flink クラスタと Hologres インスタンス間のネットワーク接続を確認します。

2. 問題の根本原因を不明瞭にする内部再試行を防ぐために、jdbcRetryCount パラメーターを 1 に設定します。

3. Hologres インスタンスを Hologres V2.1 以降にアップグレードします。Hologres V2.0 以前では、データ定義言語 (DDL) 操作を頻繁に実行すると、メタデータが時間内にクリアされない場合があります。これにより、メタデータのクエリ速度が低下する可能性があります。

P0

FixedFE モードで TEXT、JSON、または JSONB データ型のデータを Hologres に書き込み、データソースに無効な文字が含まれている場合、予期しない例外がスローされる可能性があります。その結果、接続されている FE ノードが再起動し、FE 接続が中断されます。FixedFE モードは、Hologres コネクタの jdbc_fixed モードに対応します。

N/A

N/A

アップストリームの文字列の有効性が保証されない場合は、JDBC モードで Hologres にデータを書き込み、設定することをお勧めします。

アップストリーム文字列の有効性を保証できない場合は、JDBC モードで Hologres にデータを書き込み、結果テーブルの remove-u0000-in-text.enabled パラメーターを true に設定することをお勧めします。

また、Hologres インスタンスを Hologres V3.0 以降にアップグレードして、jdbc_fixed モードを使用することもできます。

P1

JDBC ディメンションテーブルが複数のテーブルと結合されている場合、Flink タスクでメモリ使用量が過剰になるか、メモリ不足 (OOM) の状況が発生する可能性があります。

N/A

N/A

Hologres V1.3 で prefix scan を使用しています。クエリ結果の数が jdbcScanFetchSize パラメーターの値を超えると、バッチクエリが停止しないという問題が発生します。回避策: jdbcScanFetchSize パラメーターを 100000 などの大きな値に設定します。

この問題を解決するには、Hologres インスタンスを Hologres V2.0 以降にアップグレードする必要があります。

P1

ジョブが状態から再開するときに、the table id parsed from checkpoint is different from the current table id 例外がスローされます。その理由は、TRUNCATE 操作が実行されたか、ジョブの以前の実行中にテーブルが再構築されたためです。ただし、チェックポイントはジョブが最初に開始されたときのテーブル ID を保存するため、現在のテーブル ID と一致しません。

8.0.4

8.0.9

Flink 8.0.9 以降では、テーブル ID は強制的にチェックされなくなりました。警告レベルのログのみが生成されます。これにより、ジョブは最新の状態から再開できます。ただし、バイナリログを使用するジョブの実行中にテーブルを再構築することはお勧めしません。テーブルの再構築操作により、以前のバイナリログが完全に失われる可能性があります。

P2

ジョブの実行中にバックプレッシャーが発生します。スレッドダンプをチェックすることにより、実行プールが close メソッドまたは start メソッドで停止していることがわかります。その理由は、複数のクライアントが同じ接続プールを再利用すると、デッドロックが発生し、接続プールを正しく閉じることができないためです。

8.0.5

8.0.9

Hologres インスタンスのバージョンをアップグレードすることをお勧めします。

P2

ソーステーブルで DELETE FROM 操作を実行した後に、ソーステーブルの完全データと増分データを使用します。増分使用フェーズではデータは使用できません。その結果、すべてのバイナリログが完全使用フェーズで最初から使用されます。

8.0.6 以前

8.0.7

Hologres インスタンスのバージョンをアップグレードするか、増分使用の開始時刻を指定することをお勧めします。

P1

ディメンションテーブルに多数のフィールドが含まれている場合、ドラフトデプロイがタイムアウトします。

8.0.6

8.0.7

Hologres インスタンスのバージョンをアップグレードすることをお勧めします。

P0

バッチソーステーブルの enable_filter_push_down パラメーターが true に設定されている場合、フィルタープッシュダウンは有効になりません。その結果、除外する必要があるデータも読み取られます。

8.0.5 以前

8.0.6

Hologres インスタンスのバージョンをアップグレードすることをお勧めします。

P0

FixedFE モードで JSON または JSONB データ型のデータを Hologres に書き込み、データが無効な場合、接続されている FE ノードが再起動し、FE 接続が中断されます。FixedFE モードは、Hologres コネクタの jdbc_fixed モードに対応します。

8.0.5 以前

N/A

JSON または JSONB データ型のソースデータが無効になる可能性がある場合は、JDBC モードを使用して Hologres にデータを書き込むことをお勧めします。

P1

JDBC ディメンションテーブルが複数のテーブルと結合されている場合、接続障害などの内部例外が報告されない場合があります。この場合、非同期に結合されたノードにバックプレッシャーがかかり、データが流れなくなります。この問題は、低い確率で発生します。

6.0.7 以前

8.0.3

インスタンスバージョンをアップグレードすることをお勧めします。デプロイメントを再起動することもできます。

P1

JDBC モードで Hologres バイナリログを使用する場合、メモリリークが発生する可能性があります。メモリリークが発生した場合、ジョブの開始時の使用率が高く、その後低下し続ける可能性があります。

6.0.7 以前

6.0.7

インスタンスバージョンをアップグレードすることをお勧めします。DataStream デプロイメントの場合は、バージョン 1.15-vvr-6.0.7-1 の依存関係を使用する必要があります。

P0

JDBC モードでのスケジュールされたフラッシュ操作によってキャプチャされた例外は、次のデータレコードが書き込まれたときにのみ報告されます。スケジュールされたフラッシュ操作は、jdbcWriteFlushInterval パラメーターによって制御されます。少量のデータが書き込まれた場合、例外がキャプチャされているが報告されていない期間中にチェックポイント操作が正常に実行される可能性があります。この場合、データ書き込みエラーが発生すると、デプロイメントはチェックポイントからデータの再書き込みを開始します。その結果、データが失われる可能性があります。

6.0.6 以前

6.0.7

この問題は、データ量が小さい場合に発生する可能性があります。インスタンスバージョンをアップグレードするか、jdbcWriteFlushInterval パラメーターの値をチェックポイント間隔よりも大きくすることをお勧めします。

P2

JDBC モードでバイナリログを使用するときにスロット名を指定しないと、システムは自動的にスロットを作成し、デフォルト名を使用します。テーブル名に特殊文字またはスキーマ名が含まれている場合、自動的に作成されたスロットの名前は無効になり、スロットを使用できません。その結果、構文エラーが報告されます。

6.0.6

6.0.7

インスタンスバージョンをアップグレードすることをお勧めします。DataStream デプロイメントの場合は、バージョン 1.15-vvr-6.0.7-1 の依存関係を使用する必要があります。

P1

デプロイメントで異なる Hologres インスタンスまたはデータベースが同じ connectionPoolName を使用する場合、例外が発生する可能性があります。たとえば、テーブルが見つかりません。

6.0.6 以前

6.0.7

デプロイメントに使用される異なる Hologres インスタンスまたはデータベースの connectionPoolName パラメーターに異なる値を指定します。

P1

ディメンションテーブルに null 文字列が含まれている場合、NPE 例外が報告されます。

6.0.6

6.0.7

Hologres インスタンスのバージョンをアップグレードすることをお勧めします。

P0

デフォルトでは、Hologres ソーステーブルのフィルタープッシュダウンは有効になっています。デプロイメントで Hologres ディメンションテーブルを使用し、データ書き込みに使用されるデータ操作言語 (DML) 文にディメンションテーブルの非プライマリキーフィールドのフィルター条件が含まれている場合、フィルタープッシュダウンがディメンションテーブルで誤って実行されます。これにより、ディメンションテーブルの結合が無効になる可能性があります。

6.0.3～6.0.5

6.0.6

Hologres インスタンスのバージョンをアップグレードすることをお勧めします。

P0

複数の結果テーブルに mutatetype パラメーターの異なる値が指定されているが、結果テーブルに connectionPoolName パラメーターの同じ値が指定されている場合、mutatetype パラメーターの構成が上書きされ、構成が有効にならない可能性があります。

6.0.2 以前

6.0.3

すべての結果テーブルの mutatetype を InsertOrUpdate に設定します。mutatetype パラメーターの値が異なるテーブルに、connectionPoolName パラメーターの異なる値を指定することもできます。

P1

バイナリログソーステーブルの DDL 文で hg_binlog_timestamp_us フィールドが宣言されている場合、NPE 例外が報告されます。

6.0.2

6.0.3

指定されたフィールドを使用しないか、Hologres インスタンスのバージョンをアップグレードします。

P1

メトリックレポートは、結果テーブルの書き込みパフォーマンスに悪影響を及ぼします。トラブルシューティングの結果は、シンクノードの thread dump が reportWriteLatency で停止していることを示しています。

4.0.15～4.0.17

4.0.18

この問題の影響を受けないバージョンを使用します。

P2

ソーステーブルから文字列型または文字列配列型の複数の行のデータを一度に読み取るときに、特殊文字を含む文字列が解析に失敗します。

4.0.14 以前

4.0.15

ソーステーブルのダーティデータをクリアするか、Hologres インスタンスのバージョンをアップグレードします。

P2

ソーステーブルの完全データと増分データを処理するために使用される DDL 文で hg_binlog などの固有のバイナリログフィールドを宣言すると、データの一部のみを使用できます。

4.0.13

4.0.14

完全データと増分データの同期機能を使用しないか、Hologres インスタンスのバージョンをアップグレードします。