リリースノート (2024 年 1 月 4 日) - Realtime Compute for Apache Flink

このトピックでは、Realtime Compute for Apache Flink のリリースノートについて説明し、関連リファレンスへのリンクを提供します。リリースノートでは、2024 年 1 月 4 日にリリースされたバージョンの Realtime Compute for Apache Flink の主な更新とバグ修正について説明します。

重要

カナリアリリースは、アップグレードのためにネットワーク全体で段階的に完了します。アップグレード計画については、Realtime Compute for Apache Flink コンソールのホームページの右側にある最新のお知らせをご覧ください。フルマネージド Flink で新機能を使用できない場合は、新しいバージョンがまだアカウントで利用できません。できるだけ早くアップグレードを実行する場合は、[チケットの送信] を適用してアップグレードを申請してください。

概要

Realtime Compute for Apache Flink の Ververica Runtime (VVR) の新しいエンジンバージョン 8.0.5 が 2024 年 1 月 4 日に正式にリリースされました。このバージョンには、コネクタの更新、パフォーマンスの最適化、および不具合の修正が含まれています。

このバージョンは、Apache Flink 1.17.2 に基づくエンタープライズレベルの Flink エンジンです。このバージョンでは、次の機能が更新または追加されています。指定されたオフセットまたはタイムスタンプで MySQL Change Data Capture (CDC) ソーステーブルからデータを読み取る速度が向上しました。MongoDB コネクタをソーステーブルに使用する場合、MongoDB コネクタはテーブルスキーマの変更の同期をサポートします。MongoDB コネクタは、ディメンションテーブルに使用できます。Java Database Connectivity (JDBC) コネクタは、JSONB および UUID 拡張型のデータをサポートします。StarRocks 結果テーブルは、JSON 型のデータをサポートします。Hologres コネクタが JDBC モードを使用する場合、バッチデータ処理中に重複排除を無効にすることができます。これにより、スループットが最適化されるときにデータの整合性が確保されます。PolarDB for Oracle 1.0 コネクタを使用して、PolarDB for PostgreSQL (Oracle 互換) にデータを書き込むことができます。Apache Flink 1.17.2 に存在する複数の不具合 (Apache Flink コミュニティの修正済みの不具合を含む) が修正されました。システムの安定性と信頼性を向上させるために、エンジン関連の問題も解決されています。

カナリアリリースは、ネットワーク全体で段階的に完了します。カナリアリリースが完了したら、デプロイで使用されているエンジンを新しいバージョンにアップグレードできます。詳細については、「デプロイのエンジンバージョンをアップグレードする」をご参照ください。皆様からのフィードバックをお待ちしております。

機能

機能	説明	リファレンス
指定された開始オフセットまたはタイムスタンプで MySQL CDC ソーステーブルからデータを読み取る速度の向上	開始オフセットまたはタイムスタンプを指定して、MySQL CDC ソーステーブルからデータを読み取ることができます。このようにして、データの読み取りを開始する位置をすばやく特定できます。これにより、データの読み取り速度が向上します。	MySQL コネクタ
ソーステーブルに使用される MongoDB コネクタでサポートされるテーブルスキーマの変更の同期と列の自動追加	MongoDB コネクタをソーステーブルに使用する場合、CREATE TABLE AS または CREATE DATABASE AS ステートメントを実行して、ソーステーブルから結果テーブルへのスキーマの変更を同期し、結果テーブルに列を自動的に追加できます。	CREATE TABLE AS (CTAS) ステートメント CREATE DATABASE AS ステートメント
ディメンションテーブルに使用される MongoDB コネクタ	MongoDB コネクタをディメンションテーブルに使用して、結合クエリを実行できます。	MongoDB コネクタ
MongoDB カタログのサポート	MongoDB カタログを使用してメタデータを登録した後、コレクションのスキーマを推測できます。このようにして、SQL コードを記述するときに DDL ステートメントを使用して MongoDB ソーステーブルを作成する必要はありません。	MongoDB カタログの管理
JDBC コネクタでサポートされるデータ型の増加	JSONB および UUID 拡張型のデータは、JDBC コネクタでサポートされています。	JDBC コネクタ
Hologres コネクタでサポートされる SSL 暗号化伝送、バルクロードモードでのデータ書き込み、およびバッチデータ処理中の重複排除	SSL 暗号化伝送を使用して、より安全なデータの読み取りと書き込みを実装します。バルクロードモードでデータを書き込むと、Hologres 結果テーブルへのデータ書き込みのワークロードが大幅に削減されます。 sdkMode パラメーターを jdbc または jdbc_fixed に設定すると、バッチデータ処理中に重複排除を実行できます。これにより、データの整合性とデータベースのパフォーマンスを効果的に向上させ、ネットワークオーバーヘッドを削減できます。	Hologres コネクタ
jdbcBinlogSlotName パラメーターの構成の削除	Hologres V2.1 以降では、jdbcBinlogSlotName パラメーターを構成する必要はありません。このパラメーターは、JDBC モードでのバイナリログソーステーブルのスロット名を指定します。	Hologres コネクタ Realtime Compute for Apache Flink の Hologres コネクタを使用して Hologres からデータをリアルタイムで使用する
PolarDB for Oracle 1.0 コネクタの追加	PolarDB for Oracle 1.0 コネクタを使用して、PolarDB for PostgreSQL (Oracle 互換) にデータを書き込むことができます。	PolarDB for Oracle 1.0 コネクタ
StarRocks コネクタでサポートされるデータ型の増加	JSON 型のデータは、StarRocks 結果テーブルでサポートされています。	なし
ApsaraMQ for RocketMQ 結果テーブルでサポートされる partitionField パラメーター	ApsaraMQ for RocketMQ 結果テーブルの partitionField パラメーターを構成して、パーティションキー列として使用されるフィールド名を指定できます。結果テーブルにデータが書き込まれると、列の値に基づいてハッシュ値が計算されます。同じハッシュ値を持つデータは、テーブルの同じパーティションに書き込まれます。	ApsaraMQ for RocketMQ コネクタ
Elasticsearch コネクタでサポートされる Elasticsearch V8.X および TEXT データ型のフィールドの .keyword サフィックスの無視	Elasticsearch コネクタを使用して、V8.X の Elasticsearch 結果テーブルにデータを書き込むことができます。 Elasticsearch コネクタをディメンションテーブルに使用する場合は、ignoreKeywordSuffix パラメーターを true に設定して、TEXT データ型のフィールドの .keyword サフィックスを無視できます。	Elasticsearch コネクタ
MySQL コネクタで無視される NULL 値	データ更新中に MySQL 結果テーブルに書き込まれるデータの NULL 値は無視できます。	MySQL コネクタ