Realtime Compute for Apache Flink:2026年4月9日リリース

AI 関数のマルチモーダル機能

• マルチモーダルデータ処理：このリリースでは、PDF から画像への変換、Object Storage Service (OSS) または Message Service (MNS) からのファイルコンテンツ取得、OpenCV に基づく画像解像度検出、画像圧縮、Base64 画像パススルーのためのビルトイン関数が追加されました。これらの関数は、Qwen-VL などの Vision Large Models (VLM) を呼び出して、画像モダリティデータに対する推論を実行することをサポートします。

• MNS コネクタ：このリリースでは、Message Service (MNS) コネクタが追加されました。これは、OSS の変更イベントをサブスクライブして、AI リアルタイム処理パイプラインを有効にすることをサポートします。

SQL の機能強化

• Variant 型のサポート：Variant 型とそのフィールドアクセス構文 (variant.field および variant['key']) が追加されました。Variant 型は、基本データ型との相互変換や、Paimon sink への書き込みをサポートします。

• 新しいビルトイン関数：データインジェストの変換で、MD5 などのハッシュ関数が利用可能になりました。parse_json 関数が CDC YAML に追加され、JSON 文字列を Variant 型に変換できるようになりました。

データインジェスト (CDC YAML)

データインジェスト機能はパブリックプレビューを終了し、正式リリースされました。

Paimon、StarRocks、Hologres、MySQL、Kafka の YAML コネクタはパブリックプレビューを終了しました。

Doris、OceanBase、MaxCompute、Simple Log Service (SLS)、MongoDB、Postgres コネクタは、現在パブリックプレビュー中です。

• 複数列のデータレイクへのマージ：アップストリームの JSON ソースから複数のフィールドを単一のターゲット列にマージできるようになりました。この機能は、大文字/小文字や命名規則の違いによってフィールドが異なる場合に役立ちます。正規表現マッチング、大文字/小文字の正規化、カスタムマッピングのルールを提供します。

• パーティションへのデータ追加：Paimon sink は、プライマリキーを持たないパーティションテーブルへの書き込みをサポートするようになりました。これは追加専用のシナリオに最適です。パーティションキーをプライマリキーに追加する必要はなくなりました。

• 変換の機能強化：

  • 空の値を渡すことで、PrimaryKey または PartitionKey を完全にパージできるようになりました。

  • 正規表現を使用して、複雑なテーブル名ルーティングロジックを設定することもできます。

• エンドツーエンドの Variant サポート：CDC YAML は、Variant 型のフィールドアクセスと型変換、および Variant データの Paimon への書き込みをサポートするようになりました。

• ソースの拡張：

  • polardbx-cdc ソースが追加されました。このソースは、バイナリログへのテーブルレベルのサブスクリプションをサポートし、複数の同時サブスクリプションを許可します。

  • SLS ソースは、フィールドに指定された解析タイプを強制的に適用することをサポートするようになりました。

  • Kafka ソースは、フィールドに基づいて単一のメッセージを複数のレコードに分割し、それらを異なるターゲットテーブルに書き込むこと (フィールドルーティング) をサポートするようになりました。また、カスタム partitioner もサポートします。

• Sink の拡張：

  • Paimon sink では、コミットノードの同時実行数を個別に設定できるようになりました。

  • MaxCompute sink は、DATETIME 型のマッピングをサポートし、1 秒あたりのクエリ数 (QPS) の消費を削減するための最適化されたコミットロジックを含みます。

  • Iceberg sink は、ビルトインカタログの参照と、URL や認証情報などの接続情報の自動取得をサポートするようになりました。この機能により、設定の再利用が可能になります。

コネクタ

• Kafka：

  • sink は、Debezium JSON 形式で 3 部構成のテーブル ID (Database.Schema.Table) を書き込むことをサポートするようになりました。

  • このリリースでは、トピック変更後のステートフルな再起動により、古いトピックと新しいトピックの両方から消費が発生する問題が修正されました。システムは現在、状態の非互換性例外をスローします。

• MySQL CDC：

  • 期限切れのグローバルトランザクション識別子 (GTID) に関するエラーメッセージが改善され、根本原因が明確に示されるようになりました。

  • トラブルシューティングを容易にするために、コンシューマーサーバー ID がログに追加されるようになりました。

• PolarDB-X： このコネクタは、CDC YAML ソースとして正式にサポートされ、パブリックプレビュー中です。

• OceanBase： Java Database Connectivity (JDBC) sink の書き込みロジックがリファクタリングされ、手動でのトランザクションのロールバックと接続プールの再利用がサポートされるようになりました。この更新では、wait_timeout によって引き起こされる切断の問題も修正されています。

• Elasticsearch： ソーステーブルとディメンションテーブルは、バージョン 8.x を正式にサポートし、ES7 クライアントと互換性があります。

• Doris： 不正なポート設定に関するエラーメッセージが改善されました。

レイクハウス統合

• Iceberg：

  • sink はメトリック numRecordsOutOfSinkPerSecond (OUT RPS) をレポートするようになりました。

  • 接続の柔軟性を高めるために、Hadoop 関連パラメーターを設定できるようになりました。

  • データインジェストジョブは、DLF Iceberg への書き込みをサポートするようになりました。

• Hologres：

  • バイナリログソーステーブルは、LATEST オフセットからデータを消費できます。

  • コネクタカタログは、セカンダリインデックスやプレフィックススキャンキーなどのインデックス情報をサポートするようになりました。

  • varchar[] 配列型を読み取ることができます。

  • プローブパラメーターキャッシュが最適化され、多数のテーブルが存在する場合の初期化タイムアウトが防止されます。

  • sink.reshuffle-by-holo-distribution-key.enabled パラメーターが設定されている場合、同時実行数はシャード数より大きくすることができます。

• MaxCompute：

  • カタログは、メタデータセンターでの動作の遅さを解決するために、ページ分割クエリをサポートするようになりました。

  • YAML sink には、QPS 制限の超過によって引き起こされるメモリ不足 (OOM) エラーを削減するための最適化されたコミットロジックが含まれています。

• Hive：カタログは、テーブル作成時に Parquet などのストレージ形式を指定することをサポートするようになりました。

• Paimon：このリリースでは、Lance ファイル形式のサポートが追加されました。

可観測性

• ローカルディスク使用量メトリック (geminiDB.disk_space_*) が追加されました。

• Gemini ネイティブメモリ用に geminiDB.native_memory_usage および limit メトリックが追加されました。

• Auto-pilot 演算子の同時実行数制限メトリック (例：sourceParallelismUpperBound) が追加されました。

• フォーマットがスナップショットをサポートしていない場合に表示されるプロンプトなど、不要な WARN ログがマスクされ、ノイズが削減されるようになりました。