Realtime Compute for Apache Flink:January 9, 2026

SQL の機能強化

Bitmap 型のサポート：このリリースでは、ネイティブの Bitmap 型と、ビットマップ構築やカーディナリティ統計などの初期関数セットが追加されました。これにより、ユニークビジター (UV) 数カウントなど、効率的でリアルタイムな精密な重複排除シナリオがサポートされます。

YAML によるデータ取り込み (Flink CDC)

• メタデータ参照：Flink CDC ジョブの YAML スクリプトで、カタログに登録されているソーステーブルと結果テーブルを直接参照できます。

• 複雑なルーティングロジック：Route のテーブル名を標準の正規表現で設定できます。これにより、シャーディングされたテーブルのマージシナリオがサポートされます。

• ダーティデータの処理：JSON 形式の解析で、ジョブの堅牢性を向上させるためのダーティデータ処理メカニズムがサポートされるようになりました。

• 自動精度拡張：StarRocks で Decimal 型の精度の自動拡張が部分的にサポートされるようになりました。

• 空のスキーマのフォールトトレランス：Kafka ソースで、ソースにデータがない場合に空のスキーマでテーブルを作成できるようになりました。これにより、ジョブの起動失敗を防ぎます。

• Paimon ソースのサポート：Apache Paimon が Flink CDC のソースとして正式にサポートされるようになりました。

コネクタ

• MySQL：

  • スロットリング：ソースデータベースへの過剰な負荷を防ぐためのデータスロットリング機能が追加されました。

  • メタデータ拡張：file および pos バイナリログのメタデータフィールドをサポートします。これらのメタデータフィールドを使用して、同じデータの変更順序を判断できます。

  • パフォーマンスの最適化：snapshot-only モードのプロセスが最適化され、バイナリログ関連のコマンドは実行されなくなりました。

• PolarDB-X CDC (パブリックプレビュー)：

  • 複数の同時接続でバイナリログストリームをサブスクライブできるようになり、取り込みスループットが大幅に向上します。

  • テーブルレベルでのバイナリログのサブスクライブをサポートします。

• OceanBase (パブリックプレビュー)：新しいバイパスインポート書き込み機能をサポートし、大規模なデータバッチの書き込みパフォーマンスが大幅に向上します。

• MongoDB：結果テーブルが Partial Update をサポートするようになりました。

• Elasticsearch：

  • doc_as_upsert パラメーターの明示的な設定をサポートします。

  • 接続タイムアウトパラメーターをサポートします。

• Apache Kafka：Kafka コネクタによって作成された冗長なコンシューマーグループを自動的に削除できます。

データレイクハウス統合 (Iceberg)

Iceberg コネクタ：Hadoop 関連のパラメーターを設定できるようになり、複雑な Hadoop 環境での接続の柔軟性が向上します。