本トピックでは、Realtime Compute for Apache Flink の 2025 年 10 月 13 日リリースにおける主な新機能およびバグ修正について説明します。
本バージョンのアップグレードは、段階的にユーザーに展開されます。詳細については、「Realtime Compute for Apache Flink コンソール」内の最新のお知らせをご参照ください。ご利用のアカウントに対してアップグレードが完了した後でなければ、本バージョンの新機能をご利用いただけません。早期アップグレードをご希望の場合は、チケットを送信してください。
概要
本リリースでは、エンジンおよびプラットフォームの更新が提供され、新しいコネクタ機能、AI ベクトル検索、SQL の改善、パフォーマンス最適化、およびバグ修正が含まれます。
エンジン
データ取り込み
Kafka ソース:Canal-JSON 形式が、MySQL の変更イベントを消費する際にネイティブな MySQL_TYPE フィールドを解析するようになりました。これにより、型の忠実性が向上します。
コネクタ
-
Hologres コネクタ:より細かいデータ同期制御を実現するために、読み取るバイナリログの種類を指定できるようになりました。
-
StarRocks コネクタ:StarRocks Connector for Flink リリース 1.2.11 と整合するよう更新されました。
-
Lindorm コネクタ:ディメンションテーブルが 1 対多結合をサポートするようになりました。
-
MaxCompute コネクタ:クロスタイムゾーンのデータ処理のためにカスタムタイムゾーンを設定できるようになりました。
-
SLS コネクタ:
processorパラメーターを使用して、Simple Log Service (SLS) データを消費する前に事前フィルター処理できます。これにより、下流の処理コストを削減できます。
AI 機能
-
ベクトル検索:
VECTOR_SEARCH関数を使用して、Milvus を活用したリアルタイムの類似検索を実行できます。詳細については、「VECTOR_SEARCH」をご参照ください。 -
AI 関数:AI 関数の動作をより細かく制御するために、構成可能なパラメーターが追加されました。
SQL およびデータ管理
-
JSON 変換:
JSON_QUERY関数を使用して、JSON 文字列内の配列を直接ARRAY<STRING>に変換できます。詳細については、「JSON 関数」をご参照ください。 -
StarRocks Catalog:StarRocks Catalog を使用する際に、URL を明示的に指定する必要がなくなりました。
パフォーマンス最適化
-
MySQL コネクタ:ブール型に対する述語プッシュダウンが最適化され、不要なデータ転送が削減されました。
-
Hologres コネクタ:バイナリログの消費時にプロジェクションプッシュダウンおよびデータ圧縮が適用されるようになりました。これにより、ネットワークおよび処理オーバーヘッドが削減されます。
-
MaxCompute コネクタ:配列などの複雑な型を通常のテーブルに書き込む際の書き込みパフォーマンスが向上しました。
プラットフォーム
新機能
| 機能 | ステータス | リージョン |
|---|---|---|
| ワークフロー | パブリックプレビュー | 米国 (シリコンバレー) |
| YITIAN ARM ワークスペース向けハイブリッド課金 | ご利用可能 | 中国 (ウランチャブ) |
プラットフォーム体験の向上
購入体験
サブスクリプションワークスペースにおける 1,000 コンピューティングユニット (CU) の上限が撤廃されました。これは、スケールアップ、新規購入、従量課金からサブスクリプションへの変更のすべてに適用され、大規模ジョブ向けの弾力的スケーリングを可能にします。
観測可能性(Observability)
-
統合されたガーベッジコレクション(GC)メトリック表示:GC メトリックが ParallelGC および CMS をサポートするようになったため、異なる GC タイプ間で統一的なモニタリングが可能になりました。
-
新しい
busyTimePerSecondメトリック:ジョブ負荷に関する正確なインサイトを提供し、パフォーマンスボトルネックの特定、リソースの効果的な割り当て、およびジョブの安定性確保を支援します。
権限モデル
フォルダの権限が、ジョブドラフトおよびデータクエリの権限と統合されました。これにより、権限エラーを発生させることなくフォルダを作成できます。
マテリアライズドテーブル
マテリアライズドテーブルの編集時に、Ververica Runtime (VVR) のバージョンをインラインでアップグレードできるようになりました。また、エディターはバージョン比較をサポートし、ジョブデプロイメントを自動的に更新します。
メッセージ配信設定
メッセージの配信範囲をカスタマイズすることで、より細かい制御を実現し、通知コストを削減できます。
機能まとめ
| 機能 | 説明 | 関連ドキュメント |
|---|---|---|
| Hologres での同時バッチ書き込み | シャッフル後にプライマリキーを持つ Hologres テーブルへ同時書き込みを行い、書き込みスループットを向上させます。 | コネクタオプション(VVR 11 以降) |
| Hologres バイナリログ消費の最適化 | バイナリログの消費時にプロジェクションプッシュダウンおよびデータ圧縮を適用し、ネットワークおよび処理オーバーヘッドを削減します。 | — |
| Hologres バイナリログの種類の指定 | より細かいデータ同期制御を実現するために、読み取るバイナリログの種類を指定できます。 | — |
Kafka Canal-JSON の MySQL_TYPE 解析 |
Kafka ソースの Canal-JSON 形式が、ネイティブの MySQL 型を解析するようになりました。 | Kafka |
JSON String から ARRAY<STRING> への変換 |
JSON_QUERY を使用して、JSON 文字列内の配列を ARRAY<STRING> に変換できます。 |
JSON 関数 |
| AI ベクトル検索 | VECTOR_SEARCH 関数を使用して、Milvus を活用したリアルタイムの類似検索を実行できます。 |
VECTOR_SEARCH |
| MaxCompute のタイムゾーン設定 | クロスタイムゾーンのデータ処理向けにカスタムタイムゾーンを設定できます。 | MaxCompute |
| SLS 消費プロセッサ | processor パラメーターを使用して、SLS データを消費する前に事前フィルター処理を行い、下流の処理コストを削減できます。 |
SLS |
注目すべき修正
コネクタの修正
-
PostgreSQL CDC:PostgreSQL CDC によるデータ読み取り時に発生していたデッドロックを修正しました。
-
Kafka コネクタ:タイムスタンプのタイムゾーン属性付き変換時にタイムゾーン情報が失われる問題を修正しました。
-
Lindorm コネクタ:Lindorm ディメンションテーブルとの結合時に発生していた
NullPointerExceptionを解決しました。 -
Paimon コネクタ:パラメーターの誤設定後に Paimon テーブルの表示または削除を試みた際に、
Could not find any factory for identifier 'last_not_null_value'というエラーが発生する問題を修正しました。
SQL の修正
-
JSON_QUERY関数:RETURNING ARRAY<STRING>句におけるフォーマット不具合を修正しました。