2025年10月13日 - Realtime Compute for Apache Flink - Alibaba Cloud ドキュメントセンター

このトピックでは、2025年10月13日にリリースされた Realtime Compute for Apache Flink の主な機能の更新とバグ修正について説明します。

重要

バージョンのアップグレードは、ユーザーに段階的にリリースされます。詳細については、「Realtime Compute for Apache Flink コンソール」の最新のお知らせをご参照ください。このバージョンの新機能は、アカウントのアップグレードが完了した後にのみ使用できます。迅速なアップグレードを申請するには、チケットを送信してください。

概要

Realtime Compute for Apache Flink の新バージョンが 2025年10月13日にリリースされました。このリリースには、プラットフォーム、エンジン、コネクタの更新、パフォーマンスの最適化、バグ修正が含まれています。

エンジン

エンジンは進化を続けており、複雑なデータの型、AI 機能、およびより広範なデータソースのサポートを強化しています。

データ取り込み

Kafka ソース: Canal-JSON フォーマットは、MySQL_TYPE の解析をサポートするようになりました。

コネクタ

Hologres コネクタ: 指定されたバイナリログタイプの読み取りをサポートします。
StarRocks コネクタ: StarRocks コネクタは、StarRocks Connector for Flink リリース 1.2.11 に合わせてアップグレードされます。
Lindorm コネクタ: ディメンションテーブルが 1 対多の結合をサポートするようになりました。
MaxCompute コネクタ: カスタムタイムゾーン設定をサポートします。
SLS コネクタ: processor パラメーターが追加され、消費前に SLS からデータを事前フィルター処理することで、コストを削減し、処理速度を向上させます。

AI 機能

ベクトル検索: Milvus を使用したリアルタイム類似検索のための VECTOR_SEARCH 関数を導入します。
AI 関数: より柔軟性を高めるために、より多くの設定可能なパラメーターを追加します。

SQL とデータ管理

JSON 変換: Flink SQL は、JSON 文字列内の配列を ARRAY<STRING> に変換することをサポートするようになりました。
StarRocks Catalog: StarRocks Catalog を使用する際に、URL を明示的に渡す必要がなくなりました。

パフォーマンスの最適化

MySQL コネクタ: ブール型の述語プッシュダウンを最適化しました。
Hologres コネクタ: バイナリログを消費する際のプロジェクションプッシュダウンとデータ圧縮のサポートが追加されました。
MaxCompute コネクタ: 配列などの複雑な型を通常のテーブルに書き込む際のパフォーマンスが向上しました。

プラットフォーム

新機能

ワークフロー (パブリックプレビュー) が米国 (シリコンバレー) で利用可能になりました。
ハイブリッド課金が中国 (ウランチャブ) の YITIAN ARM ワークスペースで利用可能になりました。

プラットフォームエクスペリエンスの強化

購入エクスペリエンスの向上
- CU 制限の撤廃: サブスクリプションワークスペースの 1000 CU 制限が、スケールアップ、新規購入、および従量課金からサブスクリプションへの変換に対して撤廃されました。これにより、大規模ジョブの弾力的なスケーリングが可能になり、新規購入の柔軟性が向上します。
可観測性の強化
- GC メトリック表示の統一: ParallelGC や CMS などのガベージコレクション (GC) タイプのサポートが追加されました。これにより、統一された監視と管理が可能になり、運用の一貫性と可観測性が向上します。
- 新しい busyTimePerSecond メトリック: このメトリックは、ジョブの負荷に関する正確な洞察を提供し、パフォーマンスボトルネックの特定、リソースの効果的な割り当て、およびジョブの安定性の確保に役立ちます。
権限モデルの最適化
フォルダの権限が、ジョブドラフトとデータクエリの権限と統一されました。ユーザーは権限エラーなしでフォルダを作成できるようになり、システムの明確さとユーザーエクスペリエンスが向上します。
マテリアライズドテーブル機能の向上
マテリアライズドテーブルの編集中に VVR バージョンをアップグレードするサポートが追加されました。また、バージョン比較と自動ジョブデプロイメント更新もサポートし、ユーザビリティと構成の一貫性を大幅に向上させます。
柔軟なメッセージ配信設定
メッセージの配信範囲をカスタマイズして、よりきめ細かい制御とコストの最適化をサポートします。

機能のまとめ

機能	説明	リファレンス
Hologres の同時バッチ書き込み	リシャッフル後にプライマリキーを持つ Hologres テーブルへの同時書き込みを有効にし、書き込みスループットを向上させます。	設定パラメーター (VVR 11 以降)
Hologres バイナリログ消費の最適化	バイナリログを消費する際にプロジェクションプッシュダウンとデータ圧縮をサポートし、ネットワークと計算のオーバーヘッドを削減します。
Hologres バイナリログタイプの指定	ユーザーが読み取るバイナリログのタイプを指定できるようにし、よりきめ細かいデータ同期を可能にします。
Kafka Canal-JSON `MySQL_TYPE` の解析	Kafka ソースの Canal-JSON フォーマットが、ネイティブの MySQL タイプの解析をサポートするようになりました。	Kafka
JSON `String` から `ARRAY<STRING>` への変換	Flink SQL は、JSON 文字列内の配列を直接 `ARRAY<STRING>` に変換する `JSON_QUERY` 関数をサポートするようになりました。	JSON 関数
AI ベクトル検索	ベクトル検索用の新しい AI 関数を追加します。	VECTOR_SEARCH
MaxCompute のタイムゾーン設定	MaxCompute コネクタがカスタムタイムゾーンをサポートするようになり、タイムゾーンをまたぐデータ処理が容易になりました。	MaxCompute
SLS 消費プロセッサ	`processor` パラメーターを使用して、消費前に SLS からデータを事前フィルター処理し、Flink の計算負荷を軽減します。	Simple Log Service (SLS)

主な修正点

このリリースでは、以下の主要なバグが修正されています:

コネクタの修正

PostgreSQL CDC でデータを読み取る際に発生したデッドロックの問題を修正しました。
Kafka コネクタがタイムゾーン属性を持つタイムスタンプを変換する際にタイムゾーン情報をドロップする問題を修正しました。
Lindorm ディメンションテーブルとの結合中に発生した NullPointerException を解決しました。
パラメーターの誤設定後に Paimon テーブルを表示または削除しようとすると Could not find any factory for identifier 'last_not_null_value' エラーが発生する問題を修正しました。

SQL の修正

JSON_QUERY 関数の RETURNING ARRAY<STRING> 句のフォーマットの問題を修正しました。