本リリースでは、Realtime Compute for Apache Flink のプラットフォーム更新、エンジン更新、コネクタ更新、パフォーマンス最適化、およびバグ修正が含まれます。
アップグレードは、カナリアリリースプランを用いて段階的に実施されます。新機能は、お客様のアカウントに対するアップグレード完了後にご利用可能となります。早期アクセスをご希望の場合は、チケットを送信してください。最新のアップグレードスケジュールについては、Realtime Compute for Apache Flink コンソール 右側に表示されるアナウンスをご確認ください。
概要
プラットフォーム更新
YAML デプロイメントによるデータインジェスト（パブリックプレビュー）： Flink Change Data Capture (CDC) は、Flink CDC 3.0 を基盤とする専用データインジェストモジュールを新たにサポートしました。本モジュールはもともと Alibaba が開発し、Apache Software Foundation へ寄贈されたもので、従来の「変更データキャプチャ」向け Flink ソースから、Flink を基盤としたストリーミング ETL（抽出・変換・書き出し）フレームワークへと進化しています。YAML デプロイメントでは、SQL や JAR デプロイメントと比較して構成オーバーヘッドが少なく、エンドツーエンドのデータ同期パイプラインを定義できます。
タスクオーケストレーションの強化： CloudMonitor は、既存の通知チャネルに加えて、DingTalk や電話によるワークフローイベントアラートの配信をサポートするようになりました。また、動的変数もサポートされているため、コード変更を伴わず、同一ジョブを異なるパラメーター値で定期的に実行できます。
変数管理（旧称：キー保管）： キー保管機能は「変数管理」と名称変更され、JAR および Python デプロイメントにも拡張されました。従来は SQL デプロイメントのみ対応でしたが、今後はすべてのデプロイメントタイプにおいて、プレーンテキストおよび暗号文の両方の変数を保存・参照できるようになります。
左側ナビゲーションの再編成： 開発コンソールの左側ナビゲーションウィンドウが再編成され、関連モジュールが論理的にグループ化されるようになりました。データインジェストなどの新規モジュールの追加に伴い、フラットなリストをスクロールせずに機能を素早く見つけやすくなっています。
エンジン更新
Ververica Runtime (VVR) 8.0.9 がリリースされました。本バージョンは Apache Flink 1.17.2 を基盤としています。お客様のアカウントに対するカナリアアップグレードが完了した後、デプロイメントの VVR エンジンをアップグレードしてください。詳細については、「デプロイメントのエンジンバージョンのアップグレード」をご参照ください。
VVR 8.0.9 の主な更新内容：
MySQL CDC： Binlog 解析スレッドのパラメーターを設定可能となり、高ボリュームの MySQL CDC ワークロードにおける同時 Binlog 解析スループットを向上できます。
Kafka コネクタ： Zstandard 圧縮アルゴリズムおよび組み込み Protobuf フォーマットが新たにサポートされました。
Redis コネクタ： sink 書き込みパフォーマンスが向上し、接続プールのパラメーター設定が可能となり、より柔軟な接続管理が実現できます。
Paimon コネクタ： Paimon sink に対して削除アクションがサポートされ、部分的なデータ更新の実装が容易になりました。
特徴
特徴 | 説明 | リファレンス |
データインジェストモジュール（パブリックプレビュー） | Flink CDC 3.0 を基盤として YAML でエンドツーエンドのデータ同期パイプラインを定義でき、SQL や JAR ジョブの記述が不要です。高ボリュームの CDC ワークフローを管理するチームの構成オーバーヘッドを低減します。 | |
Data Lake Formation (DLF) 2.0 統合 | Paimon カタログのメタデータストレージタイプとして DLF 2.0 を選択すると、AccessKey ペアの設定が不要になり、権限が自動的に解決されます。 | |
DLF アクセス権限の簡素化 | Realtime Compute for Apache Flink ワークスペースを初めて作成する際に、DLF 関連の権限が自動付与されます。既存ユーザーにはデフォルトでこれらの権限が付与されるため、手動設定ステップが不要になります。 | |
セッションクラスターの迅速作成 | クエリスクリプトを実行する際にセッションクラスターが存在しない場合、エディター内で主要パラメーターをインライン設定して実行環境を作成し、即座にスクリプトを実行できます。 | N/A |
タスクオーケストレーションの強化 | ワークフローのアラート機能が、CloudMonitor のイベントアラートを DingTalk や電話で受信可能に拡張され、ジョブの失敗やしきい値超過時の通知オプションが増加しました。 | |
変数管理（旧称：キー保管） | キー保管機能は「変数管理」と名称変更され、JAR および Python デプロイメントにも拡張されました。SQL だけでなく、すべてのデプロイメントタイプでプレーンテキストおよび暗号文の変数を参照できます。 | |
開発コンソールのナビゲーション再編成 | 左側ナビゲーションウィンドウが再編成され、データインジェストなどの新規モジュールが論理的にグループ化されることで、コンソールの拡張に伴う機能の検索が容易になりました。 | N/A |
MySQL コネクタ：Binlog 解析スレッドの設定可能化 | 高ボリュームの MySQL CDC ワークロード向けに、Binlog 解析スレッドのパラメーターを設定して、同時 Binlog 解析スループットを向上できます。 | |
Kafka コネクタ：Zstandard 圧縮および Protobuf フォーマット |
| |
Redis コネクタ：sink パフォーマンスの向上および接続プールの改善 |
| |
Simple Log Service コネクタのリファクタリング |
| |
Paimon コネクタ：削除アクションのサポート | Paimon sink における削除または更新メッセージのセマンティクスを設定することで、削除アクションのパフォーマンスを向上させ、部分的なデータ更新をより効率的に実行できます。 | |
MongoDB ディメンションテーブル：ObjectId 検索 |
| |
StarRocks コネクタ：書き込み信頼性の向上 | ネットワーク例外に対する書き込みリトライ機構を最適化し、 | |
ApsaraDB for HBase コネクタ：null フィールドの処理 | 書き込み操作時に | |
Lindorm コネクタ：選択的カラム更新 | 結果テーブルへのデータ書き込み時に、特定のカラムを更新対象から除外することで、上書き対象フィールドをより細かく制御できます。 |
修正済みの問題
MySQL CDC： 指定したチェックポイントから消費を開始した場合、プライマリ／セカンダリ スイッチオーバー後に回復できない問題が発生していました。本問題は修正済みです。
StarRocks コネクタ： VVR 8.0.8 で CREATE TABLE AS 文を使用すると、
java.lang.ClassNotFoundExceptionエラーが発生していました。本問題は修正済みです。Elasticsearch コネクタ： Realtime Compute for Apache Flink コンソール経由で接続する際、バージョン V8 がサポートされていませんでした。本問題は修正済みです。
Hologres コネクタ： コネクタが起動時に不要なテーブル ID のチェックを行っていました。この強制チェックは削除済みです。