このトピックでは、2024年9月11日にリリースされた Realtime Compute for Apache Flink バージョンの主な更新とバグ修正について説明します。
バージョンアップグレードは、カナリアリリースプランを使用してネットワーク全体に段階的に展開されます。 アップグレードスケジュールの詳細については、Realtime Compute for Apache Flink コンソール の右側にある最新のお知らせをご覧ください。 このバージョンで新しい機能を使用できるのは、アカウントのアップグレードが完了した後のみです。 できるだけ早くアップグレードを適用するには、[submit a ticket] を送信してください。
概要
このリリースには、プラットフォームの更新、エンジンの更新、コネクタの更新、パフォーマンスの最適化、およびバグ修正が含まれています。
プラットフォームの更新
このリリースでのプラットフォームの更新は、使いやすさ、システムの安定性、セキュリティ、およびO&M効率に重点を置いています。 次のセクションでは、主要なプラットフォームの更新について説明します。
Flink Change Data Capture (CDC) によるデータ取り込みのための YAML デプロイのサポート：リアルタイムデータベース同期ソリューションとして、Flink CDC は開発者や企業ユーザーから幅広い支持と適用を得ています。 Alibaba から Apache Software Foundation への Flink CDC プログラムの公式寄贈は、Flink CDC が変更データキャプチャ用の Flink ソースから Flink ベースのストリーミング抽出、変換、ロード (ETL) フレームワークへの進化を示しています。 この進化には、Flink CDC の全体的な機能を強化するための新しいデータ取り込みモジュールが含まれています。
タスクオーケストレーション機能の最適化：タスクオーケストレーションのアラート機能が強化されています。 CloudMonitor は、DingTalk や電話などの複数の方法を使用してアラートを報告できます。 さらに、タスクオーケストレーションで動的変数を使用して、事前に設定された間隔で同じコードを定期的に実行して計算を行うことができます。 タスクオーケストレーション機能は、使いやすさを向上させるために継続的に最適化されています。
キーホスティング機能の拡張：SQL デプロイに広く適用されているキーホスティング機能は、増加する JAR デプロイにも拡張されます。 したがって、Realtime Compute for Apache Flink は、JAR および Python デプロイのキーホスティングをサポートしています。 IP アドレスなど、キーではなく一部の情報は、複数のデプロイで使用される場合があります。 この問題を解決するために、キーホスティングは正式に変数管理に名前が変更され、プレーンテキスト変数管理機能が網羅されています。
レベル 1 コンソールメニューの再編成：多数の新しいモジュールがタイルモードで表示されている場合、必要なモジュールを簡単に見つけることができません。 したがって、開発コンソールの左側ナビゲーションペインにあるメニュー項目のレイアウトが最適化され、直感性と使いやすさが向上しました。 これにより、必要な機能を簡単に見つけることができます。
エンジンの更新
Ververica Runtime (VVR) 8.0.9 が正式にリリースされ、Apache Flink 1.17.2 に基づくエンタープライズクラスのエンジンが提供されます。 VVR 8.0.9 には次の更新が含まれています。
MySQL CDC コネクタでは Binlog 解析スレッドパラメータがサポートされており、必要に応じて同時 Binlog 解析機能を向上させることができます。
Kafka コネクタでは Zstandard 圧縮アルゴリズムがサポートされており、データ転送効率が向上します。 組み込みの Protobuf 形式がサポートされており、構造化データの処理が容易になります。
Redis コネクタのシンクパフォーマンスと処理速度が向上しました。 接続プールパラメータを設定して、より柔軟な接続管理を可能にすることができます。
Paimon シンクでは削除アクションがサポートされており、部分データの更新が容易になります。
バッチ Flink デプロイでは、Celeborn リモートシャッフルサービスを使用して、シャッフルデータを高性能クラスタに格納できます。 これにより、Flink ノードのディスク容量制限がなくなり、超大規模データ処理機能が強化され、デプロイの安定性と費用対効果が維持されます。
このリリースの主な更新と関連資料の詳細については、このトピックの次のセクションを参照してください。 バージョンアップグレードは、カナリアリリースプランを使用してネットワーク全体に段階的に展開されます。 アカウントのアップグレードが完了したら、VVR エンジンをこのバージョンにアップグレードすることをお勧めします。 詳細については、「デプロイのエンジンバージョンをアップグレードする」をご参照ください。皆様からのフィードバックをお待ちしております。
機能
機能 | 説明 | 参照 |
データ取り込みモジュールの追加 | Flink CDC 3.0 に基づいて YAML ドラフトを開発し、ソースから宛先にデータを同期できます。 | |
Data Lake Formation (DLF) 2.0 との相互接続 | Paimon カタログを作成するときにメタデータストレージタイプとして DLF 2.0 を選択した場合、AccessKey ペアなどの構成を指定する必要はありません。 | |
アクセス許可の最適化 | Realtime Compute for Apache Flink ワークスペースを初めて作成するときに、DLF 関連の操作に対する権限が付与され、DLF 関連のカタログにアクセスできるようになります。 これにより、DLF 2.0 のユーザーエクスペリエンスが向上します。 デフォルトでは、DLF 権限は既存のユーザーに自動的に付与されます。 | |
セッションクラスタのクイック作成 | クエリ スクリプトを実行するときに使用可能なセッション クラスタがない場合は、主要なパラメータを設定してスクリプトを直接実行することにより、実行環境を作成できます。 | N/A |
タスクオーケストレーション機能の最適化 | ワークフローのアラート機能が強化されています。 CloudMonitor は、DingTalk や電話などの複数の方法を使用してイベントアラートを報告できます。 | |
キーホスティング機能の拡張 | キーホスティングは変数管理に名前が変更されました。 JAR および Python デプロイでプレーンテキストまたは暗号化された変数を参照できます。 | |
レベル 1 コンソールメニューの再編成 | データ取り込みなどの新しいモジュールが追加されました。 開発コンソールの左側ナビゲーションペインにあるメニュー項目のレイアウトが最適化されました。 これにより、必要なモジュールを簡単に見つけることができます。 | N/A |
MySQL コネクタのパフォーマンスの向上 | Binlog 解析スレッドを設定して、非同期解析機能を向上させることができます。 | |
Kafka コネクタのパフォーマンスの向上 |
| |
Redis コネクタのパフォーマンスの向上 |
| |
Simple Log Service コネクタのリファクタリング |
| |
Paimon コネクタの強化 | 受信した retraction メッセージ (削除または更新) のセマンティクスを設定して、削除アクションのパフォーマンスを向上させることができます。 | |
MongoDB でのディメンションテーブルルックアップ機能の強化 | ディメンションテーブルに組み込まれている | |
StarRocks コネクタの安定性の向上 | ネットワーク例外に対する書き込み再試行メカニズムが最適化され、 | |
HBase コネクタの最適化 | 書き込み操作の | |
Lindorm コネクタの最適化 | 結果テーブルにデータを書き込むことができます。 更新操作では、特定の列のデータを除外できます。 | |
リモートシャッフルサービス | Realtime Compute for Apache Flink のバッチデプロイでリモートシャッフルサービスが有効になると、シャッフルデータは高性能 Apache Celeborn クラスタに格納されます。 デプロイは、Realtime Compute for Apache Flink の計算ノードのディスク容量によって制限されなくなりました。 これにより、超大規模データ処理機能が強化され、デプロイの高い安定性と費用対効果が維持されます。 リモートシャッフルサービスはパブリックプレビュー中で、無料です。 |
修正された問題
MySQL CDC が指定されたチェックポイントからデータを使用する場合、プライマリ/セカンダリ切り替え後に MySQL CDC がチェックポイントから回復できません。
StarRocks コネクタが VVR 8.0.8 で CREATE TABLE AS ステートメントを使用すると、java.lang.ClassNotFoundException エラーが報告されます。
Realtime Compute for Apache Flink コンソールが Elasticsearch コネクタに接続すると、コネクタバージョン V8 はサポートされません。
Hologres コネクタは起動時に強制的にテーブル ID をチェックします。