このトピックでは、2024 年 11 月 21 日にリリースされた Realtime Compute for Apache Flink バージョンの主な更新とバグ修正について説明します。
バージョンアップグレードは、カナリアリリースプランを使用してネットワーク全体に段階的に展開されます。 アップグレードスケジュールの詳細については、Realtime Compute for Apache Flink コンソール の右側にある最新のお知らせをご覧ください。 このバージョンの新機能は、アカウントのアップグレードが完了した後にのみ使用できます。 アップグレードをできるだけ早く適用するには、チケットを送信 してください。
概要
このリリースには、プラットフォーム、エンジン、コネクタの更新、およびパフォーマンスの最適化とバグ修正が含まれています。
プラットフォームの更新
このリリースでのプラットフォームの更新は、使いやすさ、システムの安定性、および O&M 効率に重点を置いています。 主な内容は次のとおりです。
ハイブリッド課金のサポート：この新しい課金方法は、サブスクリプション課金と従量課金の利点を組み合わせたものです。 Flink ワークスペースに固定リソースと弾性リソースの両方を構成できます。 ハイブリッド課金は、予測できないワークロードの急増や一時的なワークロードの急増のために過剰なリソースを割り当てる必要性を減らすだけでなく、一定量の確実に使用できるリソースも確保します。 この課金方法は、プラットフォームの自動調整機能と併用して、さらにコストを最適化できます。
コンソールホームページの再設計：更新されたホームページでは、頻繁に使用される機能やリソースとデプロイの概要に簡単にアクセスできます。
既存の下書きの名前変更のサポート。
バージョン管理の改善：Flink が新しいバージョンをリリースするにつれて、古いバージョンは徐々にサポート終了 (EOS) に達します。 安定したスムーズなバージョンアップグレードを確実にするために、最近使用した EOS エンジンバージョンが保持されます。 これにより、必要に応じてロールバックできます。
エンジンの更新
Ververica Runtime (VVR) 8.0.10 が正式にリリースされ、Apache Flink 1.17.2 に基づくエンタープライズクラスのエンジンが提供されます。 また、Apache Flink の最新のバグ修正以外にも最適化と機能強化が提供されます。 VVR 8.0.10 には次の更新が含まれています。
新機能
JDK 11 のサポート：新しい JDK バージョンが利用可能になります。 ただし、異なるマイナー VVR バージョンでの JDK 11 または JDK 8 の使用間の互換性は保証されません。
SelectDB コネクタ (パブリックプレビュー)：このコネクタを使用すると、ApsaraDB for SelectDB にデータを書き込むことができます。
これらの機能は現在実験段階にあるため、サービスレベルアグリーメント (SLA) は保証されていません。 実稼働システムでの使用を検討する場合は注意してください。
強化された機能
強化された SQL セマンティクス：処理時間テンポラル結合がサポートされ、ファクトテーブルの行をディメンションテーブルの対応するキーの最新バージョンに関連付けることができます。 イベント発生時の時刻に基づいて行を関連付けるイベント時間テンポラル結合とは異なり、処理時間テンポラル結合はデータ到着時刻に基づいて行を関連付けます。
新しくサポートされた組み込み SQL 関数：PERCENTILE(expr, percentage[, frequency]) がサポートされています。
YAML デプロイでの CDC 取り込み：Kafka コネクタを YAML デプロイのソースとして使用できるようになり、Debezium JSON 形式と Canal JSON 形式の両方がサポートされるようになりました。 Paimon コネクタと StarRocks コネクタは、アップストリームの TRUNCATE ステートメントと DROP TABLE ステートメントを処理できます。 精度の異なる DECIMAL 列または TIMESTAMP 列をシャーディングデータベースにマージできます。
CREATE TABLE AS SELECT (CTAS) / CREATE DATABASE AS SELECT (CDAS) のアクセス制御の強化：CTAS/CDAS ステートメントは、DLF 2.0 メタデータストレージタイプの Apache Paimon カタログをサポートし、アクセス制御を強化します。
StarRocks コネクタの強化：BIGINT UNSIGNED データ型と VARBINARY データ型がサポートされています。
パフォーマンスの向上
データベースと増分データの取り込みの高速化：バッチ処理とストリーム処理の統合により、MySQL CDC から Paimon への完全データと増分データのリアルタイム取り込みのパフォーマンスが大幅に向上します。
フルマネージドストレージの最適化：フルマネージドストレージで構成されたワークスペースでは、セーブポイントからの再開に必要な時間とリソースが少なくなり、コストの最適化が向上します。
エクスペリエンスの最適化
コネクタ構成エクスペリエンス：MySQL CDC コネクタの特定の Debezium 関連オプションのシステム構成は、誤用の可能性を防ぐためにユーザー構成よりも優先されます。 Hologres コネクタのタイムアウトオプションが最適化され、下書きデプロイ中の再試行回数が削減され、Hologres へのデータ書き込みが容易になります。
SQL 下書き開発エクスペリエンス：SQL 下書き検証中に、SinkMaterializer オペレーターの使用に関するヒントと提案が最適化されます。
セキュリティの強化
Apache Paimon カタログ：Apache Paimon カタログの作成後、データセキュリティを保護するために fs.oss.accessKeySecret パラメーター値が暗号テキストとして表示されます。
このリリースの主な更新と関連リファレンスの詳細については、このトピックの次のセクションを参照してください。 バージョンアップグレードは、カナリアリリースプランを使用して段階的に展開されます。 アカウントのアップグレードが完了したら、VVR エンジンをこのバージョンにアップグレードすることをお勧めします。 詳細については、「デプロイのエンジンバージョンをアップグレードする」をご参照ください。 フィードバックをお待ちしております。
機能
機能 | 説明 | リファレンス |
JDK 11 のサポート | VVR 8.0.10 は JDK 11 を完全にサポートしています。 これにより、開発者は新機能を使用して Java アプリケーションを最適化し、ランタイム環境の選択肢を増やし、プラットフォームの柔軟性と互換性を向上させることができます。 | |
Keyed-Ordered モードでのディメンションテーブル結合 | Key-Ordered モードは、外部システムから非同期でデータを取得し、UpsertKey の順序で処理するユースケース向けに導入されました。 このモードは、Ordered モードと Unordered モードの欠点を効果的に補います。 | |
YAML デプロイでの CDC データ取り込みの強化 | YAML デプロイで Kafka コネクタをソースとして使用できるようになり、YAML デプロイを使用して Kafka データストリームを処理する Flink システムまたはアプリケーションの柔軟性が向上しました。 | |
SLS コネクタの最適化 | バックオフポリシーを採用して、SLS コネクタの安定性と信頼性を向上させました。 | N/A |
StarRocks コネクタの強化 |
| |
強化された SQL セマンティクス | 処理時間テンポラル結合がサポートされています。 処理時間属性を使用して、ファクトテーブルの行をディメンションテーブルの対応するキーの最新バージョンに関連付けます。 | |
新しい組み込み SQL 関数 | PERCENTILE 関数がサポートされるようになりました。 | |
Hive カタログの最適化 | フルマネージドストレージを使用してワークスペースに Hive カタログを作成し、構成ファイルをアップロードし、ライフサイクルを管理できます。 | |
CTAS/CDAS のアクセス制御の強化 | CTAS/CDAS は、DLF 2.0 メタストアタイプの Apache Paimon カタログをサポートします。 | |
コンソール UI の最適化 | コンソールのホームページが再設計され、リソースとデプロイの概要、頻繁に使用される機能への簡単なアクセス、関連ドキュメントへのナビゲーションが提供されるようになりました。 | N/A |
ハイブリッド課金 | ハイブリッド課金は、従量課金の柔軟性とサブスクリプションのコスト効率を提供します。 | |
ログアーカイブの最適化 | 期限切れのアーカイブログは定期的にクリアされ、ストレージコストを節約します。 | |
SelectDB コネクタ | ApsaraDB for SelectDB は、次世代のリアルタイムデータウェアハウスサービスです。 Alibaba Cloud で完全に管理およびホストされ、Apache Doris と 100% 互換性があります。 SelectDB コネクタを介して ApsaraDB for SelectDB にデータを書き込むことができます。 |
修正された問題
コネクタの問題
MySQL CDC：オブジェクトストレージサービス (OSS) を介したフルデータ読み取りから binlog ベースの増分読み取りへの移行中にデータ損失が発生する問題を修正しました。
Tair (Redis OSS 互換)：VVR 8.0.9 の Tair (Redis OSS 互換) コネクタの Buffered Writer の不足により、Redis にデータを書き込めない問題を修正しました。
OSS：VVR 8.0.7 以降で OSS にデータを書き込む際のパフォーマンスの問題を修正しました。
Paimon：YAML デプロイでタイムスタンプ型のタイムゾーンが正しく変換されない問題を修正しました。
MaxCompute と OTS：ディメンションテーブルにプライマリキーがあり、SHUFFLE_HASH、REPLICATED_SHUFFLE_HASH、または SKEW ポリシー、および Cache ALL ポリシーで構成されている場合、ディメンションテーブルの行をファクトテーブルの行に関連付けることができない問題を修正しました。
SQL の問題
ソースマージ：
table.optimizer.source-merge.enabledがtrueに設定されている場合にデプロイを開始できない問題を修正しました。/* ソースマージ：table.optimizer.source-merge.enabled が true に設定されている場合にデプロイメントを開始できない問題を修正しました。 */ミニバッチ間隔：VVR 8.0.7 でミニバッチ間隔の構成が有効にならない問題を修正しました。/* ミニバッチ間隔：VVR 8.0.7 でミニバッチ間隔の設定が有効にならない問題を修正しました。 */
互換性と依存関係の問題
コネクタクラスの読み込み：JAR 依存関係を持つ組み込みコネクタを使用するデプロイの開始時に
connector class not found例外が報告される問題を修正しました。/* コネクタクラスの読み込み：JAR 依存関係を持つ組み込みコネクタを使用するデプロイメントの開始時に connector class not found 例外が報告される問題を修正しました。 */IntelliJ IDEA のローカル実行：MySQL CDC JAR パッケージを使用するデプロイを IntelliJ IDEA でローカルに実行すると
ClassNotFoundException MySqlSourceReaderMetricsエラーが報告される問題を修正しました。/* IntelliJ IDEA のローカル実行：MySQL CDC JAR パッケージを使用するデプロイメントを IntelliJ IDEA でローカルに実行すると ClassNotFoundException MySqlSourceReaderMetrics エラーが報告される問題を修正しました。 */
動的構成の問題
動的更新が時々有効にならない問題を修正しました。