2024 年 11 月 21 日リリースの Realtime Compute for Apache Flink には、主要な機能と重要なバグ修正が含まれています。
このアップグレードは段階的に展開されます。最新のアップグレードスケジュールについては、Realtime Compute for Apache Flink コンソールの右側にあるお知らせをご参照ください。新しい機能は、ご利用のアカウントがアップグレードされた後に利用可能になります。アップグレードの迅速化をご希望の場合は、チケットを送信してください。リクエストを確認させていただきます。
概要
2024 年 11 月 21 日リリースの Realtime Compute for Apache Flink には、プラットフォームのアップグレード、エンジンの更新、コネクタの更新、パフォーマンスの最適化、バグ修正が含まれています。
プラットフォームの更新
今回のプラットフォーム更新では、ユーザーエクスペリエンス、システムの安定性、運用効率が向上しています。主なハイライトは次のとおりです：
ハイブリッド課金： このモードは、サブスクリプションと従量課金の利点を組み合わせたもので、固定リソースに加えて弾力的なリソース上限を追加できます。このアプローチにより、短期的なピークに対する過剰プロビジョニングを回避し、弾力性のみに依存する場合のリソース確保失敗のリスクを軽減します。プラットフォームの自動チューニング機能と併用することで、このモードはリソースの節約をコストメリットに転換します。
コンソールのホームページの再設計： 再設計されたホームページでは、リソースとデプロイメントの概要が表示され、よく使用される機能にすばやくアクセスできるようになりました。
ドラフト名の変更： 既存のドラフトの名前を変更できるようになりました。
バージョン管理の改善： 新しい Flink バージョンがリリースされると、古いバージョンは徐々にサポート終了 (EOS) となります。デプロイメントのアップグレードをスムーズに行うため、プラットフォームは最近使用した EOS バージョンを保存し、必要に応じてロールバックできるようにしました。
エンジンの更新
このリリースでは、Apache Flink 1.17.2 をベースにしたエンタープライズグレードの Flink エンジンである VVR 8.0.10 が導入されています。これには、最新のコミュニティによるバグ修正の上に構築された最適化と機能強化が含まれています。主な変更点は次のとおりです：
新機能
JDK 11 のサポート： エンジンは JDK 11 をサポートするようになり、実行環境のオプションが拡張されました。JDK 8 と JDK 11 で実行される VVR のマイナーバージョン間の互換性は保証されません。
SelectDB コネクタ (パブリックプレビュー)： ApsaraDB for SelectDB の結果テーブルにデータを書き込むことができます。
これらの新機能は実験的なものであり、サービスレベルアグリーメント (SLA) の対象外です。本番環境での使用にはご注意ください。
機能強化
SQL セマンティクスの強化： 処理時間テンポラル結合を実行できるようになりました。これにより、ファクトテーブルの各レコードをディメンションテーブルの最新データと結合できます。イベントが発生した実際の時間に基づくイベント時間とは異なり、処理時間はデータが処理システムに到着した時間に基づきます。
新しい組み込み SQL 関数：
PERCENTILE(expr, percentage[, frequency])関数が導入されました。YAML デプロイメントにおける CDC データインジェストの強化： YAML デプロイメントで Kafka ソースコネクタを使用できるようになり、Debezium JSON および Canal JSON フォーマットがサポートされます。Apache Paimon および StarRocks コネクタは、MySQL からの上流の
TRUNCATE TABLEおよびDROP TABLEイベントを処理できるようになりました。エンジンは、シャーディングされたデータベースとテーブルのシナリオで、異なる精度のDecimalおよびTimestampフィールドのマージをサポートします。CTAS/CDAS の権限付与の強化： CREATE TABLE AS (CTAS) および CREATE DATABASE AS (CDAS) 文で、メタストアとして DLF 2.0 を使用した Apache Paimon を利用できるようになりました。
StarRocks コネクタの強化： StarRocks コネクタは、
BIGINT UNSIGNEDおよびVARBINARYデータ型をサポートするようになりました。
パフォーマンスの向上
統合されたフルおよび増分 CDC データインジェストの最適化： エンジンは、統合されたバッチ処理とストリーム処理を使用して、MySQL CDC から Apache Paimon へのフルデータと増分データの両方のリアルタイムインジェストを最適化し、データレイクへのインジェストパフォーマンスを大幅に向上させました。
フルマネージドストレージの最適化： この改善により、セーブポイントからの復元に必要な時間とコストが削減され、ストレージ効率が向上します。
ユーザーエクスペリエンスの向上
コネクタ： プラットフォームは、誤用を防ぐために不要な Debezium 設定パラメーターをマスクするようになりました。Hologres コネクタのタイムアウトパラメーターを最適化して、デプロイメント中のリトライを減らし、書き込みの信頼性を向上させました。
SQL： SQL 事前チェックにおける SinkMaterializer 演算子のヒントと提案を改善し、より明確にしました。
セキュリティの強化
Apache Paimon カタログのセキュリティ強化： カタログを作成すると、プラットフォームは認証情報を保護するために fs.oss.accessKeySecret パラメーターの値をマスクします。
次の表に、主な機能と関連ドキュメントの詳細を示します。このリリースは段階的に展開されます。ご利用のリージョンで利用可能になりましたら、デプロイメントのエンジンをアップグレードすることを推奨します。手順については、「デプロイメントのエンジンバージョンをアップグレードする」をご参照ください。皆様からのフィードバックをお待ちしております。
主な機能
機能 | 説明 | 参考資料 |
エンジンの JDK 11 サポート | エンジンは JDK 11 を完全にサポートしており、開発者は新機能を使用して Java アプリケーションを最適化し、実行環境のオプションを拡張し、プラットフォームの柔軟性と互換性を向上させることができます。 | |
ディメンションテーブル結合のための Keyed-Ordered モード | 外部システムから非同期でデータをフェッチし、UpsertKey の順序で処理するというビジネス要件を満たすために、Key-Ordered モードを導入しました。このモードは、既存の Ordered モードと Unordered モードの制限に対処します。 | |
YAML デプロイメントにおける CDC データインジェストの強化 | YAML デプロイメントは Kafka をソースとしてサポートするようになり、Flink デプロイメントは YAML を介して構成された Kafka データストリームをより柔軟に処理できるようになりました。 | |
最適化された SLS コネクタ | バックオフ戦略により、SLS コネクタの安定性と信頼性が向上しました。 | 該当なし |
StarRocks コネクタの強化 |
| |
SQL セマンティクスの強化 | エンジンは処理時間を使用したテンポラル結合をサポートするようになり、ファクトテーブルのデータをディメンションテーブルの最新データと関連付けます。 | |
新しい組み込み SQL 関数 | このリリースでは | |
最適化された Hive カタログ | フルマネージドストレージを使用するワークスペースで Hive カタログを作成し、作成時に直接関連する設定ファイルをアップロードし、ファイルのライフサイクルを管理できるようになりました。 | |
CTAS/CDAS の権限付与の強化 | CTAS および CDAS 文で DLF 2.0 を使用した Apache Paimon を利用できるようになりました。 | |
コンソールのホームページの再設計 | 再設計されたコンソールのホームページでは、リソースとデプロイメントの概要、よく使用される機能へのクイックアクセス、および一般的なドキュメントへのリンクが提供されるため、デプロイメントのステータスをすばやく確認し、コア機能にアクセスし、必要なドキュメントを見つけることができます。 | 該当なし |
新しいハイブリッド課金モード | 従量課金の柔軟性とサブスクリプションのコスト効率を組み合わせて、より最適化された課金戦略を提供します。 | |
ログアーカイブの最適化 | プラットフォームは、デプロイメントの期限切れのアーカイブログを定期的にクリーンアップして、余分なストレージコストを削減します。 | |
SelectDB コネクタのサポート | ApsaraDB for SelectDB は、Apache Doris をベースにした次世代のクラウドネイティブなリアルタイムデータウェアハウスサービスです。SelectDB コネクタを使用して、ApsaraDB for SelectDB にデータを書き込むことができます。 |
修正された問題
コネクタに関する問題
MySQL CDC データ同期： OSS からのフル読み取りから増分、binlog ベースの読み取りに移行する際にデータ損失を引き起こす可能性があった問題を修正しました。
Tair へのデータ書き込み： VVR 8.0.9 の Tair コネクタのバッファライターに欠陥があり、データが出力されない問題を修正しました。
OSS 書き込みパフォーマンス： VVR 8.0.7 以降のバージョンで OSS の書き込みパフォーマンスを改善しました。
YAML デプロイメントのタイムスタンプ： YAML デプロイメントで Apache Paimon にデータを書き込む際のタイムスタンプ型のタイムゾーン変換の問題を修正しました。
ディメンションテーブルのデータマッチング： MaxCompute や Table Store (OTS) などのコネクタで、プライマリキーを持つディメンションテーブルが Cache All ポリシーで
SHUFFLE_HASH、REPLICATED_SHUFFLE_HASH、またはSKEW戦略を使用した場合にデータマッチングが失敗する問題を修正しました。
SQL に関する問題
ソースマージ構成：
table.optimizer.source-merge.enabledがtrueに設定されている場合に発生した起動失敗を修正しました。ミニバッチ間隔の構成： VVR 8.0.7 でミニバッチ間隔の構成が有効にならなかった問題を修正しました。
互換性と依存関係の問題
コネクタのクラスロード： 追加の JAR 依存関係を持つ組み込みコネクタを使用するデプロイメントで、起動時に
connector class not found例外が発生する問題を修正しました。IntelliJ IDEA でのローカル実行： IntelliJ IDEA で MySQL CDC JAR パッケージをローカルで実行したときに発生した
ClassNotFoundException MySqlSourceReaderMetricsエラーを修正しました。
動的構成に関する問題
動的構成の更新が時々有効にならない問題を修正しました。