Realtime Compute for Apache Flink は、2023 年 6 月 21 日にバージョン VVR 6.0.7 をリリースしました。本リリースでは、プラットフォームの更新、コネクタの更新、およびバグ修正が含まれます。
本バージョンはカナリアリリースとして段階的に展開され、2 週間以内に全ネットワークに適用されます。コンソール上で新機能がまだ表示されていない場合、ご利用のプラットフォームは依然として以前のバージョンのままです。早期アップグレードをご希望の場合は、チケットを送信してください。最新のアップグレードスケジュールについては、Realtime Compute for Apache Flink コンソール のホームページ右側に表示されるアナウンスをご確認ください。
概要
Ververica Runtime (VVR) 6.0.7 は Apache Flink 1.15.4 をベースとしています。
主な特徴：
-
カタログ対応：MaxCompute カタログおよび Log Service カタログが正式にサポートされました。これにより、SQL デプロイメントごとに DDL 文を記述することなく、永続的なテーブルを定義できます。
-
Apache Paimon 0.4.0（招待プレビュー）：Flink Change Data Capture（CDC）を活用したデータレイクへのリアルタイムデータインジェスト、スキーマ進化、およびストリーミング読み取り／書き込み順序の向上が実現しました。
-
MySQL コネクタの強化：結果テーブルおよびディメンションテーブルの機能が向上し、プライマリキーを持たない CDC ソーステーブルもサポートされるようになりました。
-
アラート機能の改善：「データなし警告」と「アラームノイズ低減」の新しいスイッチを追加し、より実行可能なアラートを実現しました。
-
VVR 4.0.18 のリリース：VVR 4.X ユーザー向けの最終推奨アップデートです。
カナリアリリースが完了すると、新しいエンジンバージョンが、ドラフトの[設定]ペイン内の[エンジンバージョン]ドロップダウンリストに表示されます。
アップグレードに関する注意事項
以下の変更点について、アップグレード前またはアップグレード後に必要な対応があります。
MySQL コネクタへの移行
MySQL コネクタは、現在、結果テーブルおよびディメンションテーブル向けの ApsaraDB RDS for MySQL コネクタのすべての機能をサポートしています。ApsaraDB RDS for MySQL コネクタから MySQL コネクタへのデプロイメントの移行を開始してください。手順については、「MySQL コネクタ」をご参照ください。
VVR 4.X の推奨アップデート終了
VVR 4.0.18 は、VVR 4.X 向けの最終推奨バージョンです。デプロイメントが依然として VVR 4.X 上で実行されている場合は、安定版（Stable）または推奨版（Recommend）のエンジンバージョンへアップグレードしてください。エンジンバージョンは、エンジンバージョンドロップダウンリストにおいて、今後「Recommend」「Stable」「Normal」「Deprecated」の 4 つのカテゴリに分類されます。
新機能
プラットフォーム
| 機能 | 変更内容 | 参照 |
|---|---|---|
| 監査ログ | Realtime Compute for Apache Flink が ActionTrail と接続されるようになりました。ユーザー操作記録は、ActionTrail コンソールから直接確認できます。 | ActionTrail を使用したリソース操作イベントの表示 |
| Kerberos 認証済み Hive クラスターへのアクセス | JAR および Python デプロイメントから、Kerberos 認証を使用する Hive クラスターへのデータ書き込みが可能になりました。 | Kerberos 認証をサポートする Hive クラスターの登録デプロイメントの作成 |
| エンジンバージョンの分類 | エンジンバージョンドロップダウンリスト内のエンジンバージョンが、「Recommend」「Stable」「Normal」「Deprecated」の 4 つのカテゴリにグループ化されるようになりました。 | SQL ドラフトを開発する、デプロイメントを作成する |
| インテリジェントデプロイメント診断 | 診断タブがデプロイメントページに追加され、従来のダイアログボックスが置き換えられました。ヘルススコアおよび診断結果が、単一のビューで確認できるようになりました。 | インテリジェントデプロイメント診断の実行 |
| 更新者列 | 更新者列がデプロイメントページに追加され、各デプロイメントの最終更新者を表示するようになりました。 | — |
| 強化されたアラート機能 | アラートルールに 2 つの新しいスイッチが追加されました。「データなし警告」はデータソースの異常を早期に検出し、「アラームノイズ低減」は繰り返しや無効なアラートを抑制します。 | アラートルールの設定 |
| メンバー管理 API | 自動化された権限付与ワークフローに対応するメンバー管理 API が利用可能になりました。 | — |
| ページ体験の改善 | デプロイメントページで、レイアウトのカスタマイズおよびフィルター機能がサポートされるようになりました。UI スタイルおよび特定のページレイアウトが更新され、ログセクションなどの領域が拡張されています。 | — |
カタログ
| 機能 | 変更内容 | 関連ドキュメント |
|---|---|---|
| MaxCompute カタログ | MaxCompute カタログが正式にサポートされました。MaxCompute カタログを用いてメタデータを 1 回登録するだけで、各 MaxCompute ソーステーブルごとに DDL 文を記述せずに SQL デプロイメントを作成できます。 | MaxCompute カタログの管理 |
| Log Service カタログ | Log Service カタログが正式にサポートされました。メタデータを 1 回登録するだけで、SQL デプロイメントにおける Log Service ソーステーブル作成時に、繰り返しの DDL 文を省略できます。 | Log Service カタログの管理 |
| DLF を Hive カタログのメタデータ管理センターとして利用 | Hive 3.X において、Data Lake Formation（DLF）を Hive カタログのメタデータ管理センターとして利用できるようになりました。 | Hive カタログの管理 |
| Apache Paimon カタログ | Apache Paimon コネクタが Apache Paimon 0.4.0（招待プレビュー）へアップグレードされました。CREATE TABLE AS 文および CREATE DATABASE AS 文を用いて、Apache Paimon カタログ経由で Apache Paimon へのリアルタイムデータインジェストが可能になりました。スキーマ進化、スナップショットのクリーンアップ、自動パーティション削除、Parquet ファイル形式がサポートされています。また、ストリーミング読み取り／書き込み順序および全体的なパフォーマンスも向上しています。 | CREATE TABLE AS 文、Apache Paimon カタログの管理 |
コネクタ
| 機能 | 変更内容 | 参照 |
|---|---|---|
| MySQL コネクタの強化 | 結果テーブルおよびディメンションテーブルの機能が強化されました。移行手順については、「アップグレードに関する注意事項」をご参照ください。 | MySQL コネクタ |
| プライマリキーを持たない MySQL CDC ソーステーブル | プライマリキーを持たない MySQL CDC ソーステーブルを増分読み取りに使用できるようになりました。これにより、より多くの MySQL テーブルタイプがサポートされるようになりました。 | — |
| Tair コネクタ：有効期限およびインクリメント設定 | 結果テーブル向け Tair コネクタでは、有効期限の指定およびインクリメント設定の構成が可能になりました。 | Tair コネクタ |
| MaxCompute コネクタ：排他的 Tunnel リソースグループ | MaxCompute コネクタが排他的 Tunnel リソースグループをサポートするようになりました。これにより、データ転送がより安定かつ効率的になります。 | MaxCompute コネクタ |
| DataHub コネクタ：ソーステーブルのパフォーマンス | 特定のシナリオにおいて、DataHub コネクタのソーステーブルパフォーマンスが約 290 % 向上しました。 | — |
| Tablestore コネクタ：時系列データ | Tablestore コネクタが、Tablestore の時系列モデルを用いた時系列データの書き込みをサポートするようになりました。 | — |
| Hudi コネクタのアップグレード | Hudi コネクタが Apache Hudi 0.13.1 へアップグレードされました。 | — |
修正済みの問題
-
CREATE TABLE AS 文または CREATE DATABASE AS 文を用いて MySQL CDC ソーステーブルのデータを消費する際に、MySQL コネクタで発生していたメモリオーバーフローを修正しました。
-
ディメンションテーブル向け Hologres コネクタを使用した際に発生していたヌルポインタ例外を修正しました。
-
ソーステーブル向け Hologres コネクタを使用した際に発生していたメモリオーバーフローを修正しました。