このトピックでは、Realtime Compute for Apache Flink のリリースノートについて説明し、関連リファレンスへのリンクを提供します。リリースノートでは、2023年6月21日にリリースされたバージョンの Realtime Compute for Apache Flink の主な更新とバグ修正を提供します。
このバージョンではカナリアリリースが開始され、2週間以内に完了します。Realtime Compute for Apache Flink コンソールで新機能が見つからない場合は、新しいバージョンがプラットフォームでまだ利用できません。できるだけ早くプラットフォームをアップグレードしたい場合は、[submit a ticket] を送信してアップグレードを申請してください。アップグレードプランの詳細については、Realtime Compute for Apache Flink コンソール のホームページの右側にある最新のお知らせをご覧ください。
概要
Realtime Compute for Apache Flink の新しい公式バージョンが 2023年6月21日にリリースされました。このバージョンには、プラットフォームの更新、エンジンの更新、コネクタの更新、パフォーマンスの最適化、バグ修正が含まれています。
エンジンバージョン Ververica Runtime (VVR) 6.0.7 がリリースされました。これは、Apache Flink 1.15.4 をベースにしたエンタープライズレベルの Flink エンジンです。このバージョンの Realtime Compute for Apache Flink は、MaxCompute カタログと Log Service カタログを正式にサポートしています。カタログのデータテーブルを永続テーブルとして定義および使用できます。Apache Paimon は招待制プレビュー中です。このバージョンには、Apache Paimon 0.4.0 の更新が含まれています。この更新には、Flink Change Data Capture (CDC) コネクタを使用したデータレイクへのデータ取り込みと、CREATE TABLE AS ステートメントと CREATE DATABASE AS ステートメントを実行することによるスキーマ進化が含まれています。さらに、ストリーミングデータの読み取りおよび書き込み操作の順序をより適切に維持できるようになり、データ消費の柔軟性と読み取りおよび書き込みのパフォーマンスが向上しました。スナップショットのクリーンアップや自動パーティション削除などのデータ制御機能も強化されています。Parquet ファイル形式がサポートされています。VVR 4.0.18 が正式にリリースされました。このバージョンでは、複数の不具合が修正されています。このバージョンは、VVR 4.X の更新に推奨される最終バージョンです。
監査ログ、Kerberos 認証をサポートする Hive クラスタへのアクセス、監視とアラートなど、プラットフォーム上の複数の共通機能が最適化されています。特定のページの表示とそれらのページでのユーザーエクスペリエンスが最適化されています。
カナリアリリースは、ネットワーク全体で2週間以内に完了します。カナリアリリースが完了すると、プラットフォーム機能がアップグレードされ、ドラフトの [エンジンバージョン] ドロップダウンリストに新しいエンジンバージョンが表示されます。ドラフトで使用されているエンジンを新しいバージョンにアップグレードできます。フィードバックをお待ちしております。
機能
機能 | 説明 | リファレンス |
Apache Paimon カタログを使用した CREATE TABLE AS ステートメントまたは CREATE DATABASE AS ステートメントの実行による Apache Paimon へのリアルタイムデータ取り込み | Apache Paimon カタログを使用して、Apache Paimon にデータをリアルタイムで取り込むことができます。 | |
結果テーブルとディメンションテーブル用の MySQL コネクタの強化 | 結果テーブルとディメンションテーブルで使用される MySQL コネクタの機能が強化されました。このバージョンからは、ApsaraDB RDS for MySQL コネクタから MySQL コネクタへのデプロイを徐々に移行することをお勧めします。 | |
インクリメンタル読み取り用のプライマリキーを持たない MySQL CDC ソーステーブル | プライマリキーを持たない MySQL CDC ソーステーブルをインクリメンタル読み取りに使用できます。この更新により、より多くの種類の MySQL テーブルを CDC ソーステーブルとして使用できます。 | |
結果テーブル用の Tair コネクタでサポートされる有効期限と増分設定 | 結果テーブルで使用される Tair コネクタを使用すると、Tair 結果テーブルのデータの有効期限を指定し、増分設定を構成できます。 | |
Kerberos 認証をサポートする Hive クラスタへのアクセス | Flink JAR デプロイまたは Flink Python デプロイのデータを、Kerberos 認証をサポートする Hive クラスタに書き込むことができます。 | |
監査ログ | Realtime Compute for Apache Flink は ActionTrail サービスに接続されています。このようにして、ActionTrail コンソールで Realtime Compute for Apache Flink のユーザーの操作記録を表示できます。 | |
インテリジェントデプロイ診断情報の表示の最適化 | [診断] タブが [デプロイ] ページに追加され、より多くの診断情報が表示されるようになりました。インテリジェントデプロイ診断に関するダイアログボックスは使用されなくなりました。ヘルススコアとデプロイ診断により、デプロイステータスをより簡単に把握できます。 | |
[変更者] 列の追加 | [変更者] 列が [デプロイ] ページに追加され、デプロイ操作情報を把握できるようになりました。 | なし |
エンジンバージョンの分類 | [構成] ペインの [エンジンバージョン] ドロップダウンリストのすべてのエンジンバージョンは、推奨、安定、標準、非推奨の 4 つのタイプに分類されます。エンジンを安定バージョンまたは推奨バージョンにアップグレードすることをお勧めします。 | |
メンバー管理 API | メンバー管理 API を使用して、自動承認を完了できます。 | なし |
ページ関連のエクスペリエンスの最適化 |
| なし |
アラート機能の強化 |
| |
Hudi コネクタのアップグレード | Hudi コネクタが Apache Hudi 0.13.1 にアップグレードされました。 | なし |
Apache Paimon コネクタのアップグレード | Apache Paimon コネクタが Apache Paimon 0.4.0 にアップグレードされました。 | |
MaxCompute コネクタでサポートされる専用トンネルリソースグループ | MaxCompute の専用トンネルリソースグループが MaxCompute コネクタでサポートされ、データ転送がより安定して効率的になりました。 | |
ソーステーブル用の DataHub コネクタのパフォーマンス最適化 | 特定のシナリオでは、ソーステーブルで使用される DataHub コネクタのパフォーマンスが約 290% 向上しました。 | なし |
Tablestore コネクタを使用した時系列データの書き込み | Tablestore の時系列モデルは、時系列データの特性に基づいて設計されています。Tablestore コネクタを使用して、時系列データを Tablestore に書き込むことができます。 | なし |
Hive 3.X での Hive カタログのメタデータ管理センターとしての DLF のサポート | Hive 3.X では、Data Lake Formation (DLF) を Hive カタログのメタデータ管理センターとして使用できます。 | |
Log Service カタログ | Log Service カタログがサポートされています。Log Service カタログを使用してメタデータを登録した後、SQL デプロイを作成するときに、DDL ステートメントを使用して Log Service ソーステーブルを頻繁に作成する必要はありません。 | |
MaxCompute カタログ | MaxCompute カタログがサポートされています。MaxCompute カタログを使用してメタデータを登録した後、SQL デプロイを作成するときに、DDL ステートメントを使用して MaxCompute ソーステーブルを頻繁に作成する必要はありません。 |
修正された問題
次の問題が修正されました。CREATE TABLE AS ステートメントまたは CREATE DATABASE AS ステートメントで MySQL コネクタを使用して MySQL CDC ソーステーブルのデータを使用すると、メモリオーバーフローが発生します。
Hologres コネクタをディメンションテーブルに使用すると NullPointerException が発生する問題が修正されました。
Hologres コネクタをソーステーブルに使用するとメモリオーバーフローが発生する問題が修正されました。