このトピックでは、Realtime Compute for Apache Flink のリリースノートについて説明し、関連リファレンスへのリンクを提供します。リリースノートでは、2024年4月1日にリリースされたバージョンの Realtime Compute for Apache Flink の主要な更新とバグ修正について説明します。
アップグレードはネットワーク全体で段階的にカナリアリリースされ、3～4週間以内に完了する予定です。アップグレード計画については、Realtime Compute for Apache Flink コンソールのホームページの右側にある最新のお知らせをご覧ください。 Realtime Compute for Apache Flink の新機能を使用できない場合は、このバージョンはまだアカウントでご利用いただけません。できるだけ早くアップグレードを実行する場合は、
submit a ticket を送信してアップグレードを申請してください。
概要
Realtime Compute for Apache Flink の Ververica Runtime (VVR) の新しいエンジンバージョン 8.0.6 が、2024年4月1日に正式にリリースされました。このバージョンは、Apache Flink 1.17.2 をベースにしたエンタープライズレベルの Flink エンジンです。このバージョンには、以下の点での変更が含まれています。
リアルタイムレイクハウス：Apache Paimon データを OSS-HDFS に書き込むことができます。 CREATE TABLE AS または CREATE DATABASE AS ステートメントを実行して Apache Paimon にデータを書き込む場合、動的バケットモードを使用する Apache Paimon テーブルを作成できます。
コネクタ：MySQL CDC ソーステーブルから Hologres にデータを同期する際に時間差が存在する問題がこのバージョンで修正されました。 Hologres コネクタは TIMESTAMP_LTZ データ型をサポートしています。 MongoDB CDC コネクタは、CREATE TABLE AS ステートメントと CREATE DATABASE AS ステートメントをサポートしています。 MongoDB データベース内のすべてのテーブルからデータを同期する機能が強化されました。 MaxCompute コネクタを使用すると、MaxCompute Upsert Tunnel を使用して Transaction Table 2.0 テーブルにデータを書き込むことができます。リアルタイムの Elasticsearch インデックス作成のために、列をルーティングキーとして指定できます。 Kafka コネクタを使用してデータを書き込む場合、列の空の値は JSON 文字列に null 値として書き込まれません。これにより、Kafka のストレージ使用量が最適化されます。さらに、データの書き込み中にヘッダーに基づいて Kafka データをフィルタリングして、データ配信を容易にすることができます。 Hive カタログを使用して、Hive データを OSS-HDFS に書き込むことができます。 OceanBase CDC コネクタを使用して、OceanBase ソーステーブルからデータを読み取ることができます。これにより、OceanBase に基づいてリアルタイムデータウェアハウスを構築できます。
SQL の強化：CUMULATE 関数の新しい集約演算子 WindowAggregate は、更新ストリームをサポートしています。この VVR バージョンでは、TUMBLE、HOP、CUMULATE、および SESSION ウィンドウ関数は更新ストリームをサポートしています。 Apache Flink 1.18 以前のバージョンでは、ウィンドウ関数は更新ストリームのウィンドウ集約をサポートしていません。
バグ修正：以下の問題が修正されました。ClickHouse 結果テーブルの shardWrite パラメータの設定が有効になりません。デプロイメントのセーブポイントが極端なケースで生成できません。バグ修正により、システムの安定性と信頼性が向上します。
次の表に、このバージョンの主な機能を示します。カナリアリリースはネットワーク全体で徐々に完了します。カナリアリリースが完了したら、デプロイメントで使用されているエンジンをこのバージョンにアップグレードできます。詳細については、「デプロイメントのエンジンバージョンをアップグレードする」をご参照ください。皆様からのフィードバックをお待ちしております。
機能
機能 | 説明 | リファレンス |
Hologres コネクタによる TIMESTAMP_LTZ データ型のサポート | TIMESTAMP_LTZ データ型は、Hologres コネクタでサポートされています。これにより、時間レートデータの処理と分析が容易になり、データの精度が向上します。 | |
MaxComputeコネクタの機能強化 |
| |
Elasticsearch 結果テーブルのルーティングキーとして使用される指定された列 | Elasticsearch をより効率的に使用するために、列をルーティングキーとして指定できます。 | |
Hologres コネクタによる TIMESTAMP_LTZ データ型のサポート | TIMESTAMP_LTZ データ型は、Hologres コネクタでサポートされています。これにより、時間レートデータの処理と分析が容易になり、データの精度が向上します。 | |
Kafkaコネクタとヘッダーに基づくデータフィルタリングを使用した場合、空の列値がJSON文字列にnull値として書き込まれません | MaxCompute コネクタの強化 | |
OceanBase CDCコネクタを使用したソーステーブルからのデータ読み取り | OceanBaseに基づいて階層型リアルタイムデータウェアハウスを構築できます。 | |
Elasticsearch 結果テーブルのルーティングキーとして使用される指定列 | 列をルーティングキーとして指定して、Elasticsearch をより効率的に使用できます。 | |
DLF ベースの Hive カタログを使用した非 Hive テーブルの作成 | CUMULATE 関数の新しい集約演算子 WindowAggregation でサポートされる更新ストリーム | |
Apache Paimon の拡張機能 |
| N/A |
Kafka コネクタを使用した JSON 文字列への null 値としての空の列値の書き込みなし、およびヘッダーに基づくデータフィルタリング | Kafka ストレージ使用量が最適化され、データ配信が改善されます。 | |
OceanBase CDC コネクタを使用したソーステーブルからのデータ読み取り | OceanBase に基づいて階層型リアルタイムデータウェアハウスを構築できます。 | |
Hive カタログに基づく Hive データのストレージとして使用される OSS-HDFS | Hive カタログが構成された後、Hive カタログを使用して Hive データを OSS-HDFS に書き込むことができます。このようにして、Hive データは OSS-HDFS に保存されます。これにより、OSS-HDFS に基づいて Hive データウェアハウスを構築できます。 | |
StarRocksコネクタでサポートされているJSONタイプ | 特定のビジネス要件を満たすために、StarRocksコネクタを使用してJSONタイプのデータをStarRocksに書き込むことができます。 | 該当なし |
DLF ベースの Hive カタログを使用した非 Hive テーブルの作成 | Data Lake Formation (DLF) が Hive カタログのメタデータ管理センターとして使用される場合、Hive カタログを使用して非 Hive テーブルを作成できます。これにより、Hive カタログを使用してさまざまな種類のテーブルを管理できます。 |
バグ修正
ClickHouse結果テーブルのshardWriteパラメーターの設定が有効にならない問題が修正されました。
極端なケースでデプロイメントのセーブポイントが生成されない問題が修正されました。
Apache Flink 1.17.2 のすべての問題が修正されました。詳細については、「Apache Flink 1.17.2 Release Announcement」をご参照ください。