Realtime Compute for Apache Flink:2024年4月1日のリリース

リアルタイムレイクハウス

Apache Paimon から OSS-HDFS への書き込み

Apache Paimon データを OSS-HDFS に書き込めるようになりました。これにより、レイクハウスのワークロードに対してコスト効率の高いストレージオプションが提供されます。CREATE TABLE AS または CREATE DATABASE AS を実行して Apache Paimon に書き込むと、結果のテーブルは自動的に動的バケットモードで作成されます。このリリースには、2024 年 3 月 15 日までの master ブランチから取り込まれた、Apache Paimon コミュニティのすべての機能と修正も含まれています。詳細については、Apache Paimon をご参照ください。

Hive カタログを介した OSS-HDFS による Hive データのサポート

Hive カタログを設定した後、Hive データを直接 OSS-HDFS に書き込むことができます。これにより、カタログベースのワークフローを変更することなく、OSS-HDFS 上に Hive データウェアハウスを構築できます。

DLF ベースの Hive カタログにおける Hive 以外のテーブル

Data Lake Formation (DLF) が Hive カタログのメタデータ管理センターである場合、Hive カタログを通じて Hive 以外のテーブルを作成できるようになりました。これにより、単一のカタログからさまざまな種類のテーブルを簡単に管理できます。

コネクタ

OceanBase CDC コネクタ — OceanBase ソーステーブルからの読み取り (パブリックプレビュー)

Change Data Capture (CDC) コネクタを使用して OceanBase ソーステーブルからデータを読み取れるようになりました。これにより、OceanBase データを Flink パイプラインに直接取り込み、OceanBase 上に階層化されたリアルタイムデータウェアハウスを構築できます。詳細については、「OceanBase コネクタ (パブリックプレビュー)」をご参照ください。

MongoDB CDC コネクタ — CREATE TABLE AS および CREATE DATABASE AS (パブリックプレビュー)

CREATE TABLE AS または CREATE DATABASE AS を実行して、MongoDB データベースからダウンストリームテーブルへ、データとスキーマの変更の両方をリアルタイムで同期します。詳細については、「MongoDB カタログの管理 (パブリックプレビュー)」、「CREATE TABLE AS 文」、「CREATE DATABASE AS 文」、および「MongoDB コネクタ (パブリックプレビュー)」をご参照ください。

PostgreSQL CDC コネクタ — 完全なデータの同時読み取り (パブリックプレビュー)

PostgreSQL CDC ソーステーブルから完全なデータが同時に読み取られるようになり、初回の完全なデータ同期を完了するために必要な時間が大幅に短縮されます。詳細については、「PostgreSQL CDC コネクタ (パブリックプレビュー)」をご参照ください。

Hologres コネクタ — `TIMESTAMP_LTZ` データ型のサポート

Hologres コネクタが TIMESTAMP_LTZ データ型をサポートするようになりました。これにより、タイムゾーン対応データの処理と分析が容易になり、データ精度が向上します。さらに、MySQL CDC ソーステーブルから Hologres にデータを同期する際に時間差が生じる問題が、このバージョンで修正されました。詳細については、「Hologres コネクタ」をご参照ください。

MaxCompute コネクタ — Upsert Tunnel とスキーマのサポート

このリリースには、2 つの機能強化が含まれています。

• MaxCompute Upsert Tunnel を使用して、Transaction Table 2.0 テーブルにデータを書き込みます。

• スキーマを指定することで、コネクタがスキーマ機能が有効になっている MaxCompute プロジェクト内のテーブルから読み取りおよび書き込みを行えるようになります。

詳細については、「MaxCompute コネクタ」をご参照ください。

Elasticsearch — カラムベースのルーティングキー

リアルタイムの Elasticsearch インデックス作成のために、任意のカラムをルーティングキーとして指定できます。これにより、ドキュメントがシャード間でどのように分散されるかをより細かく制御できます。詳細については、「Elasticsearch」をご参照ください。

Apache Kafka コネクタ — null 値の処理とヘッダーベースのフィルタリング

2 つの改善により、不要なデータが削減され、ディストリビューションが向上します。

• 空のカラム値が JSON 文字列に null 値として書き込まれなくなり、不要なストレージ使用量が削減されます。

• 書き込み中にヘッダーに基づいて Kafka データをフィルタリングできるため、データを適切な送信先にルーティングしやすくなります。

詳細については、「Apache Kafka コネクタ」および「JSON」をご参照ください。

OSS コネクタ — 強化されたバケット認証

ファイルシステムパスを指定した後、そのパスからの読み取りまたは書き込みを行うには、Object Storage Service (OSS) のバケット認証を設定する必要があります。これにより、ジョブが OSS データにアクセスする前に適切な認証情報を持つことが保証されます。詳細については、「OSS コネクタ」をご参照ください。

StarRocks コネクタ — JSON 型のサポート

StarRocks コネクタを使用して JSON 型データを StarRocks に書き込むことで、半構造化データを含むビジネス要件に対応します。

Simple Log Service コネクタ — null 値を空文字列として扱う

null 値がドロップされる代わりに空文字列としてログに書き込まれるようになり、null 値を含むフィールドの処理が容易になります。詳細については、「Simple Log Service コネクタ」をご参照ください。

SQL の機能強化

CUMULATE 関数 — WindowAggregate の更新ストリームのサポート

CUMULATE 関数の WindowAggregate 演算子が更新ストリームをサポートするようになりました。このリリースにより、TUMBLE、HOP、CUMULATE、SESSION の 4 つすべてのウィンドウ関数が、CDC データストリームなどの更新ストリームに対するウィンドウ集計をサポートします。Apache Flink 1.18 以前では、ウィンドウ関数はこの機能をサポートしていませんでした。詳細については、「クエリ」をご参照ください。