このリリースは、Ververica Runtime (VVR) 6.0.5 と Apache Flink 1.15.3 をベースとしています。Apache Flink 1.15.3 のすべての不具合は、このリリースで修正されています。
今回のリリース内容:
新しいコネクタ: StarRocks コネクタが、ソーステーブルと結果テーブルの両方で正式にリリースされました。
SQL の機能強化: Flink SQL 複雑なイベント処理 (CEP) が、グループパターンと NO SKIP パターンをサポートするようになりました。
CDC の改善: リアルタイムデータインジェストにおいて、データ型マッピングと
op_tsメタデータ同期がサポートされるようになりました。Log Service コネクタ: Logstore のバケット構成と、コンシューマーグループのチェックポイントベースのログ消費に関する新しいオプションが追加されました。
バグ修正: Kafka コネクタ、JDBC を使用した Flink CDC、および Codegen における 3 つの問題が解決されました。
新機能
| 機能 | 説明 | 参照 |
|---|---|---|
| Flink CDC コネクタにおけるデータ型マッピング | CREATE DATABASE AS または CREATE TABLE AS 文を使用してデータレイクまたはデータウェアハウスにデータを取り込む際、アップストリームとダウンストリームの列は、異なるが互換性のあるデータ型を持つことができます。これにより、不要な型不一致エラーを防ぎます。制限事項: ダウンストリームデータストアは Hologres である必要があります。 | Hologres カタログの管理, CREATE TABLE AS 文 |
| Flink SQL CEP におけるグループパターンと NO SKIP パターン | Flink SQL 複雑なイベント処理 (CEP) が、グループパターン (A(B C)+ など) と NO SKIP パターン (A B{4,10}? など) をサポートするようになり、複数の要素にわたるより表現力豊かなイベントマッチングが可能になりました。 | CEP 文 |
| Log Service コネクタにおけるバケット構成とコンシューマーグループのチェックポイント | 64 を超えるシャードを持つ Logstore の場合、コネクタ構成でバケット数を直接指定します。コネクタは、指定されたコンシューマーグループに保存されているチェックポイントからログ消費を再開することもできます。 | Log Service ソーステーブルの作成 |
| StarRocks コネクタ | StarRocks コネクタが正式にリリースされました。これを使用して、StarRocks ソーステーブルからデータを読み取り、StarRocks 結果テーブルにデータを書き込みます。 | N/A |
CREATE TABLE AS での op_ts | CREATE TABLE AS 文を実行する際、op_ts などのメタデータフィールドが同期に含まれるようになりました。 | MySQL カタログの管理 |
修正された問題
Kafka コネクタ: Message Queue for Apache Kafka コネクタの
WITH句でパラメーターを変更すると、再起動時にデプロイメントが失敗する問題を修正しました。JDBC を使用した Flink CDC: Flink Change Data Capture (CDC) が Java Database Connectivity (JDBC) ドライバーを使用して非同期スレッドでデータを読み取る際に、メモリ不足 (OOM) エラーの原因が表示されない問題を修正しました。
Codegen: Codegen エラーにより、エラーメッセージ
Table program cannot be compiled.が表示される問題を修正しました。