Realtime Compute for Apache Flink:2022年5月16日 リリースノート

概要

Kafka カタログのサポート

Kafka カタログは Kafka メッセージを自動的に解析してテーブルスキーマを推論するため、DDL 文を記述することなく Flink SQL で Kafka クラスター内のトピックに直接アクセスできます。スキーマ推論では、JSON 形式のメッセージがサポートされています。

お客様にとってのメリット：Kafka トピックのソーステーブルや結果テーブルを手動で定義する必要がなくなり、定型的な作業やスキーマの不一致のリスクが軽減されます。

関連ドキュメント：Kafka JSON カタログの管理

CREATE DATABASE AS によるシャーディングされたデータベースからの複数テーブル同期

CREATE DATABASE AS 文は、データベース名の正規表現をサポートするようになり、複数のデータベースシャードにまたがるソーステーブルを照合できるようになりました。シャードデータをマージした後、Realtime Compute for Apache Flink は、各ソーステーブルに対応する名前のダウンストリームの送信先テーブルにデータを同期します。これにより、テーブルごとの手動設定が不要になります。

お客様にとってのメリット：Hologres などの単一の送信先に、大規模なシャーディングされたデータベースからデータを同期する際の設定作業を大幅に削減します。

関連ドキュメント：CREATE DATABASE AS 文

Hologres コネクタ：完全データと増分データの消費

Hologres コネクタは、単一のジョブで完全同期と増分同期を組み合わせたモードをサポートするようになりました。ジョブはまず Hologres ソーステーブルから完全なデータスナップショットを実行し、その後スムーズに増分バイナリログの消費に切り替わります。

お客様にとってのメリット：リアルタイムのデータウェアハウジングパイプラインの構築を簡素化します。以前は、完全同期と増分同期には、別々のジョブまたは手動での引き継ぎが必要でした。

関連ドキュメント：Hologres ソーステーブルの作成

ApsaraDB for Redis 結果テーブル：キーの TTL

ApsaraDB for Redis の結果テーブルに書き込む際に、コネクタのパラメーターで直接キーの存続時間 (TTL) を設定できます。これにより、保持ポリシーに従ってデータが自動的に期限切れになります。

関連ドキュメント：ApsaraDB for Redis 結果テーブルの作成

MaxCompute Streaming Tunnel とデータ圧縮

MaxCompute コネクタでは、2つの機能強化が利用可能です：

• Streaming Tunnel：ストリーミングモードで MaxCompute にデータを書き込みます。exactly-once セマンティクスを必要としないジョブの場合、Streaming Tunnel は、チェックポイントが低速で作成されるときに発生するパフォーマンスの問題を回避します。

• データ圧縮：Streaming Tunnel と Batch Tunnel の両方で、転送効率を向上させるためのデータ圧縮がサポートされるようになりました。

関連ドキュメント：

• 完全な MaxCompute ソーステーブルの作成

• 増分 MaxCompute ソーステーブルの作成

• MaxCompute 結果テーブルの作成

• MaxCompute ディメンションテーブルの作成

Hologres DataStream コネクタ

Hologres DataStream コネクタがサポートされるようになりました。

Elasticsearch コネクタ：retry_on_conflict パラメーター

retry_on_conflict パラメーターを設定して、Elasticsearch 結果テーブルへのデータ更新中にバージョン競合が発生した場合の最大リトライ回数を指定します。

関連ドキュメント：Elasticsearch 結果テーブルの作成

MySQL CDC および Postgres CDC コネクタの Flink CDC 2.2 との互換性

MySQL Change Data Capture (CDC) コネクタと Postgres CDC コネクタは、Flink CDC 2.2 と完全に互換性を持つようになりました。Flink CDC 2.2 リリースのすべてのバグ修正が含まれています。

バイナリログ位置追跡のためのハートビートイベント

MySQL CDC コネクタは、ハートビートイベントを使用して、ソースから読み取った最新のバイナリログファイルの位置を追跡するようになりました。更新が遅いテーブルの場合、コネクタは更新イベントを待つのではなく、ハートビートイベントに基づいてバイナリログの位置を進めます。これにより、書き込み量が少ないテーブルでバイナリログの位置が期限切れになるのを防ぎます。

関連ドキュメント：MySQL CDC ソーステーブルの作成

MySQL CDC コネクタの UNSIGNED FLOAT、DOUBLE、DECIMAL データ型

UNSIGNED FLOAT、DOUBLE、DECIMAL データ型が、MySQL CDC コネクタと MySQL カタログでサポートされるようになりました。

関連ドキュメント：MySQL CDC ソーステーブルの作成

MySQL CDC コネクタの JDBC パラメーター

Java Database Connectivity (JDBC) パラメーターを MySQL CDC コネクタで直接設定して、MySQL インスタンスへの接続方法を制御できるようになりました。

関連ドキュメント：MySQL CDC ソーステーブルの作成

セッションクラスターの強制終了

セッションクラスターをコンソールから強制的に終了できるようになりました。セッションクラスターはジョブ間でリソースを共有するため、異常なセッションクラスターは、その中で実行されているすべてのジョブに影響を与える可能性があります。

本番ジョブをセッションクラスターで実行しないでください。セッションクラスターの例外が原因でジョブが失敗した場合は、セッションクラスターを強制終了して回復してください。

関連ドキュメント：開発およびテスト環境 (セッションクラスター) の設定

JobManager 例外のインテリジェント分析

ジョブが失敗すると、JobManager は TaskManager の例外をログに記録します。このログは、Realtime Compute for Apache Flink の開発コンソールの [ログ] タブで表示できます。例外ログの保存期間が延長され、ログがタイプ別に分類されるようになったため、ジョブが連続して失敗した場合の根本原因をより迅速に特定できます。

関連ドキュメント：デプロイメントの例外ログの表示

Alibaba Cloud ドキュメントの組み込み

Alibaba Cloud ドキュメントセンターのドキュメントに、フルマネージド Flink コンソール内から直接アクセスできるようになりました。これにより、ジョブの開発や O&M (運用保守) 中にブラウザのウィンドウを切り替える必要がなくなります。

サービス通知

プロダクトの更新やメンテナンスのお知らせを含むサービス通知が、Realtime Compute for Apache Flink コンソールに表示されるようになりました。これにより、SMS、サイト内メッセージ、または DingTalk グループを介してユーザーに通知が届かないという問題が回避されます。

UI の最適化

• 新しい Alibaba Cloud のテーマスタイルがコンソール全体に適用されます。

• ジョブステータスの説明が、より明確になるように更新されました。

参照:

• フルマネージド Flink のメトリクスを他のプラットフォームにレポート

• デプロイメントの開始