Realtime Compute for Apache Flink: 2021 年 8 月 4 日 - Flink

このページでは、2021年8月4日のリリースにおける Realtime Compute for Apache Flink の変更点について説明します。これには、Ververica Platform (VVP) および Ververica Runtime (VVR) 4.0.8 が含まれます。

アップグレード前の必要な操作

重要

アップグレードする前に、このセクションをお読みください。これらの変更には、ジョブの障害やデータ損失を回避するための操作が必要です。

ジョブを停止すると、すべてのチェックポイントが削除されるようになりました。 停止後にジョブの状態を復元する必要がある場合は、代わりに次のいずれかの方法を使用してください。

Flink 1.11 以前のジョブには、エンジンバージョンの移行が必要です。

VVR 3.0.3 以降、VVP は異なるエンジンバージョンの SQL ジョブを同時に実行することをサポートしています。エンジンバージョンのフォーマットも vvr-<VVR version>-flink-<Flink version> に変更されました。

現在のエンジンバージョンに基づいて、次の操作を実行してください。

現在のエンジンバージョン	必要な操作
Flink 1.12	ジョブを停止して再起動します。VVP はエンジンバージョンを自動的に `vvr-3.0.3-flink-1.12` に更新します。
Flink 1.11 または Flink 1.10	再起動する前に、エンジンバージョンを `vvr-3.0.3-flink-1.12` または `vvr-4.0.8-flink-1.13` に手動で更新してください。更新せずに再起動すると、タイムアウトエラーが発生します。

きめ細かいリソース構成 — SQL ジョブの共有スロットに対して CPU コアとメモリサイズを構成します。これにより、単一のクラスター全体の設定を適用するのではなく、ジョブごとにリソースを適切なサイズに調整できます。詳細については、「デプロイメントの構成」をご参照ください。
バージョン管理 — ジョブを公開すると、開発バージョンが生成されます。バージョンを並べて比較し、新しい公開によって問題が発生した場合は、任意の履歴バージョンにロールバックできます。詳細については、「ジョブバージョンの管理」をご参照ください。
Hologres カタログ — 開発コンソールで Hologres カタログを作成し、Realtime Compute for Apache Flink を離れることなく Hologres テーブルにアクセスし、Hologres メタデータを読み取ることができます。詳細については、「Hologres カタログの管理」をご参照ください。
マルチバージョン SQL ジョブ — 同じワークスペースで異なるエンジンバージョンを使用して SQL ジョブを公開します。サポートされているバージョン: vvr-3.0.3-flink-1.12 および vvr-4.0.8-flink-1.13。

MySQL CDC コネクタ — 複数の並列スレッドでの完全データの読み取り、ロックフリーアルゴリズム、および再開可能なアップロードをサポートします。
AnalyticDB for MySQL V3.0 コネクタ — ON DUPLICATE KEY UPDATE セマンティクスをサポートするようになりました。
ApsaraDB RDS for MySQL コネクタ — Java Database Connectivity (JDBC) ドライバーのバージョンを更新して、より多くの文字セットをサポートできます。

JAR パッケージのアップロードの高速化 — アップロード方法が最適化され、JAR パッケージのアップロードに必要な所要時間が短縮されました。
ログ内のジョブ名 — Log Service にダウンロードされるログにジョブ名が含まれるようになり、特定のログエントリを生成したジョブを特定しやすくなりました。

Kafka テーブルの一部のパーティションにデータがない場合に、currentEmitEventTimeLag メトリックが Log.MAX と表示される問題を修正しました。