このトピックでは、2024 年 7 月 22 日にリリースされた Realtime Compute for Apache Flink バージョンの主な更新とバグ修正について説明します。
バージョンアップグレードは、カナリアリリース戦略を使用してネットワーク全体に段階的に展開されます。 アップグレードスケジュールの詳細については、Realtime Compute for Apache Flink の管理コンソール の右側にある最新のお知らせをご覧ください。 このバージョンの新機能は、アカウントのアップグレードが完了した後にのみ使用できます。 アップグレードをできるだけ早く適用するには、[チケットを送信] してください。
概要
このリリースには、プラットフォームとエンジンの更新が含まれています。
プラットフォームの更新
このリリースでのプラットフォームの更新は、使いやすさ、システムの安定性、セキュリティ、および O&M 効率に重点を置いています。
カスタムロールときめ細かい権限：ビジネス要件に基づいてカスタムロールを作成し、きめ細かい権限を割り当てることができます。 これにより、権限管理の柔軟性とジョブ関連操作のセキュリティが向上します。
より効率的な開発と O&M：ジョブの詳細とリソース構成の UI が最適化され、明確さと使いやすさが向上しました。 GUI で MaxCompute カタログを作成できるため、Flink ジョブの構成と管理が容易になり、データ管理と開発効率が向上します。
エンジンの更新
Ververica Runtime (VVR) 8.0.8 が正式にリリースされ、Apache Flink 1.17.2 に基づくエンタープライズクラスのエンジンが提供されます。 VVR 8.0.8 には次の更新が含まれています。
コネクタ：(1) Elasticsearch コネクタでは、RETRACT イベントの処理ポリシーと返されるドキュメントの最大数を構成できます。 (2) Hologres コネクタを使用して作成されたテーブルでは、削除ポリシーを列ごとに個別に構成できます。 (3) StarRocks コネクタでは、JSON データ型がサポートされています。 (4) Simple Log Service (SLS) コネクタでは、最新および最古の起動モードがサポートされています。 (5) MySQL コネクタでは、ApsaraDB RDS for MySQL エンドポイントを構成できます。
SQL：URL_DECODE 関数と URL_ENCODE 関数が組み込み関数として追加されました。
パフォーマンス：結合操作中の Apache Paimon ディメンションテーブルのパフォーマンスが向上しました。 MySQL Change Data Capture (CDC) を使用した Hologres へのフルデータと増分データの書き込み速度が向上しました。 MaxCompute ソーステーブルからのデータ読み取り速度が向上し、Flink クラスタのデータ書き込みワークロードが軽減されました。
セキュリティ：機密情報の漏洩を防ぐために、ジョブトポロジでパスワードが暗号化されます。
このリリースの主な更新と関連リファレンスの詳細については、このトピックの次のセクションを参照してください。 バージョンアップグレードは、カナリアリリース戦略を使用してネットワーク全体に段階的に展開されます。 アカウントのアップグレードが完了したら、VVR エンジンをこのバージョンにアップグレードすることをお勧めします。 詳細については、「デプロイのエンジンバージョンをアップグレードする」をご参照ください。 フィードバックをお待ちしております。
機能
機能 | 説明 | リファレンス |
カスタムロール | ビジネス要件に基づいてカスタムロールを作成し、きめ細かい権限を割り当てることができます。 これにより、権限管理の柔軟性とジョブ関連操作のセキュリティが向上します。 | |
ジョブの詳細に関連する UI の最適化 | ジョブの開始に使用されたパラメータ構成を表示するには、次の手順を実行します。デプロイの詳細ページに移動し、[ステータス] タブをクリックし、[アクション] セクションの [ジョブの詳細] をクリックします。 | 該当なし |
リソース構成に関連する UI の最適化 | [構成] タブの [リソース] セクションに最大パラメータ値が表示されます。 | 該当なし |
StarRocks コネクタによる JSON のサポート | JSON データ型がサポートされています。 これにより、MySQL からの JSON データを StarRocks に書き込むときに発生する例外が解決されます。 | |
Elasticsearch コネクタの強化 |
| |
SLS ソーステーブルの起動モード | 最新または最古のオフセットから SLS データを消費できます。 | |
PyFlink の新しい Docker イメージ | PyFlink の基本 Docker イメージがアップグレードされ、さまざまな Python および glibc バージョンとの互換性が向上しました。 | 該当なし |
URL_DECODE 関数と URL_ENCODE 関数 | URL のエンコードとデコードのための組み込み関数が追加され、実装が簡素化されました。 | |
ApsaraDB RDS for MySQL エンドポイントの構成 | 関連付けられたオブジェクトストレージサービス (OSS) バケット内のバイナリログを MySQL CDC を使用して読み取ることができます。 | |
Hologres コネクタの部分更新構成 | Hologres コネクタを使用して作成されたテーブルでは、削除ポリシーを列ごとに個別に構成できます。 たとえば、行全体を削除するようにテーブルを構成できます。 また、主キー以外の列の値を Null に設定することもできます。これにより、部分更新のシナリオで他の列が影響を受けないようにすることができます。 | |
ディメンションテーブルを結合するためのカスタムパーティショナー | ディメンションテーブルを含む結合操作のシャッフル戦略を構成して、データ処理効率を向上させることができます。 | |
MaxCompute コネクタの強化 | Arrow 形式を使用してデータを読み取ることができ、シャードを動的に割り当てることができます。 これにより、読み取りパフォーマンスが向上します。 |
修正された問題
部分更新中に複数のストリームからのデータが Apache Paimon テーブルに書き込まれると、競合が発生します。
多数のバイナリログを解析するときに MySQL CDC でメモリ不足 (OOM) エラーが発生した場合、システムはサイレントリトライのみを実行します。 このリリース以降、システムは例外をスローし、ジョブのフェイルオーバーをトリガーします。
GeminiStateBackend に関連する OOM エラーが発生した場合、システムはサイレントリトライのみを実行します。 このリリース以降、システムは例外をスローし、ジョブのフェイルオーバーをトリガーします。
ApsaraMQ for RocketMQ コネクタの消費ステータスが ApsaraMQ for RocketMQ コンソールに表示されません。
状態データに基づいて開始されたジョブで Hologres ソーステーブルのスキーマが変更されると、スナップショットの復元に失敗します。 たとえば、TRUNCATE 操作はテーブルスキーマを変更します。
StarRocks コネクタを使用すると、java.lang.NoClassDefFoundError: StringUtils エラーが発生する場合があります。
Apache Flink 1.17.2 のすべての問題。 詳細については、「Apache Flink 1.17.2 リリースアナウンスメント」をご参照ください。