このトピックでは、2024 年 7 月 22 日にリリースされた Realtime Compute for Apache Flink のバージョンの主なアップデートとバグ修正について説明します。
このアップグレードは、カナリアリリース戦略を用いて段階的に展開されます。このリリースの新機能は、ご利用のアカウントのアップグレードが完了した後に利用可能になります。最新のアップグレードスケジュールについては、Realtime Compute for Apache Flink コンソールの右側でご確認ください。早期のアップグレードをご希望の場合は、してください。
概要
このリリースでは、プラットフォームとエンジンのレイヤーにわたり、13 の新機能と 7 のバグ修正が提供されます。
プラットフォームのハイライト：詳細な権限を持つカスタムロール、ジョブ詳細とリソース設定の UI 改善、コンソールからの MaxCompute カタログ作成。
エンジンのハイライト：Apache Flink 1.17.2 をベースにした Ververica Runtime (VVR) 8.0.8。Elasticsearch、Hologres、StarRocks、Simple Log Service (SLS)、MySQL、MaxCompute のコネクタ強化、新しい SQL ビルトイン関数、パフォーマンスとセキュリティの向上が含まれます。
ご利用のアカウントのアップグレードが完了したら、VVR エンジンを 8.0.8 にアップグレードしてください。手順については、「デプロイメントのエンジンバージョンのアップグレード」をご参照ください。
新機能
機能 | 説明 | 参照 |
カスタムロール | カスタムロールを作成し、ビジネス要件に基づいて詳細な権限を割り当てることができます。これにより、どのユーザーがどのジョブ関連の操作を実行できるかを正確に制御し、過剰な権限を持つアカウントのリスクを低減します。 | |
UI の最適化：ジョブ詳細 | デプロイメント詳細ページから、ジョブの起動に使用されたパラメーター構成を直接表示できます：[ステータス] タブをクリックし、[操作] セクションで [ジョブの詳細] をクリックします。これにより、実行中のジョブのデバッグ時に設定履歴を検索する必要がなくなります。 | N/A |
UI の最適化：リソース設定 | リソースパラメーターの最大許容値が [設定] タブの [リソース] セクションに表示されるようになりました。これにより、パラメーターの上限を超えたことによる設定エラーを防ぎます。 | N/A |
コンソールでの MaxCompute カタログ作成 | MaxCompute カタログを GUI で作成できるようになり、Flink ジョブの設定と管理が容易になり、データ管理と開発効率が向上します。 | N/A |
StarRocks コネクタ：JSON サポート | StarRocks コネクタが JSON データ型をサポートするようになりました。これにより、MySQL から StarRocks に JSON データを書き込む際に発生していた例外が解決されます。 | |
Elasticsearch コネクタの機能強化 |
| |
Simple Log Service (SLS) コネクタ：起動モード | 最新または最小オフセットから SLS データの消費を開始します。これにより、新しいジョブが新しいデータのみを取得するか、履歴データを再処理するかを制御できます。 | |
PyFlink Docker イメージのアップグレード | PyFlink のベース Docker イメージがアップグレードされ、さまざまな Python および glibc バージョンとの互換性が向上しました。これにより、コンテナ化された環境で PyFlink ジョブを実行する際の摩擦が軽減されます。 | N/A |
URL_DECODE および URL_ENCODE 関数 | URL のエンコードとデコードのための 2 つの SQL ビルトイン関数が追加されました。これにより、SQL ジョブで URL エンコードされた文字列を処理する際にカスタム UDF を使用する必要がなくなります。 | |
MySQL コネクタ：ApsaraDB RDS for MySQL エンドポイントのサポート | MySQL コネクタで ApsaraDB RDS for MySQL のエンドポイントを設定できます。MySQL Change Data Capture (CDC) は、関連付けられた Object Storage Service (OSS) バケットに保存されているバイナリログを読み取ることができるようになりました。 | |
Hologres コネクタ：列ごとの削除ポリシー | Hologres の結果テーブルの各列に対して、削除ポリシーを個別に設定できます。たとえば、行全体を削除したり、部分的な更新シナリオで他の列に影響を与えることなく、プライマリキー以外の列の値を null に設定したりできます。 | |
ディメンションテーブル JOIN のためのカスタム partitioner | ディメンションテーブルの JOIN 操作のシャッフル戦略を設定できます。これにより、並列タスク間でのデータ分散を最適化し、全体的な JOIN スループットを向上させることができます。 | |
MaxCompute コネクタ：Arrow フォーマットと動的なシャード割り当て | 動的なシャード割り当てを使用して、Arrow フォーマットで MaxCompute のソースデータを読み取ります。これにより、読み取りスループットが大幅に向上し、Flink クラスターへのデータ書き込みワークロードが削減されます。 |
パフォーマンスの向上
Apache Paimon ディメンションテーブルの JOIN：Apache Paimon ディメンションテーブルの JOIN パフォーマンスが向上しました。
MySQL CDC から Hologres への書き込み：MySQL CDC を使用して Hologres に完全データと増分データの両方を書き込む速度が向上しました。
MaxCompute ソーステーブルの読み取り：MaxCompute ソーステーブルからの読み取り速度が向上し、Flink クラスターへのデータ書き込みワークロードが削減されました。
セキュリティの向上
ジョブトポロジー内のパスワードが暗号化されるようになり、機密性の高い認証情報がジョブグラフに公開されるのを防ぎます。
修正された問題
部分的な更新中に複数のストリームが同じ Apache Paimon テーブルに書き込むと、データ競合が発生する問題。
MySQL CDC が多数のバイナリログを解析中にメモリ不足 (OOM) エラーに遭遇した際、システムがエラーを表面化させずにサイレントにリトライする問題。このリリース以降、システムは例外をスローし、ジョブのフェールオーバーをトリガーします。
GeminiStateBackend が OOM エラーに遭遇した際、システムがエラーを表面化させずにサイレントにリトライする問題。このリリース以降、システムは例外をスローし、ジョブのフェールオーバーをトリガーします。
ApsaraMQ for RocketMQ コネクタの消費ステータスが ApsaraMQ for RocketMQ コンソールに表示されない問題。
状態データから開始されたジョブで Hologres ソーステーブルのスキーマが変更される (例：TRUNCATE 操作による) と、スナップショットの復元に失敗する問題。
StarRocks コネクタを使用する際に
java.lang.NoClassDefFoundError: StringUtilsエラーが発生することがある問題。Apache Flink 1.17.2 で修正されたすべての問題。完全なリストについては、「Apache Flink 1.17.2 リリースアナウンスメント」をご参照ください。