このトピックでは、2025 年 1 月 15 日にリリースされた Realtime Compute for Apache Flink バージョンの主な更新とバグ修正について説明します。
バージョンアップグレードはユーザーに段階的にリリースされます。 詳細については、Realtime Compute for Apache Flink コンソールの最新のお知らせをご参照ください。 このバージョンの新機能は、アカウントのアップグレードが完了した後にのみ使用できます。 アップグレードの迅速な適用を希望される場合は、チケットを送信してください。
概要
このリリースには、プラットフォーム、エンジン、コネクタの更新とバグ修正が含まれています。
プラットフォームの更新
プラットフォームの更新は、デプロイとアプリケーション開発機能、O&M 効率、およびシステムの安定性の向上に重点を置いています。 主な内容は次のとおりです。
バッチ SQL スクリプト開発で Hive ダイアレクトがサポートされるようになり、Apache Hive との相互運用性が向上し、Hive ワークロードを Flink にシームレスに移行できるようになりました。
ワークフローでデータバックフィリングがサポートされるようになり、欠落データの補充と既存データのエラー修正が可能になりました。
アップグレードされたネットワークアーキテクチャでは、送信元または送信先システムの IP アドレスに基づいて特定のデプロイメントを検索できます。
ワークスペースを購入する際に、ゾーンを選択する必要がなくなりました。 デプロイモデルをシングルゾーンに設定すると、最適なゾーンが自動的に選択されます。 デプロイモデルをクロスゾーンに設定すると、プライマリゾーンでエラーが発生した場合、ジョブはセカンダリゾーンにフェールオーバーされます。 これにより、ジョブの継続性と高可用性が確保されます。
安定戦略を使用してオートパイロットモードでデプロイメントが安定した後、生成されたチューニングプランを表示、編集、および保存できます。
デプロイメントのランタイムパラメータで名前空間変数がサポートされるようになり、プレーンテキストの AccessKey ペアと認証情報を使用する必要がなくなることでセキュリティが強化されました。
エンジンの更新
Ververica Runtime (VVR) 8.0.11 が正式にリリースされ、Apache Flink 1.17.2 に基づくエンタープライズグレードのエンジンが提供されるようになりました。 また、Apache Flink の最新のバグ修正に加えて、最適化と機能強化も提供されます。 VVR 8.0.11 には次の更新が含まれています。
エンジン
プリインストールされている Python のバージョンが 3.9 にアップグレードされ、パフォーマンス、機能、セキュリティが大幅に改善されました。 VVR バージョンを 8.0.11 にアップグレードする場合は、Python スクリプトを再テストし、再デプロイして、Python デプロイメントを再起動する必要があります。
コネクタ
Hologres: Hologres パーティションテーブルからのデータの消費がサポートされるようになりました。 メタデータ列がサポートされ、テーブル情報が強化されました。 ストリーミング書き込みが最適化され、条件付き更新とアグレッシブコミットモードがサポートされるようになりました。
MaxCompute: Delta テーブルの特定の列のデータの更新がサポートされるようになりました。
StarRocks: Flink の CHAR フィールドが StarRocks の CHAR フィールドにマッピングされると、StarRocks フィールドの長さが自動的に拡張されます。 現在、絵文字などの特殊文字を処理するために拡張が強化されています。
マテリアライズドテーブル: バッチモードが有効になっている場合、エンジンは特定の状況に応じて増分更新またはフルアップデートを動的に選択します。前者が優先されます。
機能
項目 | 説明 | 参照 |
Hive 構文との互換性 | バッチ SQL スクリプトを開発するために Hive ダイアレクトがサポートされ、Hive ワークロードを Flink にシームレスに移行できるようになりました。 | 該当なし |
最適化されたワークフロー | ワークフローでデータバックフィリングがサポートされるようになり、欠落データの補充と既存データのエラー修正が可能になりました。 | |
簡単なデプロイ検索 | アップグレードされたネットワークアーキテクチャでは、送信元または送信先システムの IP アドレスとポートに基づいてデプロイメント検索がサポートされます。 これにより、特に Flink が多数の外部システムからのリクエストを処理している場合に、特定のデプロイメントを簡単に見つけることができます。 | |
合理化されたワークスペースの作成 | ワークスペースを購入する際に、デプロイモデルの構成がサポートされます。
| |
名前空間変数の新しいユースケース | デプロイメントのランタイムパラメータ構成で名前空間変数がサポートされます。 | |
最適化された自動チューニング | オートパイロットモードでは、スケジュールベースと固定リソースの 2 つのチューニングプランオプションが提供されます。 生成されたチューニングプランを表示、編集、保存、および適用できます。 | |
強化された Hologres コネクタ |
| |
| ||
強化された MaxCompute コネクタ |
| |
StarRocks データマッピング | CHAR データ型が Flink から StarRocks にマッピングされると、フィールドの長さが元の 4 倍に増加します。 | |
マテリアライズドテーブルの増分更新 | バッチ実行モードが有効になっている場合、マテリアライズドテーブルは増分更新をサポートします。 | 該当なし |
Python バージョンのアップグレード | Python のバージョンが 3.7.9 から 3.9.21 にアップグレードされました。 Python デプロイメントの VVR エンジンバージョンを 8.0.11 以降にアップグレードする場合は、Python スクリプトの互換性テストを実行し、再デプロイして、デプロイメントを再起動してください。 |
修正された問題
コネクタの問題
MySQL コネクタの起動時にヌルポインタ例外が報告される問題が修正されました。
MySQL コネクタを使用してプライマリキーのない MySQL テーブルにデータを書き込む際にパフォーマンスが低下する問題が修正されました。 この問題は、VVR バージョンがアップグレードされた後に発生していました。
Kafka ソースの再利用によって、Canal 形式の JSON メッセージとメタデータ列の間に不整合が発生する問題が修正されました。
ApsaraDB for HBase コネクタの起動時に次の例外が発生する問題が修正されました:
No length info found when processingnull。Simple Log Service カタログを使用すると、エラー
AssertionError: Conversion to relational algebra failedが報告される問題が修正されました。
SQL の問題
ウォーターマークの放出が遅延したためにウィンドウがトリガーされない問題が修正されました。
CTAS 文を使用して作成されたテーブルに Bit (1) 列を追加すると、次のエラーが報告される問題が修正されました:
ValidationException: Binary string length must be between 1 and 2147483647。
安定性の問題
終了コード 137 で異常終了した後に、デプロイメントが誤ったチェックポイントから回復される問題が修正されました。