すべてのプロダクト
Search

このプロダクト

    Realtime Compute for Apache Flink:2025年8月8日

    ドキュメントセンター

    Realtime Compute for Apache Flink:2025年8月8日

    最終更新日:Oct 12, 2025

    このトピックでは、2025年8月8日にリリースされた Realtime Compute for Apache Flink の主な機能更新とバグ修正について説明します。

    重要

    バージョンのアップグレードはユーザーに段階的にリリースされます。詳細については、「Realtime Compute for Apache Flink コンソール」の最新のお知らせをご参照ください。このバージョンの新機能は、アカウントのアップグレードが完了した後にのみ使用できます。迅速なアップグレードを申請するには、チケットを送信してください。

    概要

    2025年8月8日に Realtime Compute for Apache Flink の新バージョンがリリースされました。このリリースには、プラットフォーム、エンジン、コネクタの更新、パフォーマンスの最適化、バグ修正が含まれています。

    エンジン

    Ververica Runtime (VVR) 11.2 が利用可能になりました。Apache Flink 1.20.2 上に構築された VVR 11.2 は、追加の最適化とエンタープライズ向けの機能強化を提供します。ハイライト:

    Flink SQL

    このバージョンでは、SQL のビルトイン関数ライブラリが大幅に拡張されています:

    スカラー関数:

    • 文字列処理: PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH

    • JSON 処理: JSON_QUOTE、JSON_UNQUOTE

    • 正規表現: REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL

    • 算術: UNHEX

    データ型のサポート

    Variant 型のサポートが追加され、スキーマ処理の柔軟性が向上しました。

    Table API

    Hive ダイアレクトをサポートし、Table API ジョブでおなじみの Hive SQL 構文を使用できるようになりました。

    AI 関数

    AI モデルの最大コンテキストウィンドウを超えるメッセージを処理するための設定可能な戦略 (破棄または切り捨て) を導入しました。

    コネクタ

    • MySQL CDC コネクタ: VARCHAR フィールドの処理を最適化し、同期のパフォーマンスと安定性を向上させました。

    • データインジェスチョン用に Canal-JSON フォーマットをサポートするようになりました。イベントタイムスタンプ (ts) とイベントシーケンス (es) の両方のフィールドを抽出できます。

    • AnalyticDB for MySQL コネクタ: INSERT IGNORE のサポートを追加し、データ書き込み中のフォールトトレランスを向上させました。

    セキュリティ

    Paimon および OSS コネクタは、RAM ベースの権限付与をサポートするようになり、AccessKey ペアを置き換えることで、セキュリティと権限管理が向上しました。

    パフォーマンスの強化

    MongoDB CDC コネクタは、同時 oplog 解析をサポートし、データ同期の安定性と信頼性を向上させます。Tair (Redis OSS-compatible) コネクタは、非同期ルックアップ結合をサポートし、キャッシュアクセスの効率とジョブのパフォーマンスを向上させます。

    プラットフォーム

    新機能

    • 単一のバッチジョブで複数の DDL/DML 文を実行: テーブルの作成、計算の実行、テーブルの削除をすべて 1 つのジョブで行えます。

    • スケジュールに従ってマテリアライズドテーブルをリフレッシュ: 履歴パーティションを定期的にリフレッシュして遅延データをバックフィルし、結果整合性を確保します。

    • アイドル状態のセッションクラスターを自動的に解放: 新しいセッションクラスターが 30 分以上アイドル状態の場合、リソース使用率を向上させるために自動的に解放されます。

    • 自動チューニングのブラックアウト期間: ビジネスに不可欠な時間帯の自動リソーススケーリングを制限し、ビジネスの安定性を確保します。パフォーマンスチューニングのアドバイスは引き続き提供されます。

    • 包括的な Git 統合: Alibaba Cloud DevOps のような、より主流の Git ツールをサポートします。ディレクトリ構造をプルし、役立つエラーメッセージでトラブルシューティングを行います。

    • データクエリに対するきめ細かなアクセスの制御

    エクスペリエンスの最適化

    • コンソールベースの AI モデルの作成、削除、変更をサポートします。これにより、[カタログ] ページで AI モデルをより適切に管理できます。

    • バッチジョブの時間ごとの CU 使用量を表示します。このメトリックは、バッチジョブのパフォーマンスをより正確に反映します。

    • [ワークフロー] ページで、名前によるワークフローのあいまい検索をサポートします。

    • コンソールベースの Iceberg カタログ作成をサポートします。

    API

    このリリースには、2 つの新しい API、2 つの非推奨 API、および 2 つのバグ修正が含まれています。新しい API を使用するには、クラスターをアップグレードし、pom 依存関係をバージョン 1.8.0 に更新してください。

    以前は、Resource および DeploymentTarget に関連する API は、ハイブリッド課金ワークスペースを管理できませんでした。このリリースでは、これらの API がアップグレードされます:

    • 新しい API の導入:

      • CreateDeploymentTargetV2

      • UpdateDeploymentTargetV2

    • 非推奨の API:

      CreateDeploymentTarget と UpdateDeploymentTarget は非推奨です。できるだけ早く新しい API に移行してください。

    • リソースオブジェクトの強化: ハイブリッド課金ワークスペースの構成をサポートするための新しいフィールドを追加します。

    • createDeploymentDraft および modifyDeploymentDraft API は、最大ラベル数が検証されなかった問題を修正するために最適化されました。

    • listDeployments API は、sortName および sortOrder パラメーターの入力を検証するように最適化されました。許可される文字列は、文字 (a-z、A-Z) とアンダースコア (_) のみです。

    特徴と機能強化

    特徴

    説明

    リファレンス

    MySQL CDC の VARCHAR の最適化

    VARCHAR フィールドのデータ同期のパフォーマンスと安定性を向上させます。

    MySQL

    Flink CDC の強化

    Kafka コネクタに Canal-JSON と es/ts タイムスタンプ抽出のサポートを追加します。

    MySQL

    MySQL バイナリログデータを Kafka に同期する

    Table API での Hive SQL のサポート

    Table API で開発されたジョブで Hive ダイアレクトを使用できます。

    Hive SQL デプロイメントを開始する

    RAM ロールを使用した Paimon および OSS へのアクセスの権限付与

    AccessKey ペアの代わりに RAM ロールを介して Paimon および OSS への安全なアクセスを可能にし、セキュリティと権限管理を向上させます。

    Paimon カタログの管理

    AnalyticDB for MySQL での INSERT IGNORE のサポート

    INSERT IGNORE 構文をサポートすることで、データ書き込み中のフォールトトレランスを強化します。

    AnalyticDB for MySQL (ADB) 3.0 コネクタ

    Tair (Redis OSS-compatible) コネクタの非同期ルックアップ結合の最適化

    強化された非同期ルックアップ結合機能により、キャッシュアクセスの効率と安定性を向上させます。

    ApsaraDB for Tair (Community Edition)

    ビルトインコネクタの直接使用をサポートするための PyFlink の強化

    手動での依存関係管理なしでビルトインコネクタを直接使用できるようにすることで、Python 開発者のエクスペリエンスを向上させます。

    Python 依存関係の使用

    MongoDB CDC コネクタの同時 oplog 解析

    MongoDB oplog の同時解析をサポートし、同期の安定性と信頼性を向上させます。

    MongoDB

    新しい Flink SQL ビルトイン関数

    強化された SQL のために複数のビルトイン関数を追加します。

    サポートされている関数

    Kafka-Paimon データインジェスチョンのための自動スキーマ進化

    Kafka から Paimon へのデータインジェスチョン中に自動スキーマ進化をサポートし、データモデルの柔軟性を高めます。

    データレイクへのリアルタイムデータインジェスチョンの実装

    SQL Variant 型のサポート

    Variant 型をサポートし、データ処理の柔軟性を高めます。

    データ型変換

    設定可能な AI 関数の動作

    ユーザーは、(AI モデルのコンテキストウィンドウを超える) 大きすぎるメッセージの処理方法を定義できます。オプションには、破棄または切り捨てが含まれます。

    モデル設定

    注目すべき修正

    このリリースでは、Flink とそのコネクタの安定性、パフォーマンス、機能を向上させるために、いくつかの重要な問題に対処しています。

    コネクタ

    • Kafka: タイムゾーン変換とデータ同期の問題を修正しました。

    • MySQL: 接続性に影響する権限エラーを解決しました。

    • Paimon: Avro タイムスタンプ精度の検証を修正し、問題を解決しました。

    • DLF: データアクセストークンの有効期限に関する問題を解決し、信頼性を向上させました。

    • MySQL 8.0: よりスムーズな統合のための互換性の問題に対処しました。

    SQL と変換

    • Paimon での LIKE 構文解析を修正しました。

    • YAML スクリプトでの日付処理と REGEXP_REPLACE に関連する問題を修正しました。

    • スキーマレジストリへのアクセス時の NullPointerException を解決しました。

    安定性とパフォーマンス

    • ジョブのフェールオーバー後に発生する可能性のあるメタデータの不整合に対処し、より信頼性の高い状態を確保しました。

    • 予期しないジョブ終了時のリソースクリーンアップを修正しました。

    • Paimon コネクタのチェックポイント作成時のクラッシュにパッチを適用しました。

    • コネクタのリトライメカニズムを最適化し、ジョブの回復性を向上させました。