すべてのプロダクト
Search

このプロダクト

    Realtime Compute for Apache Flink:2025年8月8日版

    ドキュメントセンター

    Realtime Compute for Apache Flink:2025年8月8日版

    最終更新日:Mar 27, 2026

    本リリースでは、Apache Flink 1.20.2 を基盤とする VVR 11.2 を提供し、SQL 関数の拡充、新しいコネクタ機能、およびリソース効率とアクセスの制御を向上させる 6 つのプラットフォーム機能を実装しました。

    重要

    アップグレードは段階的に実施されます。最新のアップグレード状況については、「Realtime Compute for Apache Flink コンソール」をご確認ください。新機能は、お客様のアカウントに対するアップグレードが完了した後にのみご利用いただけます。早期アップグレードをご希望の場合は、「」または「チケットを送信」してください。

    概要

    領域 主な特徴
    エンジン (VVR 11.2) 13 の新しい Flink SQL 関数、Variant 型、Table API 向け Hive ダイアレクト、AI 関数のオーバーフロー制御
    コネクタ MySQL CDC の VARCHAR 最適化、Canal-JSON 形式のサポート、AnalyticDB for MySQL における INSERT IGNORE 構文のサポート、Paimon および OSS における RAM ベースの認証、Tair 向け非同期ルックアップジョイン、MongoDB CDC における同時 oplog 解析
    プラットフォーム 複数ステートメントのバッチジョブ実行、スケジュールによるマテリアライズドテーブルのリフレッシュ、アイドルセッションクラスターの自動解放、自動チューニングのブラックアウト期間設定、Git 統合の拡張、データクエリに対する細粒度のアクセス制御
    API 2 つの新規 API、2 つの非推奨 API — pom 依存関係をバージョン 1.8.0 にアップグレードしてください

    エンジン：Ververica Runtime (VVR) 11.2

    Flink SQL：13 の新しいビルトイン関数

    VVR 11.2 では、13 のビルトインスカラー関数が追加され、カスタム UDF の作成が必要となるケースが削減されます。

    文字列処理：PRINTF、TRANSLATE、ELT、BTRIM、STARTSWITH、ENDSWITH

    JSON 処理：JSON_QUOTE、JSON_UNQUOTE

    正規表現：REGEXP_SUBSTR、REGEXP_INSTR、REGEXP_COUNT、REGEXP_EXTRACT_ALL

    算術演算：UNHEX

    関数の完全なリファレンスについては、「サポートされる関数」をご参照ください。

    Flink SQL：Variant 型

    Flink SQL で Variant データ型がサポートされるようになりました。カラムスキーマが半構造化である場合や、時間とともに進化する場合（例：多様なソースから JSON を取り込む場合など）に使用します。Variant は、事前に厳密なスキーマを定義することなく、柔軟なコンテナを提供します。

    型変換ルールについては、「データ型の変換」をご参照ください。

    Table API：Hive SQL ダイアレクト

    Table API ジョブで Hive SQL ダイアレクトを使用できるようになりました。チームが既に HiveQL 構文に慣れている場合、Flink 固有の SQL 変種を学習することなく Table API ジョブを作成できます。

    「Hive SQL デプロイメントを開始する」をご参照ください。

    AI 関数：構成可能なオーバーフロー動作

    メッセージが AI モデルのコンテキストウィンドウを超える場合、その処理方法として「破棄」または「切り捨て」を選択できます。これにより、以前の固定動作が置き換えられ、データの完全性とジョブの安定性のトレードオフを調整可能になります。

    ストラテジーはモデル DDL で設定します。詳細については、「モデル DDL」をご参照ください。

    コネクタ

    MySQL CDC：VARCHAR フィールドの最適化

    MySQL CDC コネクタでは、VARCHAR フィールドの処理効率が向上し、VARCHAR を多用するスキーマにおける同期スループットおよび安定性が改善されました。

    詳細については、「MySQL」をご参照ください。

    Flink CDC：Canal-JSON 形式およびタイムスタンプ抽出

    CDC ジョブで、Apache Kafka から Canal-JSON 形式のデータを消費できるようになりました。コネクタはイベントタイムスタンプ (ts) およびイベントシーケンス (es) の両フィールドを抽出し、ダウンストリームパイプラインにおける正確な順序付けおよび重複排除を実現します。

    詳細については、「MySQL」および「MySQL バイナリロギングデータを Kafka へ同期」をご参照ください。

    AnalyticDB for MySQL：INSERT IGNORE のサポート

    AnalyticDB for MySQL コネクタでは、INSERT IGNORE 構文がサポートされるようになりました。書き込み操作中に重複レコードが発生しても、ジョブが失敗することはありません。コネクタは競合する行をスキップし、処理を継続します。

    詳細については、「AnalyticDB for MySQL V3.0 コネクタ」をご参照ください。

    Paimon および OSS：RAM ベースの権限付与

    Paimon コネクタおよび Object Storage Service (OSS) コネクタでは、AccessKey ペアに代わる Resource Access Management (RAM) ロールによる権限付与がサポートされるようになりました。RAM ロールにより、より細かい権限制御が可能となり、コネクタ構成への長期有効な認証情報の埋め込みを回避できます。

    詳細については、「Paimon カタログの管理」をご参照ください。

    Tair (Redis OSS-compatible)：非同期ルックアップジョイン

    Tair コネクタでは、非同期ルックアップジョインがサポートされるようになりました。ルックアップジョインリクエストが処理パイプラインをブロックしなくなるため、キャッシュアクセス効率および全体的なジョブスループットが向上します。

    詳細については、「ApsaraDB for Tair (Redis Community Edition)」をご参照ください。

    MongoDB CDC：同時 oplog 解析

    MongoDB CDC コネクタでは、oplog の解析を逐次的ではなく同時に行うようになり、MongoDB の変更ストリームにおける同期の安定性および信頼性が向上しました。

    詳細については、「MongoDB」をご参照ください。

    Kafka-Paimon インジェスト：自動スキーマ進化

    Apache Kafka から Paimon へのデータインジェスト時、Kafka トピック内のスキーマ変更が Paimon テーブルへ自動的に反映されるようになりました。これにより、データレイクへのインジェスト時に手動でのスキーマ移行ステップが不要になります。

    詳細については、「データレイクへのリアルタイムデータインジェストの実装」をご参照ください。

    PyFlink：ビルトインコネクタの直接利用

    PyFlink ジョブで、コネクタ JAR 依存関係を手動で管理することなく、ビルトインコネクタを直接利用できるようになりました。これにより、Python ベースの Flink ジョブにおける開発環境構築が簡素化されます。

    詳細については、「Python 依存関係の利用」をご参照ください。

    プラットフォーム

    単一バッチジョブ内での複数 DDL/DML ステートメント実行

    単一のバッチジョブで、複数の DDL および DML ステートメントを連続して実行できるようになりました。テーブルの作成、計算処理の実行、テーブルの削除を、1 回のジョブ送信で完結できます。これにより、マルチステップのバッチワークフローにおいて別々のジョブを連鎖させる必要がなくなります。

    過去パーティションのスケジュールによるリフレッシュ

    マテリアライズドテーブルでは、過去のパーティションをスケジュールに従ってリフレッシュできるようになりました。遅延到着したデータを過去のパーティションへバックフィルする際に利用でき、手動介入なしで結果整合性を維持できます。

    アイドルセッションクラスターの自動解放

    30 分以上アイドル状態が続く新規セッションクラスターは、自動的に解放されます。これにより、アイドルクラスターによるリソース消費が防止され、不要な CU 使用量が削減されます。

    自動チューニングのブラックアウト期間設定

    ビジネス上重要な時間帯には自動リソーススケーリングを禁止するブラックアウト期間を定義できます。プラットフォームはブラックアウト期間中もチューニング推奨を生成し続けますが、適用は行われません。これにより、スケーリングが実行されるタイミングを完全に制御できます。

    Git 統合の拡張

    Git 統合がさらに強化され、Alibaba Cloud DevOps などの追加ツールに対応するようになりました。接続済みリポジトリからディレクトリ構造を直接プルできるほか、Git 操作中のエラーメッセージには、具体的なトラブルシューティング対策が含まれるようになりました。

    データクエリに対する細粒度のアクセス制御

    データクエリ操作に対して、より細かいレベルのアクセス制御が可能になりました。これにより、ワークスペースを共有するチーム間で、より精密な権限境界を設定できます。

    プラットフォーム体験の向上

    • コンソールからの AI モデル管理：API 呼び出しを行わずに、カタログ ページから AI モデルの作成、変更、削除を直接実行できます。

    • バッチジョブの CU 使用量（時間単位）：コンソールで、バッチジョブの CU 消費量を時間単位で表示できるようになりました。これにより、コストの急増を特定しやすくなり、リソース使用量の最適化が容易になります。

    • ワークフローのあいまい検索：ワークフロー ページで、部分一致の名前でワークフローを検索できます。

    • コンソールからの Iceberg カタログ作成：手動構成を行わずに、コンソールから Apache Iceberg カタログを直接作成できます。

    API の変更

    重要

    新規 API を利用するには、クラスターをアップグレードし、pom 依存関係を バージョン 1.8.0 に更新してください。

    新規 API

    従来、Resource および DeploymentTarget API では、ハイブリッド課金ワークスペースの管理ができませんでした。本リリースでは、この課題に対応するため、以下の 2 つの新規 API が追加されました。

    API 説明
    CreateDeploymentTargetV2 ハイブリッド課金ワークスペースをサポートするデプロイメントターゲットを作成します
    UpdateDeploymentTargetV2 ハイブリッド課金ワークスペースをサポートするデプロイメントターゲットを更新します

    Resource オブジェクトにも、ハイブリッド課金ワークスペースの構成に必要な新規フィールドが追加されました。

    非推奨 API

    重要

    CreateDeploymentTarget および UpdateDeploymentTarget は非推奨です。できる限り早期に V2 API へ移行してください。

    バグ修正

    API 修正内容
    createDeploymentDraft、modifyDeploymentDraft 入力時のラベル最大数が検証されるようになりました
    listDeployments sortName および sortOrder パラメーターの入力が検証されるようになりました。許容されるのは英字（a–z、A–Z）およびアンダースコア (_) のみです

    注目すべきバグ修正

    コネクタ

    コンポーネント 修正内容
    Apache Kafka コネクタ タイムゾーン変換およびデータ同期エラーが解決されました
    MySQL コネクタ 接続を妨げる権限エラーが解決されました
    Paimon コネクタ Apache Avro のタイムスタンプ精度検証に関する問題が修正され、チェックポイント時のクラッシュがパッチ適用されました
    Data Lake Formation (DLF) 接続障害を引き起こしていたデータアクセストークンの有効期限切れが解決されました
    MySQL 8.0 MySQL 8.0 との互換性に関する問題が解決されました

    SQL およびデータ変換

    • Paimon における LIKE 構文のパースが修正されました。

    • YAML スクリプトにおける日付処理および REGEXP_REPLACE のエラーが修正されました。

    • スキーマレジストリへのアクセス時に発生していた NullPointerException が解決されました。

    安定性およびパフォーマンス

    • ジョブフェールオーバー後に発生する可能性があったメタデータ不整合が修正されました。

    • 予期せぬジョブ終了時のリソースクリーンアップが修正されました。

    • ジョブの回復力を高めるため、コネクタのリトライ機構が最適化されました。