すべてのプロダクト
Search

このプロダクト

    Realtime Compute for Apache Flink:2024年5月29日リリース

    ドキュメントセンター

    Realtime Compute for Apache Flink:2024年5月29日リリース

    最終更新日:Mar 27, 2026

    本トピックでは、Realtime Compute for Apache Flink の 2024年5月29日付リリースにおける主な更新内容およびバグ修正について説明します。

    重要

    本バージョンはカナリアリリース戦略を用いた段階的な展開方式で提供されます。アップグレードスケジュールについては、Realtime Compute for Apache Flink 管理コンソール 右側に表示される最新のお知らせをご確認ください。新機能は、お客様のアカウントに対するアップグレードが完了した後にのみご利用いただけます。早期アップグレードをご希望の場合は、チケットを送信してください。

    概要

    本リリースでは、プラットフォームおよび Ververica Runtime (VVR) 8.0.7 のエンジンに関する更新が含まれます。

    プラットフォーム更新

    本リリースでは、システムの安定性、運用・保守（O&M）、および操作性の向上が図られています。

    • クロスゾーン高可用性の最適化：既存の名前空間の計算ユニット（CU）を、シングルゾーンからクロスゾーンへ直接変換できます。新しい名前空間の作成やデプロイメントの移行は不要です。

    • 演算子レベルの状態 TTL：リソース構成のエキスパートモードで、各演算子に対して個別の状態生存時間（TTL）値を設定できます。SQL デプロイメントのみ、VVR 8.0.7 以降でサポートされます。

    • Visual Studio Code 拡張機能：ローカル環境で SQL、JAR、Python デプロイメントの開発、デプロイ、実行が可能です。また、Realtime Compute for Apache Flink の開発コンソールから更新されたデプロイメント構成を同期できます。

    データリネージ UI および「デプロイメント」ページの UI も最適化されています。

    エンジン更新

    VVR 8.0.7 は Apache Flink 1.17.2 を基盤としており、以下の更新が含まれます。

    リアルタイムレイクハウス：Apache Paimon コネクタ SDK をアップグレードし、Apache Paimon 0.9 で使用されるデータレイク形式をサポートしました。

    SQL 最適化：

    • 状態 TTL ヒント：通常のジョインおよびグループ集約演算子に対し、デプロイメント構成の変更を伴わず、SQL クエリ内から直接状態 TTL 値を演算子単位で設定できます。

    • ユーザー定義関数（UDF）における名前付きパラメーター：UDF で名前付きパラメーターがサポートされ、開発効率の向上と保守コストの削減が実現しました。

    コネクタ更新

    • MongoDB コネクタ：一般提供（GA）開始。変更データキャプチャ（CDC）のソーステーブル、ディメンションテーブル、および結果テーブルをサポートします。

    • MySQL コネクタ：本リリースでは以下の 4 つの改善点があります。

      • op_type 仮想カラムにより、操作タイプ（+I、+U/-U、-D）をダウンストリームシステムに渡すことが可能となり、操作タイプに基づくビジネスロジックおよびデータクレンジングが実現できます。

      • Decimal 型プライマリキーを持つ MySQL テーブルの読み取りパフォーマンスが向上しました。大規模テーブルからの SourceRecords は並列処理されます。

      • CDC ソースの再利用：デプロイメントに同一構成（データベース名、テーブル名、サーバー ID を除く）の複数の MySQL CDC ソーステーブルが含まれる場合、それらは単一の接続に統合されます。これにより、MySQL サーバーへの接続数および binlog 監視負荷が大幅に削減されます。

      • バッファード実行：パラメーター sink.ignore-null-when-update を設定することでバッファード実行を有効化でき、処理性能を数倍向上させます。

    • ApsaraDB for Redis コネクタ：以下の 2 つの改善点があります。

      • HashMap 型のディメンションテーブルまたは結果テーブルを作成する際に、プライマリキー以外のカラムに対して異なる DDL（Data Definition Language）文がサポートされるようになりました。これにより、コードの可読性が向上します。

      • データガバナンス要件に対応するため、キーのプレフィックスおよびデリミタの設定が可能になりました。

    • ApsaraMQ for RocketMQ コネクタ：バッファード読み込みがサポートされ、スループットの向上およびリソースコストの削減が実現しました。

    • Apache Iceberg コネクタ：Apache Iceberg 1.5 がサポートされるようになりました。

    カタログ管理：MySQL カタログにおいてビュー情報が非表示になりました。MySQL のビューはデータの読み書きができない論理構造であり、従来はデータ操作エラーの原因となっていました。

    セキュリティ：

    • Kerberos 認証が有効化された Hadoop クラスターにおいて、Hadoop 2.x がサポートされるようになりました。

    • コネクタ構成などの機密情報を含むログにおいて、該当情報がマスクされるようになりました。

    アップグレードに関する注意事項

    お客様のアカウントに対するアップグレードが完了した後、デプロイメントの VVR エンジンを本バージョンへアップグレードしてください。手順については、「デプロイメントのエンジンバージョンのアップグレード」をご参照ください。

    機能

    機能

    説明

    参考

    クロスゾーン高可用性の最適化

    既存の名前空間の CU を、シングルゾーン型とクロスゾーン型の間で相互に変換できます。

    クロスゾーン HA の有効化／無効化

    データリネージの最適化

    フィールド名による検索時に複数の一致が見つかった場合、上下キーを押下して素早く目的の結果を選択し、データリネージ情報を表示できます。

    image

    ノード名またはフィールド名によるデータリネージの表示

    「デプロイメント」ページにおける作成者フィールド

    「デプロイメント」ページに 作成者 フィールドを表示できます。表示するには、ページ右上隅の image アイコンをクリックし、画面上の指示に従ってください。このフィールドにより、デプロイメントのフィルタリング、トラブルシューティング、およびチーム連携が容易になります。

    • 現在の名前空間内で、現在のアカウントによって作成されたすべてのデプロイメントを表示するには、作成者 列のフィルター アイコンをクリックします。

      image

    • 現在の名前空間内の特定メンバーが作成したすべてのデプロイメントを表示するには、デプロイメント一覧上部の検索ボックス横にあるドロップダウンリストから 作成者 を選択し、メンバー名を入力します。

      image

    該当なし

    権限管理の最適化

    ワークスペース（Alibaba Cloud アカウント、RAM ユーザー、RAM ロールなど）の作成者は、そのワークスペースに属する名前空間においてデフォルトでオーナー権限が付与されます。

    名前空間への権限付与

    SQL デプロイメントの状態互換性チェックの最適化

    最新の状態から復元して SQL デプロイメントを起動する場合、システムが自動的にデプロイメントの変更を検出します。そのため、状態互換性 の横にある 検出をクリック をクリックして状態互換性チェックを実行し、その結果に基づいて今後の操作を判断することを推奨します。

    ジョブの起動

    Visual Studio Code 拡張機能

    本拡張機能により、オンプレミス環境で SQL、JAR、Python デプロイメントの開発、デプロイ、実行が可能です。また、Realtime Compute for Apache Flink の開発コンソールから更新されたデプロイメント構成を同期できます。

    Visual Studio Code 拡張機能の使用方法

    演算子レベルの状態 TTL

    本機能は、特定の演算子のみが大きな状態 TTL 値を必要とするシナリオに適しています。演算子の状態サイズを制御するために、複数の方法で状態 TTL 値を設定できます。これにより、大規模状態のデプロイメントにおけるリソース消費を削減できます。

    • 「デプロイメント」ページのリソース構成エキスパートモードを使用します。

      説明

      • 本方法は VVR 8.0.7 以降でのみサポートされます。

      • 本方法は SQL デプロイメントにのみ適用されます。

    • 状態 TTL ヒントを使用します。本方法は通常のジョインおよびグループ集約演算子にのみ適用されます。

    UDF における名前付きパラメーター

    本機能により、開発効率が向上し、保守コストが削減されます。

    概要

    強化された MySQL コネクタ

    • op_type 仮想カラムを使用して、データ操作タイプを渡すことができます。

    • プライマリキーが Decimal 型である MySQL テーブルの読み取りパフォーマンスが最適化されました。大規模テーブルのデータ変更レコード（SourceRecords）は並列処理されます。

    • CDC ソースの再利用機能が導入されました。

    • バッファード実行をサポートするため、sink.ignore-null-when-update パラメーターが追加されました。

    MySQL コネクタ

    強化された ApsaraDB for Redis コネクタ

    • HashMap 型のディメンションテーブルまたは結果テーブルを作成する際、プライマリキー以外のカラムに対して異なる DDL 文がサポートされるようになりました。これにより、コードの可読性が向上します。

    • データガバナンス要件を満たすために、キーのプレフィックスおよびデリミタの設定が可能になりました。

    ApsaraDB for Redis コネクタ

    ApsaraMQ for RocketMQ インスタンスのバッファード読み込み

    本機能により、処理効率が向上し、リソースコストが削減されます。

    ApsaraMQ for RocketMQ コネクタ

    MySQL カタログにおけるビュー情報の削除

    MySQL のビューはデータを格納しない論理構造であるため、MySQL カタログにおけるビュー情報の表示を廃止しました。

    MySQL カタログの管理

    Kerberos 認証が有効化された Hadoop クラスターとの互換性の強化

    Kerberos 認証が有効化された Hadoop クラスターにおいて、Hadoop 2.x がサポートされるようになりました。

    Kerberos 認証対応 Hive クラスターの登録

    強化された Apache Iceberg コネクタ

    Apache Iceberg 1.5 がサポートされるようになりました。

    修正済みの問題

    • Hologres コネクタ（VVR 8.0.5 または 8.0.6）：WHERE 句のプッシュダウンにより、不正なクエリ結果が生成される可能性がありました。

    • Simple Log Service コネクタ：フェールオーバー時にデータ損失が発生する可能性がありました。これは、ソーステーブルがコンシューマオフセットで引き続きデータをコミットしていたためです。

    • 状態管理：ValueState オブジェクトに TTL が設定されているが、MapState オブジェクトには TTL が設定されていない場合、ValueState オブジェクトに保存された状態が失われる可能性がありました。

    • 動的複雑なイベント処理（CEP）：WithinType.PREVIOUS_AND_CURRENT パラメーターの逆シリアル化結果が不整合になる可能性がありました。

    • モニタリングメトリック：Realtime Compute for Apache Flink の Web UI に表示される currentEmitEventTimeLag 値と、コンソールのモニタリングページに表示される値が不一致でした。

    • Apache Flink 1.17.2 で修正されたすべての問題。詳細については、「Apache Flink 1.17.2 リリースアナウンス」をご参照ください。