すべてのプロダクト
Search

このプロダクト

    Realtime Compute for Apache Flink:2025年1月15日バージョン

    ドキュメントセンター

    Realtime Compute for Apache Flink:2025年1月15日バージョン

    最終更新日:Mar 27, 2026

    このリリースノートでは、2025年1月15日にリリースされた Realtime Compute for Apache Flink の主な更新内容とバグ修正について説明します。

    重要

    このバージョンのアップグレードは段階的に展開されます。新機能は、ご利用のアカウントのアップグレードが完了した後にのみ利用可能になります。迅速なアップグレードを申請するには、チケットを送信してください。最新の展開状況については、Realtime Compute for Apache Flink コンソールをご参照ください。

    アップグレード前の注意点

    このリリースには、アップグレードの前または後に対応が必要な変更が含まれています：

    Python バージョンが 3.7.9 から 3.9.21 にアップグレード

    Ververica Runtime (VVR) 8.0.11 にアップグレードして Python デプロイメントを実行する場合、アップグレード後に以下の手順を完了してください：

    1. ご利用の Python スクリプトで Python 3.9.21 に対する互換性テストを実行します。

    2. Python スクリプトを再デプロイします。

    3. デプロイメントを再起動します。

    新機能

    このリリースには、プラットフォームの更新、エンジンの更新、コネクタの機能強化が含まれています。

    プラットフォームの更新

    バッチ SQL の Hive dialect サポート

    これにより、Hive ダイアレクトを使用してバッチ SQL スクリプトを開発できるようになりました。これにより、SQL を書き直さずに Hive ワークロードを Flink に移行できます。詳細については、「Hive SQL デプロイメントの開始」をご参照ください。

    ワークフローでのデータバックフィル

    ワークフローから直接、欠損データを補完したり、履歴データのエラーを修正したりできるようになりました。詳細については、「ワークフローの管理」をご参照ください。

    IP アドレスとポートによるデプロイメント検索

    特定のデプロイメントを、そのソースまたは送信先システムのIP アドレスおよびポートを検索することにより、現在見つけることができます。これは、Flink が多数の外部システムからのリクエストを処理する場合に特に有用です。詳細については、「ネットワークアーキテクチャのスペックアップ」をご参照ください。

    ワークスペース作成の簡素化

    ワークスペースの購入時にゾーンを選択する必要がなくなりました。代わりにデプロイメントモデルを選択します：

    • シングルゾーン：最適なゾーンが自動的に選択されます。Flink は、同一リージョン内のサービスと Virtual Private Cloud (VPC) を介して、3 ミリ秒未満のレイテンシーで通信します。リージョン内での透過的なリソーススケジューリングにより、リソースの弾力性が向上します。リージョン内のレイテンシーベンチマークについては、「クラウドネットワークパフォーマンス」をご参照ください。

    • クロスゾーン：プライマリゾーンで障害が発生した場合、デプロイメントは自動的にセカンダリゾーンにフェイルオーバーし、サービスの中断を防ぎ、高可用性を維持します。

    詳細については、「Realtime Compute for Apache Flink の有効化」および「クロスゾーン高可用性」をご参照ください。

    実行時パラメーターでの名前空間変数

    デプロイメントの実行時パラメーターで名前空間変数を設定して、プレーンテキストの AccessKey ペアや認証情報の使用を回避できるようになりました。詳細については、「変数の管理」をご参照ください。

    自動操縦モードでのチューニングプランの保存

    自動操縦モードの安定化戦略を使用してデプロイメントが安定した後、生成されたチューニングプランを表示、編集、保存して、将来の使用に備えることができます。自動操縦モードでは、スケジュールベースと固定リソースの2つのチューニングプランオプションが提供されるようになりました。詳細については、「自動チューニングの設定」をご参照ください。

    エンジンの更新

    VVR 8.0.11 が一般提供 (GA) されました。これは Apache Flink 1.17.2 をベースにしたエンタープライズグレードのエンジンであり、Apache Flink のアップストリームを超える最適化と機能強化が施されています。

    コネクタの更新

    Hologres コネクタ

    • 条件付き更新 (check-and-put)：指定された条件が満たされた場合にのみ Hologres に更新を適用します。

    • アグレッシブ書き込みモード (aggressive.enabled)：低トラフィック期間中の書き込みの適時性を向上させます。

    • パーティションテーブルからのバイナリログ消費 (パブリックプレビュー)：Hologres パーティションテーブルからバイナリログを消費します。これはリアルタイムデータウェアハウスの構築に役立ちます。詳細については、「Hologres データのリアルタイム消費」をご参照ください。

    • メタデータ列: Hologres カタログを使用して、ソース Hologres テーブルからメタデータ列（例：hg_binlog_event_type）にアクセスします。 「Hologres カタログの管理」および「Hologres コネクタ」を参照してください。

    MaxCompute コネクタ

    Delta テーブルの特定の列を更新するには、upsert.partial-column を使用します。これにより、MaxCompute に書き込まれる複数のデータストリームからワイドテーブルを作成する作業が簡素化されます。詳細については、「MaxCompute コネクタ」をご参照ください。

    StarRocks コネクタ

    Flink の CHAR フィールドを StarRocks の CHAR フィールドにマッピングする際、StarRocks フィールドの長さは自動的に元の長さの4倍に拡張されます。これにより、絵文字などのマルチバイト文字が処理されます。詳細については、「StarRocks コネクタ」をご参照ください。

    マテリアライズドテーブル

    バッチ実行モードが有効な場合、マテリアライズドテーブルは増分更新とフルアップデートを動的に選択します。増分更新が優先されます。詳細については、「マテリアライズドテーブルの作成と使用」をご参照ください。

    機能の概要

    機能 説明 ステータス
    Hive dialect のサポート Hive dialect を使用してバッチ SQL スクリプトを開発し、SQL を書き換えることなく Hive ワークロードを Flink に移行します。 GA
    ワークフローでのデータバックフィル ワークフローから直接、欠損データを補完し、履歴データのエラーを修正します。 GA
    IP アドレスとポートによるデプロイメント検索 送信元または宛先システムの IP アドレスとポートでデプロイメントを検索します。 GA
    ワークスペース作成の簡素化 ワークスペース購入時にデプロイメントモデル (シングルゾーンまたはクロスゾーン) を選択します。ゾーン選択は自動です。 GA
    実行時パラメーターでの名前空間変数 実行時パラメーターで名前空間変数を使用して、プレーンテキストの認証情報を回避します。 GA
    自動操縦モードでのチューニングプランの保存 自動操縦モードでの安定化後、生成されたチューニングプランを表示、編集、保存、適用します。オプションはスケジュールベースと固定リソースの2つです。 GA
    Hologres：条件付き更新 check-and-put により、Hologres への条件付き書き込みが可能になります。 GA
    Hologres：アグレッシブ書き込みモード aggressive.enabled により、低トラフィック時の書き込みの適時性が向上します。 GA
    Hologres：パーティションテーブルからのバイナリログ Hologres パーティションテーブルからバイナリログを消費し、リアルタイムデータウェアハウスのユースケースに対応します。 パブリックプレビュー
    Hologres：メタデータ列 Hologres カタログを介して hg_binlog_event_type などのメタデータ列にアクセスします。 GA
    MaxCompute：部分的な列の更新 upsert.partial-column は Delta テーブルの特定の列を更新します。 GA
    StarRocks：CHAR フィールド長の拡張 StarRocks の CHAR フィールドにマッピングされた Flink の CHAR フィールドは、自動的に元の長さの4倍に拡張されます。 GA
    マテリアライズドテーブル：増分更新 バッチ実行モードは、増分更新またはフルアップデートを動的に選択します。増分が優先されます。 GA
    Python バージョンのアップグレード Python が 3.7.9 から 3.9.21 にアップグレードされました。Python デプロイメントには対応が必要です。 GA

    修正された問題

    コネクタの問題

    • MySQL コネクタ：起動時の Null ポインタ例外を修正しました。

    • MySQL コネクタ：プライマリキーのないテーブルへの書き込み時にパフォーマンスが低下する問題を修正しました。この問題は VVR のバージョンアップグレード後に発生していました。

    • Kafka コネクタ：Kafka ソースを再利用する際の、Canal フォーマットの JSON メッセージとメタデータ列の間の不整合を修正しました。

    • ApsaraDB for HBase コネクタ：起動時の例外 No length info found when processingnull を修正しました。

    • Simple Log Service カタログ：Simple Log Service カタログ使用時のエラー AssertionError: Conversion to relational algebra failed を修正しました。

    SQL の問題

    • Watermark の発行が遅延することによりウィンドウがトリガーされない問題を修正しました。

    • CTAS 文で作成されたテーブルに BIT(1) 列を追加する際のエラー ValidationException: Binary string length must be between 1 and 2147483647 を修正しました。

    安定性の問題

    • デプロイメントが終了コード 137 で異常終了した後、誤ったチェックポイントから回復する問題を修正しました。