Realtime Compute for Apache Flink:2025年6月4日

機能

説明

参照

Git リポジトリとの統合

SQL コードとジョブ構成のリモート Git リポジトリ (GitHub、GitLab、Gitee) との双方向同期をサポートし、組み込みの競合解決メカニズムを備えています。

詳細については、「Git と統合する (パブリックプレビュー)」をご参照ください。

SLS へのメッセージの配信

ジョブ起動ログ、ランタイムイベント、リソース使用状況データを SLS に配信します。

詳細については、「メッセージを配信する」をご参照ください。

ログ構成ページのエクスペリエンスの最適化

コンソールでジョブログを他のデータストア (SLS、OSS、Kafka など) にエクスポートします。

詳細については、「デプロイメントのログをエクスポートするためのパラメータを構成する」をご参照ください。

YAML 経由で MaxCompute にデータを取り込む

YAML で開発されたジョブのデータ取り込みシンクとして MaxCompute コネクタを使用することをサポートします。

詳細については、「MaxCompute コネクタ」をご参照ください。

データ取り込みの最適化

converter-after-transform オプションは、FIELD_NAME_LOWER_CASE コンバータータイプをサポートするようになり、ソーステーブルの大文字のフィールド名を自動的に小文字に変換し、クレンジングフェーズ中のデータ前処理を合理化します。

詳細については、「データ取り込み開発リファレンス」をご参照ください。

Elasticsearch コネクタの最適化

Elasticsearch テーブルを更新するときに null 値を無視することをサポートし、データ書き込みの堅牢性を強化します。

詳細については、「Elasticsearch コネクタ」をご参照ください。

Hologres コネクタの最適化

システムアーキテクチャを最適化し、メンテナンス効率を向上させるために、一部のコネクタオプションを調整および削除します。 機能の実装と使用方法は、使用している VVR バージョンによって異なります。 ジョブの互換性と運用安定性を確保するために、使用している VVR バージョンに固有のドキュメントを参照してください。

• 詳細については、「Hologres コネクタ」をご参照ください。

• 詳細については、「コネクタオプション (VVR 11 以降)」をご参照ください。

• 詳細については、「コネクタオプション (VVR 8 以前)」をご参照ください。

MongoDB コネクタの最適化

ignore.delete-events.enabled オプションを追加して、変更データキャプチャ中に MongoDB delete イベントのフィルタリングをサポートし、データ同期の負荷を軽減し、増分同期の効率を向上させます。

詳細については、「MongoDB コネクタ」をご参照ください。

MySQL コネクタの最適化

property-version オプションのデフォルト値が 1 に変更されました。

詳細については、「MySQL カタログを管理する」をご参照ください。

Kafka コネクタの最適化

• canal-json.infer-schema.strategy オプションをサポートし、スキーマ解析ポリシーを構成できます。 Canal JSON データの JSON データまたは sqlType フィールドに基づいてスキーマを解析することを選択できます。

• json.decode.parser-table-id.fields オプションを追加して、JSON データを解析してテーブルスキーマフィールドを生成することをサポートします。

• データ取り込みのためにシンク固有のオプション debezium-json.include-schema.enabled をサポートし、Debezium JSON メッセージにスキーマ情報が含まれているかどうかを確認します。

詳細については、「Kafka コネクタ」をご参照ください。

ApsaraMQ for RocketMQ コネクタの最適化

deliveryTimestampMode などのコネクタオプションを追加し、スケジュールに従ってメッセージを配信し、トリガー規則を柔軟に構成できます。 これにより、時系列タスクのメッセージキューシステムの使用をきめ細かく制御できます。

詳細については、「ApsaraMQ for RocketMQ」をご参照ください。

Tair (Redis OSS 互換) コネクタの最適化

• cache が ALLに設定されている場合、キーに対して複数の値を持つハッシュマップの読み取りをサポートします。

• cacert.filepath オプションを追加して、データリンクの TLS/SSL 暗号化をサポートします。

• cacheReloadTimeBlackList オプションを追加して、毎日の特定の期間中にキャッシュを無効にします。

詳細については、「Tair (Redis OSS 互換) コネクタ」をご参照ください。

StarRocks コネクタの最適化

• 互換性のある列タイプの変換をサポートします。

• StarRocks ディメンションテーブルとのリアルタイムルックアップ結合をサポートし、複雑なリアルタイム分析シナリオを実現します。

• 詳細については、「StarRocks コネクタ」をご参照ください。

• 詳細については、「サポートされているコネクタ」をご参照ください。

Paimon コネクタの最適化

• PARSE_JSON 関数と TRY_PARSE_JSON 関数を使用して VARIANT データの書き込みと使用をサポートし、JSON データのクエリと処理のパフォーマンスを向上させます。

• 詳細については、「Paimon テーブルにデータを書き込み、Paimon テーブルからデータを使用する」をご参照ください。

AnalyticDB for PostgreSQL コネクタの最適化

writeMode オプションは COPY モードをサポートします。

詳細については、「AnalyticDB for PostgreSQL コネクタ」をご参照ください。

マテリアライズドテーブルの最適化

• マテリアライズドテーブルの SQL クエリとコネクタオプションの変更をサポートします。

• 定期的なスケジューリングとデータバックフィルのためのマテリアライズドテーブルのワークフローの作成をサポートします。

• 詳細については、「マテリアライズドテーブルを作成および使用する」をご参照ください。

• 詳細については、「ワークフローを管理する」をご参照ください。

Hive Kerberos 認証の Flink SQL サポート

SQL を介して Kerberos 化されたクラスタ内の Hive データに安全にアクセスします。 これにより、クライアントとサーバー間の双方向 ID 検証と暗号化伝送が保証され、データの盗難と不正アクセスを効果的に防ぎます。

• 詳細については、「Kerberos 化された Hive クラスタを登録する」をご参照ください。

• 詳細については、「SQL デプロイメントの概要」をご参照ください。

PyFlink Docker イメージのアップグレード

PyFlink の基本 Docker イメージがアップグレードされ、さまざまな Python および glibc バージョンとの互換性が向上しました。

ウィンドウ関数の最適化

Apache Flink バージョン 1.20 の改善された SESSION WINDOW の動作をサポートします。これは、集計ステートメントとの結合が必要な VVR バージョン 8.x の SESSION WINDOW と比較して柔軟性が向上しています。 これらの機能強化を活用するために、最新バージョンにアップグレードすることをお勧めします。

詳細については、「ウィンドウ集計」をご参照ください。

SelectDB コネクタの組み込みサポート

SelectDB コネクタはパブリックプレビューを完了し、Realtime Compute for Apache Flink の組み込みコネクタとして正式にリリースされました。

詳細については、「SelectDB」をご参照ください。

Table API ジョブの最適化

Table API クエリで組み込み関数を呼び出すことをサポートします。

詳細については、「サポートされている関数」をご参照ください。

LLM を利用したリアルタイムベクトル化と推論

• AI モデルのデータ定義言語 (DDL) ステートメントを導入します。

• ML_PREDICT 関数を追加し、リアルタイム計算で AI モデルを使用して推論を行います。

• Alibaba Cloud Model Studio と統合します。

• 詳細については、「モデル DDL」をご参照ください。

• 詳細については、「ML_PREDICT」をご参照ください。

• 詳細については、「Alibaba Cloud Model Studio と統合する」をご参照ください。