Realtime Compute for Apache Flink:November 30, 2025

AI 機能

Flink SQL でのテキスト処理のために、新しい AI 関数が追加されました：

• テキスト分類：事前に設定されたカテゴリに基づいてテキストを分類し、信頼度スコアを返します。この関数は、チケットの分類やコンテンツのタグ付けに適しています。

• 感情分析：テキストの感情を分析し、肯定的、否定的、または中立的なラベルとともに定量的なスコアを返します。この関数は、コメント分析や世論のモニタリングに適しています。

• 情報抽出：JSON スキーマを使用して、非構造化テキストから名前や電話番号などのデータを抽出し、構造化された形式でデータを出力します。

• テキスト要約：長いテキストの要約を生成します。要約の最大長を設定できます。

• テキストのベクトル化：テキストの高次元ベクトル表現を作成します。これらのベクトルにより、類似度計算やセマンティック検索が可能になります。

• テキスト翻訳：10 以上の言語間でテキストを翻訳し、ソース言語を自動的に検出します。

• データマスキング：テキスト内の電話番号や ID カード番号などの機密情報を自動的にマスキングします。

データ取り込み

• 互換性：Apache Flink CDC 3.5 に準拠しています。

• PostgreSQL CDC (パブリックプレビュー)：PostgreSQL ソースをサポートします。

• MongoDB：MongoDB ソースをサポートします。

コネクタ

• Kafka：Canal-JSON フォーマットがソースデータベースのインデックスイベントの解析をサポートするようになりました。また、元のキーと値をメタデータとしてフェッチすることもできます。

• Hologres：

  • ディメンションテーブルのルックアップ結合がフィルタープッシュダウンをサポートします。

  • Stream Copy が BinaryRow フォーマットをサポートします。

  • INSERT 操作のプライマリキー競合戦略を設定できます。

• JDBC (PostgreSQL)：ソーステーブルからの delete イベントを無視するための ignore delete オプションが追加されました。

• Paimon：

  • パーティション間の更新をサポートします。

  • タスクを簡単に見つけるためのユーザー名プレフィックスをサポートします。

• Redis：クラスターインスタンスとバッチ書き込みのサポートが強化されました。

カタログ

• PostgreSQL カタログ：PostgreSQL のメタデータを管理するための PostgreSQL カタログが導入されました。

• StarRocks カタログ：StarRocks の Null 許容プライマリキー列を Null 非許容として扱うことをサポートします。

• MaxCompute カタログ：データベースを MaxCompute プロジェクトまたはスキーマにマッピングすることをサポートします。

コア機能

1. 名前空間のクローン：名前空間を他のワークスペースにコピーします。この機能は、クラスターの移行やデュアルランテストに適しています。

2. モニタリングサービスの変更：コンソールでワークスペースのモニタリングサービスを手動で変更できます。

3. アクセス制御：

   • 「無効」な権限ポイントを設定できます。

   • Git 統合に対して詳細な権限を設定できます。

4. ログのアーカイブ：セキュリティを向上させるため、AccessKey ペアではなく RAM を介してログを SLS にアーカイブします。

ユーザーエクスペリエンス

• 運用保守 (O&M)：運用保守 (O&M) ページに、動的更新と自動チューニングのステータスと結果が表示されるようになりました。

• 課金タグ：ハイブリッド課金ワークスペースでは、リソースに自動的にサブスクリプションまたは従量課金のタグが付けられ、分割課金が容易になります。

• リソース検索：ワークスペース、ワークスペース ID、または名前空間でリソースを検索できます。