API Gateway:キャッシュ

セマンティックキャッシュの主要な概念

セマンティックキャッシュ機構をよりよく理解するために、次のセクションではその主要な概念について説明します。

特徴と利点

• デュアルモードキャッシュシステム: 2 つのキャッシュタイプから選択し、必要に応じてマッチングしきい値を動的に調整できます。

  1. 正確なキャッシュ: Redis キーバリューストアアーキテクチャに基づいており、同一のリクエストに対してミリ秒レベルの応答を提供します。

  2. セマンティックキャッシュ: DashVector ベクトルデータベース (Alibaba Cloud Vector Retrieval Service) を使用して、セマンティックに類似したリクエストをインテリジェントに照合します。類似度のしきい値は調整可能です。これにより、従来の文字列マッチングの制限を克服します。

• 冗長な計算の削減: 同一の AI リクエストに対して、キャッシュされた応答データが直接返されるため、大規模言語モデルへの冗長な呼び出しが回避されます。

• パフォーマンスの向上: キャッシュから結果を迅速に取得することで、応答時間とバックエンドサーバーの負荷が大幅に削減されます。セマンティックキャッシュにより、意図レベルの応答が可能になり、ユーザーの満足度とエクスペリエンスが大幅に向上します。

• シナリオカバレッジの拡大: カスタマーサービスシステムやナレッジベースクエリなどの標準的なシナリオに適しており、「明日の天気」や「今後 24 時間の天気予報」などの自然言語命令のバリアントの処理をサポートします。

• ログモニタリング: キャッシュヒット率メトリックの分析を提供します。

手順

2. 左側のナビゲーションウィンドウで、[LLM API] をクリックします。次に、API の名前をクリックして API 詳細ページに移動します。

3. [ポリシーとプラグイン] をクリックし、[キャッシュ] スイッチを有効にして、パラメーターを構成します。

   AI Gateway は、[セマンティックキャッシュ] と [正確なキャッシュ] をサポートするようにキャッシュ機能をアップグレードしました。ポリシーの比較 に基づいて適切なキャッシュメソッドを選択します。

   セマンティックキャッシュ

   重要

   リクエストに x-higress-skip-ai-cache: on リクエストヘッダーが含まれている場合、リクエストはキャッシュをバイパスします。リクエストはバックエンドサービスに直接転送され、応答はキャッシュされません。

   

   • [キャッシュキー生成ポリシー]: デフォルトオプションの [最新の質問のみを使用] を選択するか、要件に応じて [過去の質問を統合] を選択します。

   • [テキスト埋め込み構成]:

     • [AI サービス]: 作成した AI サービスを選択します。AI サービスがない場合は、サービスの作成 をクリックして作成します。

     • [モデル名]: 使用するモデルの名前を選択します。

     • [タイムアウト]: タイムアウト期間を設定します。デフォルト値は 5000 ms です。

   • [ベクトルデータベース構成]:

     • [サービスプロバイダータイプ]: DashVector (Vector Retrieval Service) を有効化していない場合は、コンソールへ移動 をクリックしてサービス有効化ページを開きます。次の手順に従います: [クラスターの作成] > [API キーの作成] > [コレクションの作成]。後で使用するためにコレクション名を記録します。

       重要

       コレクションを作成するときは、距離メジャーとして Cosine を選択します。ベクトルディメンションは、テキスト埋め込みモデルのディメンションと一致する必要があります。Alibaba Cloud Model Studio プラットフォーム上のテキスト埋め込みモデルの出力ベクトルディメンションの詳細については、「汎用テキスト埋め込み」をご参照ください。

     • [エンドポイント]: DashVector エンドポイントを入力します。

     • [コレクション名]: 作成したコレクションの名前を入力します。

     • [API キー]: アクセス資格情報。詳細については、「API キーの管理」をご参照ください。

     • [ベクトル類似度しきい値]: この値は、クエリがキャッシュされたコンテンツとどの程度厳密に一致するかを決定します。値の範囲は 0 から 1 です。0.8 または 0.9 の値が推奨されます。値が大きいほど、セマンティックの類似性が高いことを示します。詳細については、「ベクトル類似度しきい値設定ガイド」をご参照ください。

     • [タイムアウト]: タイムアウト期間を設定します。デフォルト値は 3000 ms です。

   正確なキャッシュ

   重要

   • Redis コンソールで、ゲートウェイインスタンスの VPC CIDR ブロックをホワイトリストに追加します。

   • リクエストに x-higress-skip-ai-cache: on リクエストヘッダーが含まれている場合、リクエストはキャッシュをバイパスします。リクエストはバックエンドサービスに直接転送され、応答はキャッシュされません。

   

   • [キャッシュキー生成ポリシー]: 必要に応じて [最新の質問のみを使用] (デフォルト) または [過去の質問を統合] を選択します。

   • [Redis キャッシュ構成]:

     • [Redis エンドポイント]: Redis エンドポイントを入力します。

     • [ポート]: ポート番号を入力します。

     • [アクセス方法]: Redis サービスにアクセスする方法を選択します。オプションは [アカウントとパスワードでログイン]、[パスワードでログイン]、[パスワードなしでログイン] です。

     • [データベースアカウント]: アカウントとパスワードを使用してログインする場合は、データベースアカウントを入力します。

     • [データベースパスワード]: パスワードベースの認証を選択した場合は、データベースパスワードを入力する必要があります。

     • [データベース番号]: データベース番号。

     • [キャッシュ期間 (秒)]: デフォルトのキャッシュ期間は 1800 秒です。この期間中に、API が同一の AI リクエストを受信した場合、LLM は呼び出されず、キャッシュされた応答が直接返されます。

4. 構成を確認し、[保存] をクリックします。

ベクトル類似度しきい値設定ガイド

キャッシュヒット率

次のサンプル検索文は、ゲートウェイレベルでキャッシュヒット率をクエリする方法を示しています。

cluster_id:{your-gatewayId} and inner-ai-cache-{your-gatewayId} | SELECT 
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) AS hit_count,
SUM(CASE WHEN content LIKE '%cache miss for key%' OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END) AS miss_count,
SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' THEN 1 ELSE 0 END) * 100.0 / 
NULLIF(SUM(CASE WHEN content LIKE '%cache hit for key%' OR content LIKE '%key accepted%' OR content LIKE '%cache miss for key%' 
           OR content LIKE '%score not meet the threshold%' THEN 1 ELSE 0 END), 0) AS hit_rate

• {your-gatewayId} をゲートウェイインスタンス ID に置き換えます。最初のプレースホルダーには gw- プレフィックスが必要ですが、2 番目のプレースホルダーには不要です。キャッシュ設定からログクエリページを開くと、`cluster_id` が自動的に含まれます。この場合、検索文の残りの部分を貼り付けるだけで済みます。

• クエリ結果にはキャッシュヒット率が表示されます。

  

例

• 正確なキャッシュが有効になっている場合、同一のクエリのみが一致します:

• セマンティックキャッシュが有効になっている場合、セマンティックに類似したクエリも一致する可能性があります。セマンティック類似度がしきい値よりも低い場合、一致は見つかりません: