Alibaba Cloud Model Studio:RAG パフォーマンス最適化

インテリジェントチャンク分割

ナレッジベースに最適なテキストチャンク長を選択するのは難しい場合があります。これは、次の複数の要因に依存するためです。

• ドキュメントタイプ: 専門文献の場合、長いチャンクの方がより多くのコンテキストを保持できることが多いです。ソーシャルメディア投稿の場合、短いチャンクの方がセマンティクスをより正確に捉えられます。

• プロンプトの複雑さ: 一般に、ユーザーのプロンプトが複雑で具体的な場合は、長いチャンクが必要になることがあります。そうでない場合は、短いチャンクの方が適している場合があります。

これらの結論は必ずしもすべての状況に当てはまるわけではありません。適切なツールを選択し、繰り返し実験して適切なテキストチャンク長を見つける必要があります。たとえば、LlamaIndex は異なるチャンク分割方法の評価機能を提供します。ただし、このプロセスは複雑で時間がかかる場合があります。

迅速かつ効果的なソリューションとして、ナレッジベース作成時に ドキュメントチャンク分割 を インテリジェント分割 に設定してください。

この戦略が適用されると、ナレッジベース:

1. まず、組み込みの文区切り文字を使用してドキュメントを段落に分割します。

2. 分割された段落に基づき、固定長ではなくセマンティック関連性（セマンティックチャンク分割）に基づいてチャンク境界を適応的に選択します。

このプロセスにより、各ドキュメント部分のセマンティック整合性が確保され、不要な分割が回避されます。この戦略は、このナレッジベース内のすべてのドキュメント（後からインポートされたドキュメントを含む）に適用されます。

チャンクコンテンツの修正

もちろん、実際のチャンク分割プロセス中にも、予期しない分割やその他の問題が発生する可能性があります（例：テキスト中の スペース がチャンク分割後に %20 として解析される場合など）。

したがって、Model Studio ではドキュメントをインポートした後、チャンクコンテンツのセマンティック整合性と正確性を手動で確認することを推奨しています。予期しないチャンクやその他の解析エラーが見つかった場合は、テキストチャンクを直接編集して修正できます。保存後、テキストチャンクの元のコンテンツは無効になり、新しいコンテンツがナレッジベース取得に使用されます。

この操作はナレッジベース内のテキストチャンクのみを変更し、データ管理（一時ストレージ）内の元のドキュメントまたはデータテーブルは変更しません。したがって、ドキュメントを再度インポートする場合は、手動での確認と修正を再度行う必要があります。

マルチターン対話の書き換え

マルチターン対話で、ユーザーが「Model Studio Phone X1」といった短いプロンプトで質問することがあります。これにより、取得時に必要なコンテキストが不足し、RAG システムが正確に動作しない可能性があります。その理由は次のとおりです。

• スマートフォン製品は、複数の世代が同時に販売されていることがよくあります。

• 同一世代の製品でも、メーカーは通常 128 GB や 256 GB など、さまざまなストレージオプションを提供しています。

  ...

この重要な情報は、以前の会話ターンで提供されている可能性があります。これを効果的に活用することで、RAG はより正確な情報を取得できます。

これを解決するために、Model Studio の マルチターン対話改正 機能を使用できます。システムは会話履歴に基づいてユーザーのプロンプトをより完全な形に自動的に書き換えます。

たとえば、ユーザーが次のように質問します。

Model Studio Phone X1.

マルチターン対話の書き換えを有効にすると、システムはユーザーの会話履歴に基づいて取得前にユーザーのプロンプトを書き換えます（例のみ）。

製品ライブラリにある Model Studio Phone X1 の利用可能なすべてのバージョンと、それぞれの具体的なパラメーターを提供してください。

この書き換えられたプロンプトにより、RAG はユーザーの意図をより正確に理解し、より適切な応答を提供できます。

次の図は、マルチターン対話の書き換え機能を有効化する方法を示しています。この機能は、推奨構成 を選択した場合にも有効になります。

マルチターン対話の書き換え機能はナレッジベースに紐付いています。一度有効化されると、現在のナレッジベースに関連するクエリにのみ適用されます。この設定は後から変更できません。有効化するには、ナレッジベースを再作成する必要があります。

タグによるフィルタリング

本セクションは、ドキュメント検索のナレッジベースにのみ適用されます。

音楽アプリを使用する際、アーティストで曲をフィルタリングして、そのアーティストのすべての曲を素早く見つけることができます。

同様に、非構造化ドキュメントにタグを追加すると、追加の構造化情報が導入されます。ナレッジベースから取得する際、アプリケーションはまずタグでドキュメントをフィルタリングでき、取得の精度と効率が向上します。

Model Studio では、タグを設定する方法が次の 2 つあります。

• ドキュメントアップロード時にタグを設定: コンソールでの手順については、「データのインポート」をご参照ください

• Data Management ページでタグを編集: アップロード済みのドキュメントについて、ドキュメントの右側にある ラベル をクリックしてタグを編集できます

  

Model Studio では、タグを使用する方法が次の 2 つあります。

• Model Studio アプリケーションを API で呼び出す 際、tags リクエストパラメーターでタグを指定できます。

• コンソールでアプリケーションを編集する際にタグを設定します。ただし、この方法は エージェントアプリケーション にのみ適用されます。

  この設定は、このエージェントアプリケーションに対する以降のすべてのユーザー質問と回答に適用されます。

  

メタデータ抽出

本セクションは、ドキュメント検索のナレッジベースにのみ適用されます。

テキストチャンクにメタデータを埋め込むことで、各チャンクのコンテキストが効果的に強化されます。特定のシナリオでは、この方法によりドキュメント検索のナレッジベースにおける RAG パフォーマンスが大幅に向上することがあります。

次のシナリオを考えてみましょう。

ナレッジベースには多数のスマートフォン製品マニュアルが含まれています。ドキュメント名は端末モデル（例：Model Studio X1、Model Studio Zephyr Z9）であり、すべてのドキュメントに「特徴概要」の章が含まれています。

このナレッジベースでメタデータが有効になっていない場合、ユーザーは取得のために次のようなプロンプトを入力する可能性があります。

Model Studio Phone X1 の特徴概要。

取得テストにより、リコールされたチャンクが明らかになります。すべてのドキュメントに「特徴概要」が含まれているため、ナレッジベースはクエリエンティティ（Model Studio Phone X1）とは無関係だがプロンプトと類似したテキストチャンク（図中のチャンク 1 およびチャンク 2 など）をリコールします。これらのチャンクのランキングが、必要なテキストチャンクよりも高くなる可能性があり、RAG パフォーマンスに悪影響を及ぼします。

取得テストの結果はランキングのみを保証しますが、絶対的な類似度スコアは参考値です。絶対値の差が小さい場合（5% 以内）、リコール確率は同等とみなせます。

次に、「メタデータ抽出」の手順に従って、端末名をメタデータとして設定します。これにより、対応する端末名情報が各ドキュメントのテキストチャンクにアタッチされます。その後、同じテストを実行して比較します。

この時点で、ナレッジベースはベクトル検索の前に構造化検索レイヤーを追加します。完全なプロセスは次のとおりです。

1. プロンプトからメタデータ {"key": "name", "value": "Model Studio Phone X1"} を抽出します。

2. 抽出されたメタデータに基づき、「Model Studio Phone X1」メタデータを含むすべてのテキストチャンクを見つけます。

3. 次に、ベクトル（セマンティック）検索を実行して、最も関連性の高いテキストチャンクを見つけます。

メタデータを有効にした後、ナレッジベースは「Model Studio Phone X1」に関連し、「特徴概要」を含むテキストチャンクを正確に見つけられるようになります。

メタデータのもう一つの一般的な用途は、テキストチャンクに日付情報を埋め込んで最新のコンテンツをフィルタリングすることです。「メタデータ抽出」をご参照ください。

類似度しきい値

ナレッジベースがユーザーのプロンプトに関連するテキストチャンクを見つけた後、まずそれらを カスタムパラメーター設定（ナレッジベース作成時に設定）で設定された Rank モデルに送信して並べ替えます。次に、類似度しきい値を使用して並べ替えられたテキストチャンクをフィルタリングします。しきい値を超える類似度スコアを持つテキストチャンクのみがモデルに提供されます。

このしきい値を下げると、より多くのテキストチャンクがリコールされる可能性がありますが、関連性の低いテキストチャンクもリコールされる可能性があります。しきい値を上げると、リコールされるテキストチャンクの数が減少する可能性があります。

しきい値が高すぎると、ナレッジベースがすべての関連テキストチャンクを破棄する可能性があります。これにより、モデルが回答を生成するために十分なバックグラウンド情報を得られなくなります。

最適なしきい値はシナリオに依存します。取得テストを通じてさまざまな類似度しきい値を実験し、リコール結果を観察して、ニーズに最も合うソリューションを見つける必要があります。

取得チャンク数

取得チャンク数は、マルチチャネルリコール戦略における K 値です。類似度しきい値フィルタリング後、テキストチャンク数が K を超える場合、システムは類似度スコアが最も高い K 個のテキストチャンクをモデルに提供します。このため、K 値が不適切だと、RAG が正しいテキストチャンクを見逃し、モデルが完全な回答を生成できなくなる可能性があります。

たとえば、ユーザーが次のプロンプトで情報を取得します。

Model Studio X1 スマートフォンの利点は何ですか？

ターゲットナレッジベースには、ユーザーのプロンプトに関連し返すべきテキストチャンクが 7 件あります（左側の緑色でマーク）。しかし、この数は現在設定されている最大取得チャンク数（K）を超えているため、「利点 5（超長時間スタンバイ）」および「利点 6（クリアな写真）」を含むテキストチャンクは破棄され、モデルに提供されません。

RAG は「完全な」回答に必要なテキストチャンク数を判断できないため、モデルは提供されたチャンク（不完全であっても）に基づいて回答を生成します。

多くの実験により、「リスト...」、「要約...」、「X と Y を比較...」などのシナリオでは、上位 10 件または上位 5 件だけを提供するよりも、より多くの高品質なテキストチャンク（例：K=20）をモデルに提供する方が効果的であることが示されています。これによりノイズが混入する可能性がありますが、テキストチャンクの品質が高ければ、高性能なモデルは通常その影響を処理できます。

Model Studio でアプリケーションを編集する際に、取得されたチャンクの数 を調整できます。

ただし、取得チャンク数を大きくすればよいというわけではありません。場合によっては、リコールされたテキストチャンクをアセンブルした後の合計長がモデルの入力長制限を超え、切り捨てが発生して RAG パフォーマンスに悪影響を及ぼす可能性があります。

インテリジェントアセンブリ を選択してください。この戦略は、モデルの最大入力長を超えない範囲で可能な限り多くの関連テキストチャンクをリコールします。

方法 1: 出力コンテンツの制約

プロンプトテンプレートにコンテキスト情報、命令、期待される出力フォーマットを提供してモデルに指示できます。たとえば、次の出力命令を追加できます。

提供された情報で質問に回答できない場合は、「既存の情報に基づくと、この質問には回答できません」と明確に述べてください。回答をでっち上げないでください。

これにより、モデルのハルシネーションの可能性が低減されます。

方法 2: 例を追加

フューショットプロンプティング の方法を使用して、モデルが模倣すべき質問と回答の例をプロンプトに追加します。これにより、モデルが取得された知識を正しく使用するようにガイドされます。次の例では Qwen-Plus を使用しています。

# 要件
以下のテキストから技術仕様を抽出し、JSON 形式で表示してください。
${documents}

# 要件
以下のテキストから技術仕様を抽出し、JSON 形式で表示してください。例で提供されたフィールドに厳密に従ってください。
${documents}

# 例
## 入力: Stardust S9 Pro は、画期的な 6.9 インチ 1440 x 3088 ピクセルのディスプレイ下カメラ設計により、無限の視覚体験を提供します。最高構成の 512 GB ストレージと 16 GB RAM に、6000 mAh バッテリーと 100 W 高速充電技術を組み合わせることで、パフォーマンスとバッテリー寿命を両立し、テクノロジートレンドを牽引しています。参考価格: 5999 - 6499。
## 出力: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

方法 3: コンテンツ デリミタの追加

取得されたテキストチャンクがプロンプトテンプレートにランダムに混在していると、大規模モデルはプロンプトの全体構造を理解するのが難しくなります。${documents} 変数とプロンプトを明確に分離してください。

さらに、最良の結果を確保するには、${documents} 変数がプロンプトテンプレート内に1 回のみ出現することを確認してください。参考として、左側の正しい例をご覧ください。

# 役割
あなたは顧客サービス担当者であり、ナレッジベースからの取得によりユーザーの問題を分析・解決し、正確なソリューションを提供することに重点を置いています。

# 要件
**結果を直接返却**: ユーザーのプロンプトとナレッジベースのコンテンツに基づき、推論なしで直接的な回答を提供してください。
**返却結果に具体的な連絡先情報を含めないでください**: 返却結果には、ユーザーのプロンプトの概要、関連する当直担当者の氏名およびその責任範囲のみを含めてください。
**デフォルトの連絡先**: 関連する当直担当者が見つからない場合は、「本日の担当者: Model Studio カスタマーサービス 01」と返却してください。

# ナレッジベース
以下の資料を覚えておいてください。質問への回答に役立つ可能性があります。
${documents}

# 役割
あなたは顧客サービス担当者であり、ナレッジベースからの取得によりユーザーの問題を分析・解決し、正確なソリューションを提供することに重点を置いています。
${documents} の情報を回答に活用してください。

# 要件
**結果を直接返却**: ユーザーのプロンプトとナレッジベースのコンテンツに基づき、推論なしで直接的な回答を提供してください。
**返却結果に具体的な連絡先情報を含めないでください**: 返却結果には、ユーザーのプロンプトの概要、関連する当直担当者の氏名およびその責任範囲のみを含めてください。
**デフォルトの連絡先**: 関連する当直担当者が見つからない場合は、「本日の担当者: Model Studio カスタマーサービス 01」と返却してください。

# ナレッジベース
以下の資料を覚えておいてください。質問への回答に役立つ可能性があります。
${documents}