Alibaba Cloud Model Studio:RAG パフォーマンスの最適化

2.2.1 インテリジェントチャンク化

ナレッジベースに適したテキストチャンクの長さを選択することは容易ではありません。なぜなら、次のような複数の要因を考慮する必要があるからです:

• ドキュメントタイプ: たとえば、専門的な文献の場合、長さを増やすと通常、より多くのコンテキスト情報を保持するのに役立ちます。ソーシャルメディアの投稿の場合、長さを短くすると、セマンティクスをより正確に捉えることができます。

• プロンプトの複雑さ: 一般的に、ユーザーのプロンプトが複雑で具体的な場合は、長さを増やす必要があるかもしれません。それ以外の場合は、長さを短くする方が適切です。

これらの結論は、必ずしもすべての状況に当てはまるわけではありません。適切なツールを選択し、適切なテキストチャンクの長さを見つけるために繰り返し実験する必要があります。たとえば、LlamaIndex は、さまざまなチャンク化メソッドの評価関数を提供します。しかし、このプロセスは困難な場合があります。

すぐに良い結果を得たい場合は、ナレッジベースを作成する際に [ドキュメント分割] に [インテリジェントな分割] を選択することをお勧めします。

この戦略が適用されると、ナレッジベースは次のステップを実行します:

1. まず、システムの組み込みの文区切り文字を使用して、ドキュメントをいくつかの段落に分割します。

2. 分割された段落に基づいて、固定長に基づくチャンク化ではなく、セマンティックな関連性 (セマンティックチャンク化) に基づいてチャンク化するためのチャンク化ポイントを適応的に選択します。

このプロセス中、ナレッジベースはドキュメントの各部分のセマンティックな完全性を確保し、不要な分割やチャンク化を避けようと努めます。この戦略は、このナレッジベース内のすべてのドキュメント (後でインポートされたドキュメントを含む) に適用されます。

2.2.2 テキストチャンクの内容の修正

実際のチャンク化プロセスでは、予期しないチャンク化やその他の問題が依然として発生する可能性があります。たとえば、テキスト内の スペース は、チャンク化後に %20 として解析されることがあります。

したがって、Model Studio では、ドキュメントをナレッジベースにインポートした後に手動でチェックを実行して、テキストチャンクの内容のセマンティックな完全性と正確性を確認することをお勧めします。予期しないチャンク化やその他の解析エラーが見つかった場合は、テキストチャンクを直接編集して修正できます。変更を保存すると、テキストチャンクの元の内容は無効になり、新しい内容がナレッジベースの取得に使用されます。

この操作はナレッジベース内のテキストチャンクのみを変更し、データ管理 (一時ストレージ) 内の元のドキュメントやデータテーブルは変更しないことに注意してください。したがって、後で再度ナレッジベースにインポートする場合は、再度手動で確認および修正する必要があります。

2.3.1 複数ラウンドの会話の書き換え

複数ラウンドの会話では、ユーザーは「Bailian Phone X1」のような短いプロンプトで質問する場合があります。このプロンプトは、以下の理由により、取得中に RAG システムが必要なコンテキストを欠く原因となる可能性があります:

• 携帯電話製品は通常、複数の世代が同時に販売されています。

• 同じ世代の製品でも、メーカーは通常、128 GB や 256 GB などの複数のストレージ容量オプションを提供します。

  ...

ユーザーは、会話の前のターンでこの重要な情報をすでに提供している可能性があります。この情報を効果的に使用することで、RAG はより正確な情報を取得できます。

この状況に対処するために、Model Studio の [複数ラウンドの会話の書き換え] 機能を使用できます。システムは、会話履歴に基づいてユーザーのプロンプトをより完全な形式に自動的に書き換えます。

たとえば、ユーザーが次のように質問します:

Bailian Phone X1.

複数ラウンドの会話の書き換え機能が有効になっている場合、システムは取得前に会話履歴に基づいてユーザーのプロンプトを書き換えます。次の例を参照してください:

製品ライブラリにある Bailian Phone X1 の利用可能なすべてのバージョンとその具体的なパラメーターを提供してください。

この書き換えられたプロンプトは、RAG がユーザーの意図をよりよく理解し、より正確な応答を提供するのに役立ちます。

下の図は、複数ラウンドの会話の書き換え機能を有効にする方法を示しています。この機能は、[推奨] を選択した場合にも有効になります。

複数ラウンドの会話の書き換え機能はナレッジベースにアタッチされていることに注意してください。一度有効にすると、現在のナレッジベースに関連するクエリにのみ適用されます。ナレッジベースの作成時にこの構成を有効にしなかった場合、ナレッジベースを再作成しない限り、後で有効にすることはできません。

2.3.2 タグフィルタリング

このセクションの内容は、ドキュメント検索ナレッジベースにのみ適用されます。

音楽アプリを使用するとき、アーティスト名で曲をフィルタリングして、そのアーティストの曲をすばやく見つけることがあります。

同様に、非構造化ドキュメントにタグを追加すると、追加の構造化情報が導入されます。これにより、アプリケーションはナレッジベースから取得する際にタグに基づいてドキュメントをフィルタリングでき、取得の精度と効率が向上します。

Model Studio は、タグを設定するための 2 つのメソッドをサポートしています:

• ドキュメントをアップロードするときにタグを設定する: コンソールでの手順については、「データをインポートする」をご参照ください です。

• [データ管理] ページでタグを編集する: アップロードされたドキュメントについては、ドキュメントの右側にある [タグ] をクリックして編集できます です。

  

Model Studio は、タグを使用するための 2 つのメソッドをサポートしています:

• API を介してアプリケーションを呼び出す場合、tags リクエストパラメーターでタグを指定できます。

• コンソールでアプリケーションを編集するときにタグを設定します。ただし、このメソッドは エージェントアプリケーション にのみ適用されます。

  この設定は、このエージェントアプリケーションの以降のすべての質問と回答に適用されることに注意してください。

  

2.3.3 メタデータの抽出

このセクションの内容は、ドキュメント検索ナレッジベースにのみ適用されます。

テキストチャンクにメタデータを埋め込むと、各チャンクのコンテキスト情報が効果的に強化されます。特定のシナリオでは、このメソッドはドキュメント検索ナレッジベースの RAG パフォーマンスを大幅に向上させることができます。

次のシナリオを考えてみましょう:

ナレッジベースには多くの携帯電話製品説明ドキュメントが含まれています。ドキュメント名は電話のモデル (Bailian X1、Bailian Zephyr Z9 など) であり、すべてのドキュメントに「機能概要」の章が含まれています。

このナレッジベースでメタデータが有効になっていない場合、ユーザーは取得のために次のプロンプトを入力する可能性があります:

Bailian Phone X1 の機能概要。

取得テストでは、次の図に示すように、どのチャンクがリコールされたかがわかります。すべてのドキュメントに「機能概要」セクションが含まれているため、ナレッジベースはクエリエンティティ (Bailian Phone X1) とは無関係ですが、プロンプトに類似しているいくつかのテキストチャンクをリコールします。たとえば、図のチャンク 1 とチャンク 2 です。それらのランキングは、実際に必要なテキストチャンクよりもさらに高くなっています。これは明らかに RAG のパフォーマンスに影響します。

取得テストのリコール結果はランキングのみを保証します。類似度スコアの絶対値は参考用です。絶対値の差が小さい場合 (5% 以内)、リコール確率は同じと見なすことができます。

次に、電話名をメタデータとして設定します。これは、各ドキュメントのテキストチャンクに対応する電話名情報を追加することに相当します。「メタデータ抽出」の手順に従ってから、同じテストを実行して比較できます。

この時点で、ナレッジベースはベクトル検索の前に構造化検索のレイヤーを追加します。プロセスは次のとおりです:

1. プロンプトからメタデータ {"key": "name", "value": "Bailian Phone X1"} を抽出します。

2. 抽出されたメタデータに基づいて、「Bailian Phone X1」メタデータを含むすべてのテキストチャンクを検索します。

3. 次に、ベクトル (セマンティック) 検索を実行して、最も関連性の高いテキストチャンクを見つけます。

メタデータを有効にした後の取得テストの実際のリコール効果を次の図に示します。ご覧のとおり、ナレッジベースは「Bailian Phone X1」に関連し、「機能概要」を含むテキストチャンクを正確に見つけることができるようになりました。

メタデータのもう 1 つの一般的なアプリケーションは、テキストチャンクに日付情報を埋め込んで、最近のコンテンツをフィルタリングすることです。メタデータの使用法の詳細については、「メタデータ抽出」をご参照ください。

2.3.4 類似度のしきい値の調整

ナレッジベースがユーザーのプロンプトに関連するテキストチャンクを見つけると、まずそれらを Rank モデルに送信して並べ替えます。これは、ナレッジベースを作成する際に カスタムパラメーター設定 で構成できます。次に、類似度のしきい値を使用して、並べ替えられたテキストチャンクをフィルタリングします。このしきい値を超える類似度スコアを持つテキストチャンクのみが、モデルに提供される可能性が高くなります。

このしきい値を下げると、より多くのテキストチャンクがリコールされる可能性がありますが、関連性の低いテキストチャンクもリコールされる可能性があります。このしきい値を上げると、リコールされるテキストチャンクの数が減少する可能性があります。

高すぎると、次の図に示すように、ナレッジベースが関連するすべてのテキストチャンクを破棄する可能性があります。これにより、モデルが回答を生成するのに十分なバックグラウンド情報を取得する能力が制限されます。

単一の最適な閾値はなく、あなたのシナリオに最も適したものだけが存在します。取得テストを通じてさまざまな類似度の閾値を試し、リコール結果を観察し、ニーズに最も適したソリューションを見つける必要があります。

2.3.5 リコールされたチャンクの数を増やす

リコールされるチャンクの数は、マルチチャネルリコール戦略における K 値です。類似度のしきい値フィルタリングの後、テキストチャンクの数が K を超える場合、システムは最も類似度スコアの高い K 個のテキストチャンクを選択してモデルに提供します。このため、不適切な K 値は RAG が正しいテキストチャンクを見逃す原因となり、モデルが完全な回答を生成する能力に影響を与えます。

たとえば、次のケースでは、ユーザーは次のプロンプトで取得します:

Bailian X1 電話の利点は何ですか？

次の図でわかるように、ターゲットナレッジベースには、ユーザーのプロンプトに関連し、返されるべき合計 7 つのテキストチャンクがあります。これらは左側に緑色でマークされています。しかし、この数が現在設定されているリコールされるチャンクの最大数 (K) を超えているため、利点 5 (超長時間待機) と利点 6 (鮮明な写真) を含むテキストチャンクは破棄され、モデルに提供されません。

RAG は完全な回答を提供するためにいくつのテキストチャンクが必要かを判断できないため、モデルは提供されたチャンクが不完全であっても、それに基づいて回答を生成します。

多くの実験により、リスト、要約、または比較を必要とするシナリオでは、上位 10 または上位 5 のみを提供するよりも、より多くの高品質なテキストチャンク (たとえば、K=20) をモデルに提供する方が効果的であることが示されています。これによりノイズが導入される可能性がありますが、テキストチャンクの品質が高い場合、モデルは通常、ノイズの影響を相殺できます。

アプリケーションを編集する際に、[リコールされるチャンクの数] を調整できます。

リコールされるチャンクの数が多ければ多いほど良いとは限らないことに注意してください。リコールされたテキストチャンクが組み立てられた後、その合計長がモデルの入力長制限を超えることがあります。これにより、一部のテキストチャンクが切り捨てられ、RAG のパフォーマンスに影響を与えます。

したがって、[インテリジェントアセンブリ] を選択することをお勧めします。この戦略は、モデルの最大入力長を超えずに、できるだけ多くの関連テキストチャンクをリコールします。

メソッド 1: 出力内容を制約する

プロンプトテンプレートにコンテキスト情報、指示、および期待される出力形式を提供して、モデルに指示することができます。たとえば、次の出力指示を追加して、モデルに次のように要求できます:

提供された情報が質問に答えるのに十分でない場合は、「既存の情報に基づいて、この質問に答えることはできません」と明確に述べてください。回答を捏造しないでください。

これにより、モデルが幻覚を生成する可能性が低減します。

方法 2: 例を追加する

Few-Shot Prompting メソッドを使用して、モデルが模倣するための質問と回答の例をプロンプトに追加します。これにより、モデルが取得したナレッジを正しく使用するように誘導します。次の例では Qwen-Plus を使用しています。

# Requirement
Please extract the technical specifications from the text below and display them in JSON format.
${documents}

# 要件
以下のテキストから技術仕様を抽出し、JSON 形式で表示してください。例で与えられたフィールドに厳密に従ってください。
${documents}

# 例
## 入力: Stardust S9 Pro、画期的な 6.9 インチ 1440 x 3088 ピクセルのアンダースクリーンカメラデザインは、無限の視覚体験をもたらします。512 GB のストレージと 16 GB の RAM のトップ構成は、6000 mAh のバッテリーと 100 W の高速充電技術と組み合わさり、パフォーマンスとバッテリー寿命を両立させ、技術トレンドをリードします。参考価格: 5999 - 6499。
## 出力: { "product":"Stardust S9 Pro", "screen_size":"6.9inch", "ram_size": "16GB", "battery":"6000mAh" }

メソッド 3: コンテンツ デリミタを追加する

取得したテキストチャンクがプロンプトテンプレートにランダムに混在している場合、モデルがプロンプト全体の構造を理解するのは困難です。したがって、プロンプトと ${documents} 変数を明確に分離することをお勧めします。

さらに、最良の効果を確保するために、${documents} 変数がプロンプトテンプレートに 1 回だけ 表示されるようにしてください。詳細については、次の表の左側の正しい例をご参照ください。

# 役割
あなたは顧客サービス担当者であり、ユーザーの問題を分析して解決し、ナレッジベースを取得して正確なソリューションを提供することに重点を置いています。

# 要件
**結果を直接返す**: ユーザーのプロンプトとナレッジベースの内容に基づいて、推論なしで直接結果を提供してください。
**返される結果に特定の連絡先情報を含めない**: 返される結果には、ユーザーのプロンプトの要約、関連する当直担当者の名前、およびその責任のみを含める必要があります。
**デフォルトの連絡先**: 関連する当直担当者が見つからない場合は、「本日の当直担当者: Model Studio カスタマーサービス 01」を返してください。

# ナレッジベース
以下の資料を覚えておいてください。質問に答えるのに役立つ場合があります。
${documents}

# 役割
あなたは顧客サービス担当者であり、ユーザーの問題を分析して解決し、ナレッジベースを取得して正確なソリューションを提供することに重点を置いています。
回答を支援するために ${documents} の情報を使用してください。

# 要件
**結果を直接返す**: ユーザーのプロンプトとナレッジベースの内容に基づいて、推論なしで直接結果を提供してください。
**返される結果に特定の連絡先情報を含めない**: 返される結果には、ユーザーのプロンプトの要約、関連する当直担当者の名前、およびその責任のみを含める必要があります。
**デフォルトの連絡先**: 関連する当直担当者が見つからない場合は、「本日の当直担当者: Model Studio カスタマーサービス 01」を返してください。

# ナレッジベース
以下の資料を覚えておいてください。質問に答えるのに役立つ場合があります。
${documents}