Platform For AI:ナレッジベース管理

仕組み

LangStudio のナレッジベースの主な機能は、OSS データソースのファイルを大規模言語モデルが取得できる形式に変換することです。このワークフローは、3 つのコアステップで構成されます。

1. データの読み取りとチャンク化：指定した OSS パスからソースファイルを読み取ります。

   • 非構造化ドキュメント：解析され、より小さく意味的に完全なテキストチャンクに分割されます。

   • 構造化データ：行ごとにチャンク化されます。

   • イメージ：チャンク化されず、全体として処理されます。

2. ベクトル化 (埋め込み)：埋め込みモデルを呼び出し、各データチャンクまたはイメージを、その意味内容を表す数値ベクトルに変換します。

3. ストレージとインデックス作成: システムは生成されたベクトルデータをベクトルデータベースに保存し、効率的な取得のためのインデックスを作成します。

クイックスタート：ナレッジベースの作成と使用

このセクションでは、ドキュメントタイプのナレッジベースを作成し、ワークフローで使用するためのクイックガイドを提供します。

1. ナレッジベースの作成。 LangStudio に移動し、ワークスペースを選択します。 Knowledge Base タブで、Create Knowledge Base をクリックします。 次の主要なパラメーターを設定し、他のパラメーターはデフォルト値のままにして、[OK] をクリックします。

   パラメーター		説明
   Basic Configuration	Name	ナレッジベースのカスタム名を入力します。例：test_kg。
   	Data Source OSS Path	ナレッジベースのソースファイルが格納されている場所。例：oss://examplebucket.oss-cn-hangzhou-internal.aliyuncs.com/test/original/。
   	Output OSS Path	ドキュメント解析から生成された中間結果とインデックス情報を格納します。最終的な出力は、選択したベクトルデータベースのタイプによって異なります。例：oss://examplebucket.oss-cn-hangzhou-internal.aliyuncs.com/test/output/。 重要 ランタイムに設定されている [インスタンス RAM ロール] が PAI デフォルトロールである場合、このパラメーターを 現在のワークスペースのデフォルトストレージパス の OSS バケット内のディレクトリに設定することをお勧めします。
   	Type	[ドキュメント] を選択します。
   Embedding Model and Database	Embedding Type	Alibaba Cloud Model Studio Service を選択し (事前に接続を作成しておく必要があります。接続設定をご参照ください)、次に作成した接続とモデルを選択します。
   	Vector Database Type	クイックテストには [FAISS] を選択します。

2. ファイルのアップロード。

   1. Knowledge Base タブで、作成したナレッジベースをクリックします。Overview ページで、[ドキュメント] タブに切り替えます。このタブには、ナレッジベースのデータソースに指定された OSS パスからのドキュメントが表示されます。

   2. ページで Upload ボタンをクリックするか、データソースの OSS パスにファイルを直接アップロードすることで、ファイルを追加または更新できます。 たとえば、ページから rag_test_doc.txt をアップロードできます。 サポートされているファイル形式の詳細については、「ナレッジベースのタイプ」をご参照ください。

      

3. インデックスの更新。ファイルをアップロードした後、右上隅にある Update Index をクリックし、表示されるページで計算リソースとネットワークを設定します。インデックス更新タスクが完了すると、ファイルステータスが「インデックス済み」に変わります。その後、ファイルをクリックしてドキュメントチャンクをプレビューできます。イメージナレッジベースの場合、代わりにイメージのリストが返されます。

   説明

   すでに Milvus に保存されているドキュメントチャンクについては、個別にステータスを有効または無効に設定できます。無効化されたチャンクは取得されません。

   

4. 取得テスト。 インデックスが更新されたら、Recall Test タブに切り替え、質問を入力し、取得パラメーターを調整してパフォーマンスをテストします。

   

5. アプリケーションフローでナレッジベースを使用する。テストが完了したら、アプリケーションフローでナレッジベースから情報を取得できます。ナレッジベースノードでは、クエリ書き換えと結果のリランキング機能を有効にし、ノードの実行詳細で書き換えられたクエリを表示できます。

   

   結果は List[Dict] で、各辞書にはドキュメントチャンクの content と入力クエリとの類似度 score が含まれます。

   [
     {
       "score": 0.8057173490524292,
       "content": "パンデミックによる不確実性のため、XX銀行は中国または中国本土の経済動向と予測に基づき、貸付金、前渡金、および非信用資産の減損損失引当金を積極的に増加させました。また、引当金カバー率を向上させるために、不良資産の償却と処分を増加させました。2020年には、純利益は289億2800万人民元に達し、前年比2.6%増となり、収益性は徐々に改善しました。\n(百万元) 2020 2019 変化率 (%)\n経営成績と収益性\n営業収益 153,542 137,958 11.3\n減損損失前営業利益 107,327 95,816 12.0\n純利益 28,928 28,195 2.6\n経費率(1)(%) 29.11 29.61 0.50 パーセントポイント低下\n総資産利益率 (%) 0.69 0.77 0.08 パーセントポイント低下\n加重平均自己資本利益率 (%) 9.58 11.30 1.72 パーセントポイント低下\n純金利マージン(2)(%) 2.53 2.62 0.09 パーセントポイント低下\n注: (1) 経費率 = 営業経費および管理費 / 営業収益。",
       "id": "49f04c4cb1d48cbad130647bd0d75f***1cf07c4aeb7a5d9a1f3bda950a6b86e",
       "metadata": {
         "page_label": "40",
         "file_name": "2021-02-04_XX_Insurance_Group_Co_Ltd_XX_China_XX_2020_Annual_Report.pdf",
         "file_path": "oss://my-bucket-name/datasets/chatglm-fintech/2021-02-04__XX_Insurance_Group_Co_Ltd__601318__China_XX__2020_Annual_Report.pdf",
         "file_type": "application/pdf",
         "file_size": 7982999,
         "creation_date": "2024-10-10",
         "last_modified_date": "2024-10-10"
       }
     },
     {
       "score": 0.7708036303520203,
       "content": "72億人民元、前年比5.2%増。\n2020\n(百万元) 生命保険・健康保険事業、損害保険事業、銀行事業、信託事業、証券事業、その他資産管理事業、テクノロジー事業、その他事業および連結消去、グループ連結\n親会社の株主に帰属する純利益 95,018 16,083 16,766 2,476 2,959 5,737 7,936 (3,876) 143,099\n少数株主持分 1,054 76 12,162 3 143 974 1,567 281 16,260\n純利益 (A) 96,072 16,159 28,928 2,479 3,102 6,711 9,503 (3,595) 159,359\n除外項目:\n 短期投資の変動(1)(B) 10,308 – – – – – – – 10,308\n 割引率変更の影響 (C) (7,902) – – – – – – – (7,902)\n 経営陣が日常の営業収益および支出の一部ではないとして除外した一時的な重要項目およびその他 (D) – – – – – – 1,282 – 1,282\n営業利益 (E=A-B-C-D) 93,666 16,159 28,928 2,479 3,102 6,711 8,221 (3,595) 155,670\n親会社の株主に帰属する営業利益 92,672 16,",
       "id": "8066c16048bd722d030a85ee8b1***36d5f31624b28f1c0c15943855c5ae5c9f",
       "metadata": {
         "page_label": "19",
         "file_name": "2021-02-04_XX_Insurance_Group_Co_Ltd_XXX_China_XX_2020_Annual_Report.pdf",
         "file_path": "oss://my-bucket-name/datasets/chatglm-fintech/2021-02-04__XX_Insurance_Group_Co_Ltd__601318__China_XX__2020_Annual_Report.pdf",
         "file_type": "application/pdf",
         "file_size": 7982999,
         "creation_date": "2024-10-10",
         "last_modified_date": "2024-10-10"
       }
     }
   ]

機能詳細

取得パラメーターの設定

• Top K: ナレッジベースから取得する関連テキストチャンクの最大数。値の範囲は 1 から 100 です。

• スコアしきい値: 0 から 1 の範囲の類似性スコアのしきい値。このしきい値を超えるスコアを持つチャンクのみが返されます。値が高いほど、テキストとクエリ間の類似性要件が厳しくなります。

• 取得パターン：デフォルトのパターンは Dense (ベクトル検索) です。ハイブリッド検索 (ベクトルとキーワード) を使用したい場合、ベクトルデータベースは Milvus 2.4.x 以降、または Elasticsearch である必要があります。取得パターンの選択方法の詳細については、「取得モードの選択」をご参照ください。

• メタデータフィルター条件：メタデータを使用して取得範囲をフィルタリングし、精度を向上させます。詳細については、「メタデータの使用」をご参照ください。

• クエリ書き換え：大規模言語モデルを使用して、曖昧、口語的、または文脈に依存するユーザークエリを最適化します。このプロセスは、クエリをより明確で完全なものにすることでユーザーの意図を明確にし、取得精度を向上させます。使用シナリオの詳細については、「クエリ書き換え」をご参照ください。

• 結果のリランキング：リランキングモデルを使用して初期の取得結果を再順位付けし、最も関連性の高い結果を先頭に移動させます。使用シナリオの詳細については、「結果のリランキング」をご参照ください。

  説明

  結果のリランキングにはリランキングモデルが必要です。サポートされているモデルサービス接続タイプには、Model Studio 大規模言語モデルサービス、AI Search Open Platform モデルサービス、および一般的なリランカーモデルサービスが含まれます。

トラブルシューティング

インデックス更新またはバージョンクローンタスクが失敗した場合は、次の手順でトラブルシューティングを行ってください：

1. 操作履歴の表示: ナレッジベースの詳細ページで、Operation Records で失敗したタスクを見つけ、[タスクの表示] をクリックします。

2. タスクログの確認：システムは PAI ワークフローページにリダイレクトします。失敗したノードのログを確認してください。たとえば、ドキュメントナレッジベースのインデックスを更新するためのワークフロータスクには、次の 3 つのノードが含まれます。read-oss-file ノードを除き、各ノードは PAI-DLC タスクを作成します。ログの Job URL を使用して DLC タスクの詳細を表示することもできます。

   • read-oss-file: OSS ファイルを読み取ります。

   • rag-parse-chunk: ドキュメントの前処理とチャンク化を処理します。

   • rag-sync-index: テキストチャンクの埋め込みとベクトルデータベースへの同期を処理します。

取得の最適化