Data Transmission Service:OSS を RAGFlow ナレッジベースに接続する

前提条件

DTS で RAGFlow ナレッジベースを作成済み であり、IP ホワイトリストを設定済み である必要があります。

サポートされるファイル形式

• DOC、DOCX、PPT、PPTX、YML、XML、HTML、JSON、CSV、TXT、XLS、XLSX、WPS、RTF、MD、SQL

• JPG、JPEG、PNG

• INI

• MP3

事前準備

1. AccessKey を作成 し、AccessKey ID および AccessKey Secret を記録します。

   説明

   RAM ユーザーが作成した AccessKey を使用する場合は、その RAM ユーザーに AliyunOSSReadOnlyAccess（OSS の読み取り専用アクセス）または AliyunOSSFullAccess（OSS の完全管理アクセス）の権限が付与されていることを確認してください。

2. OSS バケット情報を取得し、バケット名およびリージョン ID を記録します。

   1. OSS コンソール にログインします。

   2. 左側のナビゲーションウィンドウで、バケット をクリックします。

   3. 対象のバケットを見つけます。

   4. 対象バケットの バケット名 を記録します。

   5. 対象バケットの リージョン に基づき、対応する リージョン ID を調べて記録します。

操作手順

1. KBSync ファイルを取得します。

   説明

   DingTalk グループ（ID：79690034672）に参加し、テクニカルサポートに連絡して KBSync ファイルを取得できます。

2. KBSync プログラムの実行環境を準備します。

   説明

   KBSync プログラムは、OSS および RAGFlow の両方にネットワークアクセス可能な Linux 環境で実行する必要があります。

3. config ファイルを準備します。

   1. config という名前の Linux システムファイルを作成します。

   2. 次のコードを config ファイルにコピーします。

      whiteList=
      blackList=
      sinkType=RagFlow
      sourceType=OSS
      
      ragflowUrl=http://XX.XX.XX.XX
      ragflowApiKey=Bearer ragflow-Rh******
      ragflowDatasetId=******
      
      sourceOSSAccessKeyId=******
      sourceOSSAccessKeySecret=******
      sourceOSSRegion=cn-beijing
      sourceOSSBucket=kbsync

   3. config ファイル内のパラメーターを更新します。

      重要

      • パラメーターが不要な場合は、値を空のままにしてください。

      • blackList パラメーターは、whiteList パラメーターよりも優先度が高くなります。

      パラメーター	必須	説明	取得元
      whiteList	いいえ	ホワイトリスト（含める）またはブラックリスト（除外する）対象のファイルまたはフォルダのパス。DingTalk Drive 内のフォルダパスおよびナレッジベース内のドキュメントパスを含みます。 説明 正規表現がサポートされています。複数のパスを指定する場合は、スペースで区切ってください。	OSS からパスを取得します。
      blackList
      sinkType	はい	シンクタイプ。	このパラメーターを RagFlow に設定します。
      sourceType		ソースタイプ。	このパラメーターを OSS に設定します。
      ragflowUrl		RAGFlow エンドポイント（API サーバー）のアドレス。	RAGFlow API サーバーのアドレスを取得する
      ragflowApiKey		RAGFlow ナレッジベースの API キー。 重要 値は Bearer で始まる必要があります。例： Bearer ragflow-RhMjc0NjFhNTZmNTExZjBiYWY****。	RAGFlow API キーを取得する
      ragflowDatasetId		RAGFlow ナレッジベースの ID。	RAGFlow ナレッジベース ID を取得する
      sourceOSSAccessKeyId		記録した AccessKey ID。	事前準備
      sourceOSSAccessKeySecret		記録した AccessKey Secret。
      sourceOSSRegion		記録した OSS リージョン ID。
      sourceOSSBucket		記録した OSS バケット名。

4. Linux 環境内で、KBSync ファイルと config 設定ファイルを同じディレクトリに配置します。

5. Linux 環境で、./KBSync --config config コマンドを実行して KBSync プログラムを起動します。

   KBSync プログラムが正常に実行されると、次のような出力が表示されます。

   INFO config SourceType=OSS, SinkType=RagFlow
   INFO config whiteList=, blackList=
   INFO config ragflowUrl=http://XX.XX.XX.XX ragflowApiKey=Bearer ragflow-Rh******
   INFO config ragflowDatasetId=b2******
   INFO config sourceOssKeyId=******, sourceOssRegion=cn-beijing
   INFO Verifying RAGFlow connection...
   INFO Attempting to list datasets to validate the connection...
   INFO Successfully found matching dataset: Name='test', ID='b2******'
   INFO RAGFlow connection verified successfully.

付録