Data Transmission Service:Conectar o OSS a uma base de conhecimento do RAGFlow

Pré-requisitos

Você possui crie uma base de conhecimento do RAGFlow no DTS e configure uma lista de permissões de IP.

Tipos de arquivo suportados

• DOC, DOCX, PPT, PPTX, YML, XML, HTML, JSON, CSV, TXT, XLS, XLSX, WPS, RTF, MD, SQL

• JPG, JPEG, PNG

• INI

• MP3

Antes de começar

1. Crie um AccessKey e anote o AccessKey ID e o AccessKey secret.

   Nota

   Se você utilizar um AccessKey criado por um usuário RAM, verifique se esse usuário possui a permissão AliyunOSSReadOnlyAccess (acesso somente leitura ao OSS) ou AliyunOSSFullAccess (acesso total de gerenciamento ao OSS).

2. Obtenha e registre as informações do seu bucket do OSS, incluindo o nome do bucket e o ID da região.

   1. Faça login no console do OSS.

   2. No painel de navegação à esquerda, clique em Buckets.

   3. Localize o bucket desejado.

   4. Anote o Bucket Name do bucket selecionado.

   5. Com base na Region do bucket alvo, encontre e registre o ID da região correspondente.

Procedimento

1. Obtenha o arquivo KBSync.

   Nota

   Para obter o arquivo KBSync, entre no grupo do DingTalk (ID: 79690034672) e contate o suporte técnico.

2. Prepare o ambiente de execução para o programa KBSync.

   Nota

   O programa KBSync deve ser executado em um ambiente Linux com acesso de rede tanto ao OSS quanto ao RAGFlow.

3. Prepare o arquivo config.

   1. Crie um arquivo de sistema Linux chamado config.

   2. Copie o código abaixo para o arquivo config.

      whiteList=
      blackList=
      sinkType=RagFlow
      sourceType=OSS
      
      ragflowUrl=http://XX.XX.XX.XX
      ragflowApiKey=Bearer ragflow-Rh******
      ragflowDatasetId=******
      
      sourceOSSAccessKeyId=******
      sourceOSSAccessKeySecret=******
      sourceOSSRegion=cn-beijing
      sourceOSSBucket=kbsync

   3. Atualize os parâmetros no arquivo config.

      Importante

      • Deixe o valor vazio caso um parâmetro não seja necessário.

      • O parâmetro blackList tem prioridade sobre o parâmetro whiteList.

      Parâmetro	Obrigatório	Descrição	Origem
      whiteList	Não	Caminhos de arquivos ou pastas a serem incluídos (lista de permissões) ou excluídos (lista de bloqueios), abrangendo caminhos de pastas no DingTalk Drive e documentos dentro da base de conhecimento. Nota Expressões regulares são suportadas. Separe múltiplos caminhos com espaços.	Obtenha o caminho no OSS.
      blackList
      sinkType	Sim	Tipo de destino.	Defina este parâmetro como RagFlow.
      sourceType		Tipo de origem.	Defina este parâmetro como OSS.
      ragflowUrl		Endereço do endpoint do RAGFlow (API server).	Obtenha o endereço do servidor de API do RAGFlow
      ragflowApiKey		Chave de API da base de conhecimento do RAGFlow. Importante O valor deve começar com Bearer . Exemplo: Bearer ragflow-RhMjc0NjFhNTZmNTExZjBiYWY****.	Obtenha a chave de API do RAGFlow
      ragflowDatasetId		ID da base de conhecimento do RAGFlow.	Obtenha o ID da base de conhecimento do RAGFlow
      sourceOSSAccessKeyId		AccessKey ID registrado anteriormente.	Antes de começar
      sourceOSSAccessKeySecret		AccessKey secret registrado anteriormente.
      sourceOSSRegion		ID da região do OSS registrado anteriormente.
      sourceOSSBucket		Nome do bucket do OSS registrado anteriormente.

4. Coloque o arquivo KBSync e o arquivo de configuração config no mesmo diretório em um ambiente Linux.

5. No seu ambiente Linux, execute o comando ./KBSync --config config para iniciar o programa KBSync.

   A execução correta do programa KBSync é indicada por uma saída semelhante à seguinte.

   INFO config SourceType=OSS, SinkType=RagFlow
   INFO config whiteList=, blackList=
   INFO config ragflowUrl=http://XX.XX.XX.XX ragflowApiKey=Bearer ragflow-Rh******
   INFO config ragflowDatasetId=b2******
   INFO config sourceOssKeyId=******, sourceOssRegion=cn-beijing
   INFO Verifying RAGFlow connection...
   INFO Attempting to list datasets to validate the connection...
   INFO Successfully found matching dataset: Name='test', ID='b2******'
   INFO RAGFlow connection verified successfully.

Apêndice