Data Transmission Service：Tutorial: Hubungkan OSS ke basis pengetahuan RAGFlow DTS

Prasyarat

Anda telah membuat basis pengetahuan RAGFlow di DTS dan mengonfigurasi daftar putih IP.

Jenis file yang didukung

• DOC, DOCX, PPT, PPTX, YML, XML, HTML, JSON, CSV, TXT, XLS, XLSX, WPS, RTF, MD, dan SQL

• JPG, JPEG, dan PNG

• INI

• MP3

Persiapan

1. Buat Pasangan Kunci Akses dan catat ID AccessKey serta Rahasia AccessKey.

   Catatan

   Jika Anda menggunakan Pasangan Kunci Akses yang dibuat oleh Pengguna Resource Access Management (RAM), Pengguna RAM tersebut harus diberikan izin read-only (AliyunOSSReadOnlyAccess) atau izin manajemen (AliyunOSSFullAccess) untuk Object Storage Service (OSS).

2. Peroleh dan catat informasi Bucket OSS, termasuk nama bucket dan ID Wilayah.

   1. Masuk ke Konsol OSS.

   2. Di panel navigasi sebelah kiri, klik Buckets.

   3. Temukan bucket tujuan.

   4. Catat Bucket Name dari bucket target.

   5. Catat Region dari bucket target, lalu temukan dan catat ID Wilayah-nya.

Prosedur

1. Peroleh file KBSync.

   Catatan

   Anda dapat bergabung dengan grup DingTalk (ID: 79690034672) dan menghubungi helpdesk untuk memperoleh file KBSync.

2. Siapkan lingkungan runtime untuk program KBSync.

   Catatan

   Program KBSync harus berjalan di lingkungan Linux yang dapat mengakses OSS dan RAGFlow.

3. Siapkan file konfigurasi config.

   1. Buat file Linux bernama config.

   2. Salin kode berikut ke dalam file config.

      whiteList=
      blackList=
      sinkType=RagFlow
      sourceType=OSS
      
      ragflowUrl=http://XX.XX.XX.XX
      ragflowApiKey=Bearer ragflow-Rh******
      ragflowDatasetId=******
      
      sourceOSSAccessKeyId=******
      sourceOSSAccessKeySecret=******
      sourceOSSRegion=cn-beijing
      sourceOSSBucket=kbsync

   3. Ganti parameter dalam file config.

      Penting

      • Jika suatu parameter tidak memerlukan konfigurasi, biarkan nilainya kosong.

      • Parameter blackList memiliki prioritas lebih tinggi daripada parameter whiteList.

      Parameter	Diperlukan	Deskripsi	Cara memperoleh
      whiteList	Tidak	Jalur file yang akan ditransfer (daftar putih) dan file yang akan dikecualikan (daftar hitam). Ini mencakup jalur folder dan dokumen di OSS. Catatan Ekspresi reguler didukung. Pisahkan beberapa jalur dengan spasi.	Peroleh dari OSS.
      blackList
      sinkType	Ya	Jenis sink.	Nilainya harus RagFlow.
      sourceType		Jenis sumber.	Nilainya harus OSS.
      ragflowUrl		Alamat RAGFlow (API Server).	Dapatkan titik akhir API basis pengetahuan RAGFlow
      ragflowApiKey		Kunci API untuk basis pengetahuan RAGFlow. Penting Harus dimulai dengan Bearer , contohnya, Bearer ragflow-RhMjc0NjFhNTZmNTExZjBiYWY****.	Dapatkan kunci API basis pengetahuan RAGFlow
      ragflowDatasetId		ID basis pengetahuan RAGFlow.	Dapatkan ID basis pengetahuan RAGFlow
      sourceOSSAccessKeyId		ID AccessKey yang Anda catat di bagian Persiapan.	Persiapan
      sourceOSSAccessKeySecret		Rahasia AccessKey yang Anda catat di bagian Persiapan.
      sourceOSSRegion		ID wilayah OSS yang Anda catat di bagian Persiapan.
      sourceOSSBucket		Nama bucket OSS yang Anda catat di bagian Persiapan.

4. Letakkan file KBSync dan file konfigurasi config di folder yang sama di lingkungan Linux.

5. Di lingkungan Linux, jalankan perintah ./KBSync --config config untuk memulai program KBSync.

   Jika output serupa dengan berikut ini, program KBSync berjalan dengan benar.

   INFO config SourceType=OSS, SinkType=RagFlow
   INFO config whiteList=, blackList=
   INFO config ragflowUrl=http://XX.XX.XX.XX ragflowApiKey=Bearer ragflow-Rh******
   INFO config ragflowDatasetId=b2******
   INFO config sourceOssKeyId=******, sourceOssRegion=cn-beijing
   INFO Memverifikasi koneksi RAGFlow...
   INFO Mencoba mencantumkan dataset untuk memvalidasi koneksi...
   INFO Berhasil menemukan dataset yang cocok: Nama='test', ID='b2******'
   INFO Koneksi RAGFlow diverifikasi dengan sukses.

Lampiran