：Bangun asisten AI tanya jawab dengan cepat menggunakan Dify

Klon repositori kode. Jalankan perintah Git untuk mengklon repositori kode Dify yang sesuai.

git clone https://github.com/langgenius/dify-docs.git

Atur korpus. Untuk memudahkan vektorisasi korpus selanjutnya, gunakan skrip Python berikut untuk menggabungkan dan mengatur file .md di repositori kode Dify yang diperoleh.

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
import os


def merge_markdown_files_from_directory(root_dir, output_file):
    """
    Fungsi merge_markdown_files_from_directory
      1. Fungsi: Menggabungkan konten semua file .md dalam direktori tertentu ke dalam satu file output.
      2. Parameter:
        root_dir: Path ke direktori root yang ditentukan.
        output_file: Path ke file output.
      3. Implementasi:
        Menggunakan os.walk untuk menelusuri direktori root_dir beserta subdirektorinya.
        Memeriksa apakah setiap file berakhiran .md. Jika ya, path-nya ditambahkan ke daftar markdown_files.
        Membuka output_file dan menulis konten setiap file dari markdown_files ke dalamnya.
    """
    markdown_files = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.md'):
                markdown_files.append(os.path.join(root, file))

    with open(output_file, 'w', encoding='utf-8') as outfile:
        for file_path in markdown_files:
            with open(file_path, 'r', encoding='utf-8') as infile:
                outfile.write(infile.read())
                # outfile.write('\n\n')

               
def process_and_write_markdown(file_path: str, headers_to_split_on: list, chunk_size: int, chunk_overlap: int, output_file: str):
    """
    Fungsi process_and_write_markdown
      1. Fungsi:
        Memproses konten satu file Markdown, membagi teks berdasarkan header dan aturan chunking yang ditentukan, lalu menulis hasilnya ke file baru.
      2. Parameter:
        file_path: Path file Markdown input.
        headers_to_split_on: Daftar yang berisi tupel level header, seperti [("#", "Header 1"), ("##", "Header 2")].
        chunk_size: Panjang maksimum setiap chunk teks.
        chunk_overlap: Panjang overlap antar chunk teks.
        output_file: Path file output.
      3. Langkah implementasi:
        Membaca konten file Markdown dari file_path.
        Membuat objek MarkdownHeaderTextSplitter untuk membagi konten Markdown berdasarkan headers_to_split_on.
        Membuat objek RecursiveCharacterTextSplitter untuk membagi teks lebih lanjut berdasarkan chunk_size dan chunk_overlap.
        Membuka output_file dan menulis metadata serta konten setiap chunk teks yang terbagi ke dalam file tersebut.
    """
    try:
        # Membaca konten file Markdown dari file_path.
        with open(file_path, "r", encoding="utf-8") as doc:
            markdown_content = doc.read()

        # Membuat objek MarkdownHeaderTextSplitter untuk membagi konten Markdown berdasarkan headers_to_split_on.
        splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on, strip_headers=True)
        md_splits = splitter.split_text(markdown_content)

        # Membuat objek RecursiveCharacterTextSplitter untuk membagi teks lebih lanjut berdasarkan chunk_size dan chunk_overlap.
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
        splits = text_splitter.split_documents(md_splits)

        # Membuka output_file dan menulis metadata serta konten setiap chunk teks yang terbagi ke dalam file tersebut.
        with open(output_file, "w") as f:
            for line in splits:
                f.write(str(line.metadata))
                f.write("\n")
                f.write(line.page_content)
                f.write("\n\n\n\n")

    except FileNotFoundError:
        raise FileNotFoundError(f"File {file_path} tidak ditemukan.")


# Contoh
if __name__ == "__main__":
    """
     1. Atur parameter:
      root_directory: Path ke direktori root yang ditentukan.
      merged_file_path: Path untuk file Markdown yang digabungkan.
      output_file: Path untuk file output yang telah diproses.
      headers_to_split_on: Daftar level header.
      chunk_size dan chunk_overlap: Ukuran dan panjang overlap untuk chunk teks.
    2. Langkah eksekusi:
      Panggil merge_markdown_files_from_directory untuk menggabungkan semua file .md ke merged_file_path.
      Panggil process_and_write_markdown untuk memproses file yang digabungkan dan menulis hasilnya ke output_file.
      Langkah-langkah ini menyelesaikan proses skrip, dari penggabungan beberapa file Markdown hingga pemrosesan akhir dan output.
    """
    
    # Path ke folder yang akan diproses
    root_directory = 'path/to/dify-docs/en'
    # Path untuk file yang digabungkan
    merged_file_path = './merged_markdown.md'
    # Path untuk file yang telah dibersihkan
    output_file = './dify_doc.md'
    
    merge_markdown_files_from_directory(root_directory, merged_file_path)
    headers_to_split_on = [
        ("#", "Header 1"),
        ("##", "Header 2"),
        ("###", "Header 3"),
    ]
    chunk_size = 500
    chunk_overlap = 50
    process_and_write_markdown(merged_file_path, headers_to_split_on, chunk_size, chunk_overlap, output_file)

Unggah file korpus yang telah disiapkan dify_doc.md ke basis pengetahuan.