Container Service for Kubernetes：使用Dify快速構建AI問答助手

複製代碼倉庫。通過Git命令複製對應的Dify代碼倉庫。

git clone https://github.com/langgenius/dify-docs.git

語料整理。為了方便語料後續的向量化處理，可以通過以下Python代碼對已擷取的Dify代碼倉庫中的.md檔案進行合并整理。

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
import os


def merge_markdown_files_from_directory(root_dir, output_file):
    """
    merge_markdown_files_from_directory 函數
      1.功能：合并指定目錄下所有.md檔案的內容到一個輸出檔案中。
      2.參數：
        root_dir：指定的根目錄路徑。
        output_file：輸出檔案的路徑。
      3.實現步驟：
        使用 os.walk 遍曆 root_dir 目錄及其子目錄。
        檢查每個檔案是否以 .md 結尾，如果是，則將其路徑添加到 markdown_files 列表中。
        開啟 output_file 並逐個讀取 markdown_files 中的每個檔案內容，將其寫入 output_file。
    """
    markdown_files = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.md'):
                markdown_files.append(os.path.join(root, file))

    with open(output_file, 'w', encoding='utf-8') as outfile:
        for file_path in markdown_files:
            with open(file_path, 'r', encoding='utf-8') as infile:
                outfile.write(infile.read())
                # outfile.write('\n\n')

               
def process_and_write_markdown(file_path: str, headers_to_split_on: list, chunk_size: int, chunk_overlap: int, output_file: str):
    """
    process_and_write_markdown 函數
      1.功能：
        處理單個 Markdown 檔案內容，根據指定的頭部和分塊規則拆分文本，並將處理結果寫入新檔案。
      2.參數：
        file_path：輸入的 Markdown 檔案路徑。
        headers_to_split_on：一個列表，包含頭部層級的元組，如 [("#", "Header 1"), ("##", "Header 2")]。
        chunk_size：每個文字區塊的最大長度。
        chunk_overlap：文字區塊之間的重疊長度。
        output_file：輸出檔案的路徑。
      3.實現步驟：
        讀取 file_path 中的 Markdown 檔案內容。
        建立 MarkdownHeaderTextSplitter 對象，根據 headers_to_split_on 拆分 Markdown 內容。
        建立 RecursiveCharacterTextSplitter 對象，根據 chunk_size 和 chunk_overlap 進一步拆分文本。
        開啟 output_file，並將每個拆分後的文字區塊的中繼資料和內容寫入檔案。
    """
    try:
        # 讀取 file_path 中的 Markdown 檔案內容。
        with open(file_path, "r", encoding="utf-8") as doc:
            markdown_content = doc.read()

        # 建立 MarkdownHeaderTextSplitter 對象，根據 headers_to_split_on 拆分 Markdown 內容。
        splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on, strip_headers=True)
        md_splits = splitter.split_text(markdown_content)

        # 建立 RecursiveCharacterTextSplitter 對象，根據 chunk_size 和 chunk_overlap 進一步拆分文本。
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
        splits = text_splitter.split_documents(md_splits)

        # 開啟 output_file，並將每個拆分後的文字區塊的中繼資料和內容寫入檔案。
        with open(output_file, "w") as f:
            for line in splits:
                f.write(str(line.metadata))
                f.write("\n")
                f.write(line.page_content)
                f.write("\n\n\n\n")

    except FileNotFoundError:
        raise FileNotFoundError(f"The file {file_path} does not exist.")


# 樣本用法
if __name__ == "__main__":
    """
     1.設定參數：
      root_directory：指定的根目錄路徑。
      merged_file_path：合并後的 Markdown 檔案路徑。
      output_file：最終處理後的輸出檔案路徑。
      headers_to_split_on：頭部層級列表。
      chunk_size 和 chunk_overlap：文字區塊大小和重疊長度。
    2.執行步驟：
      調用 merge_markdown_files_from_directory 合并所有 .md 檔案到 merged_file_path。
      調用 process_and_write_markdown 處理合并後的檔案，並將結果寫入 output_file。
      通過這些步驟，整個指令碼實現了從多個 Markdown 檔案的合并到最終處理和輸出的過程。
    """
    
    # 待處理的檔案夾路徑
    root_directory = 'path/to/dify-docs/en'
    # 合并後的檔案路徑
    merged_file_path = './merged_markdown.md'
    # 清洗後的檔案路徑
    output_file = './dify_doc.md'
    
    merge_markdown_files_from_directory(root_directory, merged_file_path)
    headers_to_split_on = [
        ("#", "Header 1"),
        ("##", "Header 2"),
        ("###", "Header 3"),
    ]
    chunk_size = 500
    chunk_overlap = 50
    process_and_write_markdown(merged_file_path, headers_to_split_on, chunk_size, chunk_overlap, output_file)

將整理好的語料檔案dify_doc.md上傳至知識庫。