Container Service for Kubernetes:Dify を使用して AI 搭載の Q&A アシスタントを作成する

Git リポジトリのクローンを作成します。 git clone コマンドを実行して、Dify Git リポジトリ をオンプレミス マシンにクローンします。

git clone https://github.com/langgenius/dify-docs.git

コーパスファイルを処理します。コーパスのテキスト ベクトル化を可能にするには、次の Python コードを使用して、Git リポジトリ内の .md ファイルをマージできます。

from langchain_text_splitters import MarkdownHeaderTextSplitter, RecursiveCharacterTextSplitter
import os


def merge_markdown_files_from_directory(root_dir, output_file):
    """
    merge_markdown_files_from_directory 関数
      1. 説明：指定されたディレクトリにあるすべての .md ファイルを 1 つの出力ファイルにマージします。
      2. パラメーター：
        root_dir：ルートディレクトリ。
        output_file：出力ファイルのディレクトリ。
      3. 手順：
        os.walk() メソッドを使用して、ルートディレクトリとそのサブディレクトリを走査します。
        ファイルの接尾辞が .md の場合、ファイルのパスを markdown_files リストに追加します。
        出力ファイルを開き、markdown_files リストの各ファイルからデータを読み取り、出力ファイルにデータを書き込みます。
    """
    markdown_files = []
    for root, dirs, files in os.walk(root_dir):
        for file in files:
            if file.endswith('.md'):
                markdown_files.append(os.path.join(root, file))

    with open(output_file, 'w', encoding='utf-8') as outfile:
        for file_path in markdown_files:
            with open(file_path, 'r', encoding='utf-8') as infile:
                outfile.write(infile.read())
                # outfile.write('\n\n')

               
def process_and_write_markdown(file_path: str, headers_to_split_on: list, chunk_size: int, chunk_overlap: int, output_file: str):
    """
    process_and_write_markdown 関数
      1. 説明：
        指定されたヘッダーとチャンク規則に基づいて .md ファイルのテキストをチャンクし、チャンクされたテキストを出力ファイルに書き込みます。
      2. パラメーター：
        file_path：.md ファイルのパス。
        headers_to_split_on：ヘッダーを含むタプル。例： [("#", "Header 1"), ("##", "Header 2")]。
        chunk_size：チャンクの最大サイズ。
        chunk_overlap：2 つの連続するチャンク間のオーバーラップ部分のサイズ。
        output_file：出力ファイルのディレクトリ。
      3. 手順：
        file_path パラメーターで指定されたパスにある .md ファイルからデータを読み取ります。
        headers_to_split_on タプルに基づいて .md ファイルのテキストをチャンクする MarkdownHeaderTextSplitter を作成します。
        chunk_size パラメーターと chunk_overlap パラメーターに基づいてテキストをさらにチャンクする RecursiveCharacterTextSplitter を作成します。
        出力ファイルを開き、チャンクのメタデータとコンテンツを出力ファイルに書き込みます。
    """
    try:
        # file_path パラメーターで指定されたパスにある .md ファイルからデータを読み取ります。
        with open(file_path, "r", encoding="utf-8") as doc:
            markdown_content = doc.read()

        # headers_to_split_on タプルに基づいて .md ファイルのテキストをチャンクする MarkdownHeaderTextSplitter を作成します。
        splitter = MarkdownHeaderTextSplitter(headers_to_split_on=headers_to_split_on, strip_headers=True)
        md_splits = splitter.split_text(markdown_content)

        # chunk_size パラメーターと chunk_overlap パラメーターに基づいてテキストをさらにチャンクする RecursiveCharacterTextSplitter を作成します。
        text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
        splits = text_splitter.split_documents(md_splits)

        # 出力ファイルを開き、チャンクのメタデータとコンテンツを出力ファイルに書き込みます。
        with open(output_file, "w") as f:
            for line in splits:
                f.write(str(line.metadata))
                f.write("\n")
                f.write(line.page_content)
                f.write("\n\n\n\n")

    except FileNotFoundError:
        raise FileNotFoundError(f"The file {file_path} does not exist.")


# 例：
if __name__ == "__main__":
    """
     1. 次のパラメーターを設定します。
      root_directory：ルートディレクトリ。
      merged_file_path：マージされたコンテンツを含む .md ファイルのパス。
      output_file：出力ファイルのパス。
      headers_to_split_on：ヘッダーのリスト。
      chunk_size と chunk_overlap：チャンクサイズと、2 つの連続するチャンク間のオーバーラップ部分のサイズ。
    2. 手順：
      merge_markdown_files_from_directory 関数を呼び出して、すべての .md ファイルを merged_file_path パラメーターで指定されたパスにある 1 つの .md ファイルにマージします。
      process_and_write_markdown 関数を呼び出して、マージされたコンテンツを含むファイルを処理し、ファイルのデータを出力ファイルに書き込みます。
      スクリプトは上記の手順を実行して、複数の .md ファイルをマージし、ファイルの内容を処理し、マージされたコンテンツを出力ファイルにエクスポートします。
    """
    
    # 処理対象のディレクトリ。
    root_directory = 'path/to/dify-docs/en'
    # マージされたコンテンツを含むファイルのパス。
    merged_file_path = './merged_markdown.md'
    # データクレンジング後の出力ファイルのパス。
    output_file = './dify_doc.md'
    
    merge_markdown_files_from_directory(root_directory, merged_file_path)
    headers_to_split_on = [
        ("#", "Header 1"),
        ("##", "Header 2"),
        ("###", "Header 3"),
    ]
    chunk_size = 500
    chunk_overlap = 50
    process_and_write_markdown(merged_file_path, headers_to_split_on, chunk_size, chunk_overlap, output_file)

dify_doc.md コーパスファイルをナレッジベースにアップロードします。