すべてのプロダクト
Search

このプロダクト

    Platform For AI:GitHub コード向け LLM データ処理 (DLC)

    ドキュメントセンター

    Platform For AI:GitHub コード向け LLM データ処理 (DLC)

    最終更新日:Jul 18, 2026

    PAI 大規模言語モデル (LLM) データ処理コンポーネントを使用して、GitHub コードデータをクリーニングします。本トピックでは、オープンソースの RedPajama-Data レコードを使用したサンプルワークフローを通じて、機密情報のマスキング、テキスト正規化、長さおよび繰り返しフィルタリング、重複排除を説明します。

    DLC コンポーネントは分散型 Ray フレームワーク上で実行され、インテリジェント集約をサポートすることで、不要なストレージ操作を削減し、リソース利用率を向上させます。詳細については、「大規模モデル向けデータ処理コンポーネントのグループ化」をご参照ください。

    データセット

    プリセットテンプレートでは、オープンソースプロジェクト RedPajama-Data から抽出された 5,000 サンプルのデータセットを使用します。

    ワークフローの作成と実行

    1. Visualized Modeling (Designer) ページに移動します。

      1. PAI コンソール にログインします。

      2. 左上隅で、ご利用のリージョンを選択します。

      3. 左側のナビゲーションウィンドウで、ワークスペースリスト を選択し、開きたいワークスペースの名前をクリックします。

      4. 左側のナビゲーションウィンドウで、モデル開発とトレーニング > 可視化モデリング (Designer) を選択します。

    2. ワークフローを作成します。

      1. 事前定義テンプレート タブで、ビジネスドメイン > LLM の下にある GitHub コード向け LLM データ処理 - DLC コンポーネント テンプレートカードの 作成 をクリックします。

      2. ワークフローのパラメーターを設定するか、デフォルト設定を使用し、OK をクリックします。

      3. ワークフローリストで作成したワークフローを選択し、ワークフローへ をクリックします。

    3. ワークフローの説明：

      ワークフロー内の主要アルゴリズムコンポーネント：

      • LLM-Sensitive Content Mask (DLC)-1

        content フィールド内の機密情報をマスキングします。例：

        • メールアドレス文字列を [EMAIL] に置換します。

        • 電話番号を [TELEPHONE] または [MOBILEPHONE] に置換します。

        • ID 番号を [IDNUM] に置換します。

      • LLM-Clean Special Content (DLC)-1

        content フィールドから URL を削除します。

      • LLM-Text Normalizer (DLC)-1

        content フィールドのテキストに Unicode 正規化を適用します。

      • LLM-Clean Copyright Information (DLC)-1

        content フィールドから著作権情報を削除します。

      • LLM-Count Filter (DLC)-1

        content フィールドが指定された英数字文字の比率、またはアルファベット文字とテキストトークンの比率を満たさないサンプルを削除します。GitHub コードデータは主に英数字で構成されるため、このコンポーネントにより低品質なサンプルを効果的にフィルタリングできます。

      • LLM-Length Filter (DLC)-1

        content フィールドの長さ、平均行長、最大行長に基づいてサンプルをフィルタリングします。平均行長および最大行長は、content フィールドを改行文字 (\n) で分割して計算されます。

      • LLM-N-Gram Repetition Filter (DLC)-1

        content フィールドの文字レベルおよび単語レベルの N-gram 繰り返し比率に基づいてサンプルをフィルタリングします。単語レベルの計算前に、すべての単語は小文字に変換されます。サイズ N のスライドウィンドウにより gram のシーケンスが生成され、繰り返し比率は 2 回以上出現する gram の頻度の合計 / 全ての gram の頻度の合計 で表されます。

      • LLM-Length Filter (DLC)-2

        content フィールドの長さに基づいてサンプルをフィルタリングします。

      • LLM-Document Deduplicator (DLC)-1

        設定された window_size、num_blocks、および hamming_distance の値に基づいて類似サンプルを削除します。

    4. ワークフローを実行します。

      ワークフローの完了後、LLM-Document Deduplicator (DLC)-1 コンポーネントを右クリックし、[データの表示] > [出力データ (OSS)] を選択して、前述のコンポーネントによって処理されたデータを確認します。

      OSS ファイルリストには、pai_output_data_flow_tdjpk9ztiewm404h48_node_cftghqhnpnjl8cbs8a.jsonl のような JSONL ファイルが出力されます。

    関連トピック

    • LLM アルゴリズムコンポーネントの詳細については、「LLM データ処理 (DLC)」をご参照ください。