LLM - センシティブキーワードフィルター (DLC) コンポーネントは、入力データからセンシティブキーワードを含むテキストエントリを除外します。デフォルトで 12,000 を超えるセンシティブキーワードを認識します。また、カスタムキーワードファイルを提供して独自のセットを定義することもできます。このコンポーネントは検出されたセンシティブキーワードを返すこともできるため、どのキーワードがフィルターをトリガーしたかを特定できます。
このコンポーネントは Deep Learning Containers (DLC) 上で実行され、Machine Learning Designer のパイプラインページで設定します。
前提条件
以下の要件が満たされていることを確認してください。
Machine Learning Designer にアクセスできる PAI ワークスペースがあること。
入力データが Object Storage Service (OSS) バケットに保存されていること。
入力データファイルは JSON Lines (JSONL) 形式であること。 詳細については、「入力データ形式」をご参照ください。
(オプション) デフォルトのリストの代わりにカスタムキーワードリストを使用する場合は、センシティブキーワードファイルをご用意ください。 詳細については、「センシティブキーワードのファイル形式」をご参照ください。
入力データ形式
OSS の入力データファイルは JSON Lines (JSONL) 形式で、以下の要件を満たす必要があります。
ファイル内の各行は、有効な JSON オブジェクトであること。
ファイルには複数行の JSON オブジェクトが含まれていること。
ファイル自体は有効な JSON オブジェクトでは ない こと。
有効な JSON Lines 入力ファイルの例については、サンプルデータファイルをご参照ください。
センシティブキーワードのファイル形式
カスタムのセンシティブキーワードファイルを提供する場合は、次の形式に従う必要があります。
センシティブキーワード 1
センシティブキーワード 2
センシティブキーワード 3
...各キーワードを改行 (\n) で区切ります。各行に 1 つの機密キーワードを記述します。
コンポーネントの設定
Machine Learning Designer のパイプラインページで、[LLM-機密キーワードフィルター (DLC)] コンポーネントをパイプラインに追加し、そのパラメーターを設定します。パラメーターは、次のタブにまとめられています。
フィールド設定
パラメーター | 必須 | 説明 | デフォルト値 |
Text Field Name | はい | 各 JSON オブジェクトで処理するフィールドの名前。 | 該当なし |
batch_size | いいえ | データ処理のバッチサイズ。 | 1000 |
OSS Directory for Saving OutputData | いいえ | 出力データを格納する OSS ディレクトリ。 指定しない場合は、デフォルトのワークスペースパスが使用されます。 | ワークスペースのデフォルトパス |
Sensitive Keywords File | いいえ | センシティブキーワードファイルのパス。 空の場合、デフォルトのセンシティブキーワードリストが使用されます。 ファイル形式については、「センシティブキーワードのファイル形式」をご参照ください。 | デフォルトのセンシティブキーワードリスト |
注: 「フィールド設定」タブには、ワークスペースが OSS へのアクセスを承認したかどうかを示す [OSS RAM Role Setting] のステータスも表示されます。
チューニング
パラメーター | 必須 | 説明 | デフォルト値 |
Number of Processes | いいえ | 並列プロセスの数。 | 8 |
single/multi nodes | いいえ | ノードの実行モードです。1 つのノードで実行するには [単一ノード] を、複数のノードに処理を分散するには [複数ノード] を選択します。 | single node |
リソースグループの選択
コンポーネントのコンピューティングリソースを設定します。
パラメーター | 必須 | 説明 | デフォルト値 |
Select Resource Group | いいえ | 使用するリソースグループ。共有リソースを使用する場合は[パブリックリソースグループ]を、ワークスペース用に設定された専用リソースグループを使用する場合は[専用リソースグループ]を選択します。 | Public Resource Group |
Node Type | いいえ | コンピューティングノードのタイプ。[CPU]または[GPU]を選択し、ドロップダウンリストからインスタンスタイプを選択します。 | CPU |
Nodes | いいえ | コンピューティングノードの数。[マルチノード] が選択されている場合にのみ設定可能です。 | 1 |
VPC Settings | いいえ | コンピューティングリソースの VPC。 | 該当なし |
Maximum Running Duration (seconds) | いいえ | 最大実行時間 (秒)。 この時間を超えると、ジョブは終了されます。 | 該当なし |