LVM-Image-NSFW Filter (DLC) コンポーネントは、NSFW コンテンツに対して画像をスコアリングし、設定されたしきい値を超えた画像を除外します。このコンポーネントを画像生成モデルの学習前のデータクリーニングステップとして使用することで、学習データの品質を向上させます。
仕組み
コンポーネントは、ディレクトリパスまたはメタデータファイルのいずれかから、Object Storage Service (OSS) の画像データを読み込みます。
各画像の NSFW スコアを計算します。
設定された NSFW Score Threshold を上回るスコアの画像を除外します。
保持された画像と統計情報を、指定された OSS の出力ディレクトリに書き込みます。
前提条件
開始する前に、以下が準備できていることを確認してください。
フィルタリング対象の画像データを含む OSS バケット
出力を保存するための OSS ディレクトリ
リソースグループで利用できる GPU インスタンスタイプ (スコアリングアルゴリズムで必要)
入力ポート
このコンポーネントは、以下のいずれかのソースからの入力を受け付けます。
シナリオ | 入力ソース |
初回実行 (上流コンポーネントなし) | [Image Data OSS Path] パラメーターに、画像を含む OSS ディレクトリを設定します |
2 回目以降の実行 | [Image Data OSS Path] に、初回実行時に親ディレクトリに生成された |
パイプライン統合 | 任意の画像データ前処理コンポーネントを上流入力として接続します |
コンポーネントをディレクトリパスで初めて実行すると、そのパスの親ディレクトリに meta.jsonl メタデータファイルが生成されます。2 回目以降の実行では、meta.jsonl を直接渡すことで、ディレクトリの再スキャンをスキップできます。
出力ポート
コンポーネントは、OSS Directory for Saving OutputData で指定された OSS ディレクトリにフィルタリング結果を書き込みます。出力には以下が含まれます。
ファイル | 説明 |
| フィルタリング後の出力データセット。ファイル名は [Output Filename] で設定されます (デフォルト： |
| 状態ファイル。 |
| アルゴリズムの実行時に使用された YAML 設定。 |
コンポーネントの設定
ビジュアルモデリングで以下のパラメーターを設定します。
フィールド設定
パラメーター | 必須 | デフォルト | 説明 |
[Image Data OSS Path] | いいえ | — | 画像を含む OSS ディレクトリ、または前回の実行で生成された |
[OSS Directory for Saving OutputData] | いいえ | — | フィルタリング結果が保存される OSS ディレクトリ。 |
[Output Filename] | いいえ |
| 出力ファイルのベース名。統計ファイル名は、このベース名に |
パラメーター設定
パラメーター | 必須 | デフォルト | 説明 |
[NSFW Score Threshold] | はい |
| NSFW スコアがこの値を超えた画像は除外されます。しきい値を低くするとより厳格になり、保持される画像の数が少なくなります。しきい値を高くするとより寛容になり、保持される画像の数が多くなります。 |
実行チューニング
パラメーター | 必須 | デフォルト | 説明 |
[Number of Processes] | いいえ |
| プロセス数。 |
[Single-node/Distributed] | いいえ |
| シングルノードモードまたはマルチノードモード。デフォルト値： single-node。マルチノードモードは Ray フレームワークのみをサポートします。 |
[Select Resource Group] | いいえ | — | パブリックリソースグループまたはリソースクォータを選択します (分散モードを使用する場合は、ヘッドノードとワーカーノードのリソースパラメーターを個別に設定する必要があります)。
|
[Maximum Running Duration (seconds)] | いいえ | — | ジョブがこの値より長く実行された場合、そのジョブは終了します。 |