対応するテキストとのマッチングスコアが低すぎる画像データをフィルタリングで除外し、画像生成モデルのトレーニングデータの品質を確保します。
サポート対象のコンピューティングリソース
仕組み
このコンポーネントは、blip-itm-base-coco モデルを使用して、トレーニングデータ (サンプル トレーニングデータ ファイルの <__dj__image> フィールドの後の内容) 内の画像と説明テキストとのマッチングスコアを計算します。 スコアがしきい値を下回る画像は除外されます。 トレーニングデータファイルの形式は次のとおりです：
入力データは JSON Lines (.jsonl) ファイル です。text フィールドでは、"<__dj__image>" と "<|__dj__eoc|>" は画像の説明の開始と終了を示します。
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<__dj__image> optional image caption <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<__dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<__dj__image> a person pointing to a piece of wood on the ground\n"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"xxx":"yyy"}-
images：画像への OSS パスです。 -
text：画像の説明テキストです。
入力と出力
入力ポート
-
[OSS データの読み取り] コンポーネントを使用して、OSS パスからトレーニングデータファイルを読み取ります。
-
[画像データ OSS パス] パラメーターで、トレーニングデータファイルを選択します。
トレーニングデータファイルの詳細については、「仕組み」をご参照ください。
出力ポート
フィルタリングされた結果を出力します。 詳細については、以下のパラメーターテーブルをご参照ください。
コンポーネントの設定
[LVM-画像テキストマッチングスコアによるフィルタリング (DLC)] コンポーネントを Designer のパイプラインに追加し、右側のパネルでそのパラメーターを設定します。
|
パラメータータイプ |
パラメーター |
必須 |
説明 |
デフォルト値 |
|
|
フィールド設定 |
画像データ OSS パス |
いいえ |
トレーニングデータファイルです。 必要な形式については、「仕組み」をご参照ください。 |
なし |
|
|
出力データ保存 OSS ディレクトリ |
いいえ |
出力ファイル用の OSS ディレクトリです。 結果には、次のファイルが含まれます：
|
なし |
||
|
出力ファイル名 |
いいえ |
フィルタリングされた結果ファイルの名前です。 |
result.jsonl |
||
|
パラメーター設定 |
テキストと画像の最小マッチングスコア |
はい |
画像とテキストのペアを保持するための最小スコアです。この値を下回るスコアのペアは破棄されます。 |
0.1 |
|
|
テキストと画像の最大マッチングスコア |
はい |
画像とテキストのペアを保持するための最大スコアです。この値を上回るスコアのペアは破棄されます。通常は 1 に設定します。 |
1 |
||
|
実行チューニング |
プロセス数 |
いいえ |
プロセス数を設定します。 |
4 |
|
|
シングル/マルチノード |
いいえ |
シングルノードまたはマルチノード モード。 デフォルト値： single-node。 マルチノード モードは Ray フレームワークのみをサポートします。 |
single-node |
||
|
リソースグループの選択 |
いいえ |
パブリックリソースグループまたはリソースクォータを選択します (分散モードを使用する場合は、ヘッドとワーカーのリソースパラメーターを個別に設定する必要があります)：
|
なし |
||
|
最大実行時間 |
いいえ |
最大実行時間です。 この制限を超えると、ジョブは終了されます。 |
なし |
||