対応するテキストとのマッチングスコアが低すぎる画像データをフィルタリングし、画像生成モデルのトレーニングデータの品質を確保します。
サポート対象のコンピューティングリソース
仕組み
このコンポーネントは、blip-itm-base-coco モデルを使用して、画像とトレーニングデータ内の説明テキスト (サンプルトレーニングデータ ファイル内の <__dj__image> フィールドの後のコンテンツ) との間のマッチングスコアを計算します。しきい値を下回るスコアの画像は除外されます。トレーニングデータファイルの形式は次のとおりです：
入力データには JSON Lines (.jsonl) ファイル を使用します。text フィールドでは、「<__dj__image>」と「<|__dj__eoc|>」が画像の説明の開始と終了を示します。
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<__dj__image> optional image caption <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<__dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<__dj__image> a person pointing to a piece of wood on the ground\n"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"xxx":"yyy"}-
images： 画像の OSS パス。 -
text： 画像の説明テキスト。
入力と出力
入力ポート
-
[OSS データの読み取り] コンポーネントを使用して、OSS パスからトレーニングデータファイルを読み取ります。
-
[Image Data OSS Path] パラメーターを設定して、トレーニングデータファイルを選択します。
トレーニングデータファイルの詳細については、「仕組み」をご参照ください。
出力ポート
フィルタリング結果を出力します。詳細については、以下のパラメーター表をご参照ください。
コンポーネントの設定
Designer のパイプラインに [画像テキストマッチングスコアによる LVM フィルター (DLC)] コンポーネントを追加し、右側のパネルでそのパラメーターを設定します。
|
パラメータータイプ |
パラメーター |
必須 |
説明 |
デフォルト値 |
|
|
フィールド設定 |
Image data OSS path |
いいえ |
トレーニングデータファイル。必要な形式については、「仕組み」をご参照ください。 |
なし |
|
|
OSS path for output file |
はい |
出力ファイルを格納する OSS ディレクトリです。結果には、次のファイルが含まれます：
|
なし |
||
|
Output file name |
はい |
フィルタリング結果ファイルの名前。 |
result.jsonl |
||
|
パラメーター設定 |
画像とテキストのマッチングスコアの最小値 |
はい |
画像とテキストのペアを保持するための最小スコア。この値を下回るペアは破棄されます。 |
0.1 |
|
|
画像とテキストのマッチングスコアの最大値 |
はい |
画像とテキストのペアを保持するための最大スコア。この値を上回るペアは破棄されます。通常は 1 に設定します。 |
1 |
||
|
実行チューニング |
リソースグループの選択 |
パブリックリソースグループ |
いいえ |
インスタンス仕様と VPC を選択します。 このコンポーネントには GPU インスタンスが必要です。 |
なし |
|
専用リソースグループ |
いいえ |
CPU コア数、メモリサイズ、共有メモリサイズ、GPU 数を指定します。 |
なし |
||
|
最大実行時間 |
いいえ |
最大実行時間。この制限を超えるとジョブは終了されます。 |
なし |
||