Platform For AI:LVM-画像テキスト類似度フィルタリング (DLC)

サポート対象のコンピューティングリソース

DLC

アルゴリズム

clip-vit-base-patch32 モデルを使用して、画像の説明とトレーニングデータ内の説明テキストとの間の類似度を計算します。説明テキストは、サンプル トレーニングデータ ファイル内の <_dj__image> タグに続く内容です。このプロセスでは、類似度の低い画像をフィルタリングして画質を確保します。これは、後続の画像生成モデルをトレーニングするための一般的なステップです。トレーニングデータファイルの形式は以下のとおりです。

入力データは JSONL ファイル である必要があります。'text' フィールドでは、<_dj__image> と <|__dj__eoc|> がそれぞれ画像の説明の開始と終了を示します。

{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image1.jpg"],"text":"<_dj__image> オプションの画像キャプション <|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image2.jpg"],"text":"<_dj__image><|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image3.jpg"],"text":"<_dj__image> a person pointing to a piece of wood on the ground<|__dj__eoc|>"}
{"images":["oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image4.jpg", "oss://bucket_name.oss-cn-hangzhou.aliyuncs.com/image/data/image5.jpg"],"text":"<_dj__image> 複数の画像を含むサンプル <|__dj__eoc|>"}

• 'images' フィールドには、画像の OSS パスが含まれます。

• 'text' フィールドには、上記の「アルゴリズム」セクションで説明したテキストが含まれます。

入力と出力

入力ポート

• [OSS データの読み取り] コンポーネントを使用して、OSS パスからトレーニングデータファイルを読み取ります。

• [画像データの OSS パス] パラメーターを設定して、トレーニングデータファイルを選択します。

トレーニングデータの形式の詳細については、「アルゴリズム」をご参照ください。

出力ポート

このポートはフィルタリングされた結果を出力します。詳細については、以下のパラメーターの説明をご参照ください。

コンポーネントの設定

[デザイナー] ワークフローで、[LVM-Image Text Similarity Filtering (DLC)] コンポーネントを追加し、右側のペインでそのパラメーターを設定します。