Platform for AI (PAI) のLVM-Caption-Frames Mapper (DLC) コンポーネントを使用して、ビデオテキストを生成します。 MP4ビデオのみを処理できます。
サポートされるコンピューティングリソース
アルゴリズム
LVM-Caption-Frames Mapper (DLC) コンポーネントは、Bootstrapped Language Image Pretraining (BLIP) モデルを使用して、サンプリングされたビデオフレームに基づいてビデオテキストを生成します。
入力と出力
入力ポート
ファイルデータの読み取りコンポーネントは、トレーニングデータが保存されているObject Storage Service (OSS) パスを読み取るために使用されます。
OSSデータパスパラメーターを設定して、ビデオデータが保存されているOSSディレクトリを選択したり、ビデオメタデータファイルを選択したりできます。 詳細については、次のセクションのパラメーターの説明をご参照ください。
LVMデータ処理 (DLC) の任意のコンポーネントを入力として使用できます。
出力ポート
結果。 詳細については、次のセクションのパラメーターの説明をご参照ください。
コンポーネントの設定
Machine Learning DesignerでLVM-Caption-Frames Mapper (DLC) コンポーネントのパラメーターを設定できます。 下表に、各パラメーターを説明します。
タブ | パラメーター | 必須 | 説明 | デフォルト値 | |
フィールド設定 | ビデオデータOSSパス | 選択可能 | このコンポーネントを初めて実行するときにアップストリームコンポーネントが存在しない場合は、ビデオデータが保存されているOSSディレクトリを手動で選択する必要があります。 コンポーネントが実行されると、このパラメーターで指定されたディレクトリの上位ディレクトリにビデオメタデータファイルvideo_meta.jsonlが生成されます。 後でコンポーネントを使用してビデオデータを処理する場合は、video_meta.jsonlファイルを直接選択できます。 | デフォルト値なし | |
出力ファイルOSSパス | 必須 | 結果が保存されるOSSディレクトリ。 結果には次のファイルが含まれます。
| デフォルト値なし | ||
出力ファイル名 | 必須 | 結果のファイル名。 | result.jsonl | ||
Parameter Settings | 候補キャプションの数 | 必須 | フレームごとに生成されるテキスト候補の数。 | 1 | |
サンプリングされたフレームの数 | 必須 | サンプリングされるビデオフレームの数。 システムは、ビデオ持続時間に基づいて分析のためにビデオ内のフレームを均等に収集する。 | 3 | ||
実行チューニング | リソースグループの選択 | パブリックリソースグループ | 選択可能 | 使用するインスタンスタイプ (CPUまたはGPU) と仮想プライベートクラウド (VPC) 。 アルゴリズムのGPUインスタンスタイプを選択する必要があります。 | デフォルト値なし |
専用リソースグループ | 選択可能 | 使用するvCPU、メモリ、共有メモリ、およびGPUの数。 | デフォルト値なし | ||
最大実行時間 (秒) | 選択可能 | コンポーネントを実行できる最大期間。 指定した時間を超えた場合は, ジョブを終了します。 | デフォルト値なし | ||