インテリジェントプロダクションは、動画編集、ライブ編集、テンプレートファクトリー、インテリジェントタスク、インテリジェントメディア処理、デジタルヒューマン、音声クローニング、ワンクリック動画生成、動画翻訳など、メディアコンテンツを制作・処理する機能を提供します。
概要
インテリジェントプロダクションは、Intelligent Media Services (IMS) における、動画、音声、画像コンテンツを制作・処理するための機能群です。以下に、このページで扱う各機能について説明します。
動画編集 — 動画、音声、画像、テキスト素材から動画を制作し、フレームレベルの編集や、デジタルヒューマンによる配信、トランジション、フィルター、ステッカーなどのエフェクトを利用できます。
ライブ編集 — Alibaba Cloud のライブストリームを録画、分割、編集し、分割結果を動画エディターにインポートできます。
テンプレートファクトリー — 頻繁に使用する編集スタイルを通常テンプレートまたは高度なテンプレートとして保存し、テンプレート内の素材を置き換えることで新しい動画を制作できます。
インテリジェントタスク — 素材から字幕、吹き替え、透過背景マッティング結果、アニメーションチャートを自動生成できます。
インテリジェントプロダクション (メディア処理) — 音声、動画、画像コンテンツを、インテリジェントサムネイル、横縦変換、画像マッティング、ポートレートマッティング、ロゴぼかし、字幕除去、字幕抽出、サビ検出、ビート検出などの機能で処理できます。
デジタルヒューマン — 実在の人物の外観を学習したデジタルヒューマンを生成し、テキストまたは音声で駆動することで、実在の人物による配信をシミュレートできます。
音声クローニング — 実在の人物の音声をもとに音声モデルをトレーニングし、そのクローン音声でスピーチを合成できます。
ワンクリック動画生成 — プリセットのスクリプトまたはナレーションテキストに基づいて、素材を自動選択し、動画を生成できます。
動画翻訳 — 動画内の字幕を指定された言語に翻訳し、多言語での配信を実現できます。
動画編集
動画編集は、プロフェッショナルなオンライン動画制作機能を提供します。さまざまな動画、音声、テキスト素材を使用して、魅力的な動画を生成できます。動画編集は、分割、結合、クロップ、回転などの画像処理、テキストまたは音声駆動によるデジタルヒューマン配信、トランジション、フィルター、エフェクト、ステッカー、アニメーションテキストなどのコンテンツ強化機能に対応しています。また、スクリプトを使用してバックグラウンドで複数のタスクを同時に処理することもできます。
ファイルソース
Alibaba Cloud Object Storage Service (OSS)、ApsaraVideo VOD、ローカルのメディアアセットに対応しています。ローカルのメディアアセットは、OSS または ApsaraVideo VOD にアップロードする必要があります。
試用
IMS コンソールで機能をお試しいただけます。詳細については、「動画編集」をご参照ください。
機能一覧
以下の表で、動画編集の各機能について説明します。
タイプ | 機能 | 説明 | |
素材処理 | 一般 | 対応する素材トラック数 | デフォルトで 100 の素材トラックに対応しています。特別な要件がある場合は、DingTalk グループ 84650000851 に参加して技術サポートまでお問い合わせください。 |
素材タイプ | 動画、音声、画像、テキスト素材に対応しています。 | ||
素材の分割、削除、結合 | 対応しています。 | ||
編集精度 | フレーム単位での編集が可能です。 | ||
動画、音声、画像 | 画像プレビュー | 対応しています。 | |
再生速度設定 | 対応しています。 | ||
色調調整 | 対応しています。 | ||
リサイズと位置調整に対応する素材タイプ | 動画と画像素材がリサイズと位置調整に対応しています。 | ||
クロップに対応する素材タイプ | 動画と画像素材がクロップに対応しています。 | ||
フェードイン・フェードアウトに対応する素材タイプ | 動画と音声素材がフェードイン・フェードアウトに対応しています。 | ||
音量調整に対応する素材タイプ | 動画と音声素材が音量調整に対応しています。 | ||
デジタルヒューマン | 駆動モード | テキストまたは音声駆動によるデジタルヒューマン配信に対応しています。 | |
字幕 | 字幕形式 | テキスト、自動音声認識 (ASR)、Advanced SubStation Alpha (ASS) 形式に対応しています。 | |
スタイル設定 | フォント、フォントサイズ、色、ワードアートを設定できます。カスタムフォントファイルにも対応しています。 | ||
配置モード | 左揃え、中央揃え、右揃えに対応しています。 | ||
アニメーション効果 | エントランス、イグジット、ループのアニメーション効果に対応しています。 | ||
美化 | ビジュアルエフェクト | 複数のビジュアルエフェクトに対応しています。詳細については、「ビジュアルエフェクトのサンプル」をご参照ください。 | |
フィルター効果 | 複数のフィルター効果に対応しています。詳細については、「フィルター効果のサンプル」をご参照ください。 | ||
トランジション効果 | 複数のトランジション効果に対応しています。詳細については、「トランジション効果のサンプル」をご参照ください。 | ||
ステッカー効果 | 複数のステッカー効果に対応しています。 | ||
編集と制作 | 定義 | 解像度 | カスタム解像度に対応しています。最大解像度は 4K です。デフォルトの解像度は、入力素材に基づいて動的に計算されます。 |
ビットレート | カスタムビットレートに対応しています。デフォルトのビットレートは、入力素材に基づいて動的に計算されます。 | ||
コールバック | N/A | Simple Message Queue (SMQ、旧 MNS) のキューと HTTP リクエストによるコールバック方式に対応しています。出力動画に対してコールバックを設定できます。詳細については、「コールバックの設定」をご参照ください。 |
ライブ編集
ライブ編集は、Live to VOD とライブストリーム分割に対応しています。ライブストリームエディターは通常のエディターと統合されており、ライブストリームの分割結果を通常のエディターに直接インポートして詳細な編集を行うことができます。
ファイルソース
Alibaba Cloud ApsaraVideo Live のアクティブストリーム。
試用
IMS コンソールで機能をお試しいただけます。詳細については、「ライブ編集」をご参照ください。
機能一覧
以下の表で、ライブ編集の機能について説明します。
機能 | 説明 |
ライブストリームの種類 | Alibaba Cloud のライブストリームを編集できます。 |
スケジュール編集 | 録画や編集の開始時刻をスケジュールできます。 |
分割 | 分割の開始時刻と終了時刻を設定できます。確認後、分割が完了します。 |
コールバック | SMQ キューによるコールバック方式に対応しています。 |
詳細編集 | 分割結果の詳細な編集に対応しています。動画編集機能を使用して、より細かい編集を行えます。 |
テンプレートファクトリー
テンプレートファクトリーを使用すると、頻繁に使用する編集スタイルをテンプレートとして保存できます。テンプレート内の素材を置き換えるだけで、類似した効果を持つ新しい動画を迅速に制作できます。
通常テンプレート：動画編集プロジェクトのタイムラインに基づいて作成されるテンプレートです。タイムライン内の複数の素材がオーバーレイされ、マージされます。通常テンプレートでは、画像から動画への変換、アルバム、イントロ・アウトロセグメント、デフォルトのウォーターマークなどの効果を実現できます。
高度なテンプレート：Adobe After Effects (AE) に基づいて作成されるテンプレートです。複雑なアニメーション効果を設定して、高度なメディア効果を実現できます。
必要な効果に基づいてテンプレートタイプを選択してください。画像から動画への変換などのタイムラインベースの効果には通常テンプレートを、複雑な AE ベースのアニメーションには高度なテンプレートを使用します。
ファイルソース
Alibaba Cloud OSS、ApsaraVideo VOD、ローカルのメディアアセットに対応しています。ローカルのメディアアセットは、OSS または ApsaraVideo VOD にアップロードする必要があります。
試用
IMS コンソールで機能をお試しいただけます。詳細については、「テンプレートファクトリー」をご参照ください。
公式テンプレートとカスタムテンプレート
IMS では、公式テンプレートに加え、ユーザーが独自のテンプレートを作成する機能も提供しています。詳細については、「公式テンプレートとカスタムテンプレート」をご参照ください。
機能一覧
以下の表で、テンプレートファクトリーの機能について説明します。
テンプレートタイプ | 操作 | 機能 | 説明 |
通常テンプレート | テンプレートの作成 | 動的素材の指定 | 対応しています。動的素材として指定されていない素材は、固定素材となります。 |
動的素材の時間適応条件の指定 | 対応しています。置き換え素材の長さが動的素材の配置箇所の長さより長い場合、自動分割や、後続素材を遅延させてスムーズに接続するオプションを利用できます。短い場合は、ブラックフレームの追加、後続素材を前倒ししてスムーズに接続、末尾への無音フレーム追加のオプションを利用できます。 | ||
動的素材の空間適応条件の指定 | 対応しています。置き換え素材のサイズが動的素材の配置箇所のサイズと一致しない場合、黒帯の自動追加、カスタム背景色、背景ぼかしのオプションを利用できます。 | ||
プリセット制作パラメータ | 対応しています。制作する動画のデフォルト解像度とビットレートを指定できます。 | ||
テンプレートの使用 | 動的素材の置き換え | 対応しています。 | |
テンプレートベースの編集タスクの送信 | 対応しています。動的素材を置き換えるための素材とテンプレートIDを送信することで、テンプレートベースの編集ソリューションを使用して新しい動画を制作できます。 | ||
高度なテンプレート | テンプレートの作成 | テンプレート効果の作成 | 対応しています。複数の AE プラグインが利用可能です。AE プラグインを使用すると、動画のトランジションやエフェクトといった画像効果を豊かにすることができます。詳細については、「」をご参照ください。詳細については、「」をご参照ください。 |
動的素材の指定 | 対応しています。動的素材として指定されていない素材は、固定素材となります。 | ||
インターフェーススタイルを置き換えるための動的素材の指定 | 対応しています。編集グループと装飾画像を設定できます。ユーザーが作成するページでテンプレートが使用されると、インテリジェントプロダクションが編集グループと装飾画像を一元的に配布します。 | ||
テンプレートの使用 | 動的素材の置き換え | 対応しています。 | |
テンプレートベースの編集タスクの送信 | 対応しています。動的素材を置き換えるための素材とテンプレートIDを送信することで、テンプレートベースの編集ソリューションを使用して新しい動画を制作できます。 |
インテリジェントタスク
インテリジェントタスクは、動画、音声、テキストといった様々な視聴覚素材から、動画を自動制作するのを支援するタスクを提供します。
ファイルソース
Alibaba Cloud OSS、ApsaraVideo VOD、ローカルのメディアアセットに対応しています。ローカルのメディアアセットは、OSS または ApsaraVideo VOD にアップロードする必要があります。
機能一覧
インテリジェント字幕生成
音声ファイルや動画内の音声を、テキストコンテンツと時間情報を含む字幕情報に変換できます。
インテリジェント字幕生成には、「インテリジェント字幕生成」と「字幕のクイック編集と修正」の2つの機能があります。字幕を生成するには、 [Speech Recognition Subtitles] をクリックして認識を開始します。フォントサイズ、ストローク、背景色、位置などのスタイルパラメーターを設定できます。「字幕のクイック編集と修正」機能では、認識された字幕テキストを行ごとに編集・修正できます。
インテリジェント吹き替え
テキストを音声に変換できます。吹き替えの声の種類や速度を設定できます。
画像マッティング
グリーンスクリーン画像からオブジェクトを切り抜いて、背景が透明な動画または画像を生成できます。
インテリジェントチャート
Excel テーブルやルールベースのデータを使用して、再生可能なアニメーションチャート動画を生成できます。円グラフ、折れ線グラフ、縦棒グラフ、カスタムチャートに対応しています。
インテリジェントプロダクション (メディア処理)
インテリジェントプロダクション (メディア処理) は、さまざまな形式のメディアコンテンツ処理・生成機能を提供します。対応している機能には、インテリジェントサムネイル、横縦変換、画像マッティング、ポートレートマッティング、ロゴぼかし、字幕除去、字幕抽出、サビ検出、ビート検出などがあります。これらの機能により、メディアコンテンツ制作の効率と品質が向上します。
以下の表で、インテリジェントプロダクション (メディア処理) の機能について説明します。
タイプ | 機能 | 説明 |
音声処理 | サビ検出 | サビ部分の時間情報を抽出できます。 |
ビート検出 | 音楽の中から複数レベルのビートポイントを分析・識別できます。 | |
インテリジェントオーディオミキシング | ボーカルや音楽など、複数のタイプの音声を処理できます。 | |
音声品質検出 | 無音や音の途切れ (スタッタリング) など、入力音声の問題を識別できます。 | |
インテリジェントノイズリダクション | 高い音声忠実度を維持しながら、ノイズをフィルタリングできます。 | |
ボーカルと伴奏の分離 | ボーカルと伴奏を2つの独立した音声ファイルに迅速に分離できます。 | |
動画処理 | インテリジェントサムネイル | カバー画像とアニメーションカバーに対応しています。 |
動画要約 | 動画からハイライトクリップを抽出し、それらをマージして代表的な5秒間のダイジェスト動画を作成できます。 | |
字幕抽出 | 中国語と英語の字幕を認識・抽出できます。 | |
字幕除去 | 動画や画像内のテキスト字幕をインテリジェントに検出して除去できます。 | |
ロゴぼかし | ロゴをぼかして、ロゴが追加される前の元の状態に動画を復元できます。 | |
横縦変換 | 横向きで撮影された動画を、モバイルデバイスでの縦向き再生に適した動画に変換できます。 | |
画像マッティング | 動画フレームから前景と背景を分析・抽出できます。 | |
動画レタッチ | 顔を自動検出し、スムージング、美白、血色効果などでレタッチできます。 | |
画像処理 | ロゴぼかし | ロゴをぼかして、ロゴが追加される前の元の状態に画像を復元できます。 |
横縦変換 | 横向きの画像を、モバイルデバイスでの縦向き閲覧に適した画像に変換できます。 | |
顔スタイル化 | アニメ風、アメコミ風などのスタイルに対応しています。 |
デジタルヒューマン
デジタルヒューマンは、実在の人物の外観を学習・トレーニングし、テキストまたは音声で駆動することで、実在の人物による配信をシミュレートします。これにより、インタラクティブな体験を提供するインテリジェントな仮想人間が生成されます。
以下の機能が提供されています。
カスタムトレーニング
アルゴリズムトレーニングを通じて、実在の人物の外観をデジタルモデルに変換します。これにより、以降の利用では実在の人物による撮影が不要になり、アルゴリズムによって人物の動画を合成できます。詳細については、「カスタムトレーニング」をご参照ください。
合成
トレーニング済みのデジタルヒューマンの外観を使用して動画を合成します。詳細については、「合成」をご参照ください。
音声クローニング
音声クローニングは、実在の人物の音声を学習・トレーニングすることで、パーソナライズされた音声クローニングを実現します。これにより、効率的で便利な音声合成体験が提供されます。
以下の機能が提供されています。
カスタム音声トレーニング
アルゴリズムトレーニングを通じて、実在の人物の音声をデジタルモデルに変換します。これにより、以降の利用では実在の人物による録音が不要になり、アルゴリズムによってその人物の音声を合成できます。詳細については、「カスタム音声トレーニング」をご参照ください。
音声合成
トレーニング済みの音声モデルを使用して音声を合成します。詳細については、「音声合成」をご参照ください。
サンプル
詳細については、「音声サンプル」をご参照ください。
ワンクリック動画生成
ワンクリック動画生成は、自動化された動画制作機能です。プリセットのスクリプトまたはナレーションテキストに基づき、素材をインテリジェントに選択して、動画を自動生成します。
以下の生成モードが提供されています。
スクリプトベースの自動生成
スクリプトベースの自動生成は、動画の構成が明確で、対応する素材が用意されている場合に適しています。動画の構成をプリセットし、対応する素材を関連付けます。その後、システムは構成の順序に沿って素材を配置し、各ノードでランダムに素材を選択し、ナレーションスクリプトを組み合わせて長さを調整します。1回のバッチ処理で最大100本の異なる動画を生成できます。詳細については、「スクリプトベースの自動生成」をご参照ください。
インテリジェントテキスト・メディアマッチング
インテリジェントテキスト・メディアマッチングは、ナレーションテキストに基づいて素材ライブラリからセグメントをインテリジェントに切り出し、それらを結合して動画を作成する場合に適しています。ナレーションテキストの各文に対し、システムは素材ライブラリからセグメントをインテリジェントに切り出して動画を制作します。詳細については、「インテリジェントテキスト・メディアマッチング」をご参照ください。
インテリジェント検索ベースの生成
大量の素材があり、独自のインスピレーションとアイデアに基づいて動画を作成したい場合は、インテリジェント検索ベースの生成が適しています。詳細については、「インテリジェント検索ベースの生成」をご参照ください。
サンプル
参考のために豊富なサンプルが提供されています。詳細については、「サンプル」をご参照ください。
動画翻訳
字幕レベルの翻訳に対応しています。動画に表示される字幕を指定の言語に翻訳できます。これにより、多言語への字幕変換が容易になり、異なる地域や文化的背景を持つ視聴者のニーズに応えます。
以下の機能が提供されています。
動画字幕翻訳
動画内の字幕コンテンツを指定の言語に翻訳できます。
OCR 機能により、字幕の位置を特定し、動画内の字幕をインテリジェントに認識して翻訳します。
SRT ファイルなどの字幕ファイルをアップロードして翻訳できます。
字幕除去とカスタムポジショニング
字幕除去機能が提供されています。元の動画内の字幕をインテリジェントに認識して除去できます。
字幕除去エリアを指定して、翻訳された字幕が他のコンテンツと重ならないようにすることができます。
翻訳された字幕の位置とスタイルをカスタマイズして、視聴体験を向上させることができます。
二次編集のサポート
翻訳中に、二次編集機能を有効にするかどうかを選択できます。
この機能を有効にすると、システムは処理中に生成されたすべての中間ファイルを保持し、後続の編集や制作で利用できる編集プロジェクトを生成します。
動画翻訳の使用方法の詳細については、「動画翻訳」をご参照ください。