すべてのプロダクト
Search

このプロダクト

    Intelligent Media Services:音声/ビデオ通話エージェントの作成

    ドキュメントセンター

    Intelligent Media Services:音声/ビデオ通話エージェントの作成

    最終更新日:Jun 04, 2026

    ワークフローを作成し、エージェントにバインドして、結果をテストすることで、リアルタイム対話型 AI エージェントをセットアップします。

    前提条件

    作業を開始する前に、以下の要件を満たしていることを確認してください。

    • リアルタイム対話型 AI が有効になっていること。この機能を有効にするには、購入ページにアクセスしてください。

    手順 1：音声/ビデオワークフローの作成

    1. Intelligent Media Service (IMS) コンソールにログインし、Create Workflow Template をクリックします。

    2. Audio Call、Avatar Call、Vision Call、または Video Call のいずれかのワークフロー種別を選択し、ワークフローノードを構成します。

      Speech-to-text

      複数言語に対応した音声をテキストに変換します。

      モデルバージョン のオプション：Preset ASR（中国語と英語の混在に推奨、高精度）、NLS-ASR（超低遅延）、Qwen3-ASR-Realtime、および Fun-ASR-Realtime。サイレント時間 のデフォルト値：400 ms。

      • Preset： プリセットモデルでは、言語モデルを選択し、サイレント時間を設定し、カスタムホットワードを構成できます。

        • Model：シナリオに適した言語モデルを選択します。

        • Silent Time：エージェントがユーザーの発話を待機する時間です。

        • Custom Hotword：ドメイン固有の語彙に対する認識精度を向上させます。音声認識ホットワード。

        • Sensitive Words：構成された単語は、クライアント側の字幕で自動的にアスタリスク（*）でマスキングされます。カスタム禁止用語。

      • Third-party Plug-in：現在、iFLYTEK を選択できます。必要なパラメーターを取得するには、iFLYTEK リアルタイム音声書き起こしにアクセスしてください。

      LLM

      LLM は音声認識（STT）の出力を処理し、自然言語による応答を理解・生成します。

      システムペルソナ（ロール、目的、機能、応答要件、制約事項。最大 3,072 文字）および 会話メモリラウンド数（0～30）を構成します。ラウンド数を増やすとより多くのコンテキストを保持できますが、処理時間が長くなる可能性があります。

      サポートされている LLM プロバイダー：Qwen（システムプリセット）、Alibaba Cloud Model Studio、Tongyi Xingchen、および OpenAI 仕様に準拠した自社開発モデル。

      Alibaba Cloud Model Studio

      大規模モデルの開発およびアプリケーション構築のためのプラットフォームです。モデルセンターまたはアプリケーションセンター経由で接続します。

      Tongyi Xingchen

      Tongyi Xingchen は、独自のペルソナを持つ高度にパーソナライズされたエージェントを実現し、アバターを活用したリアルタイム音声インタラクションと組み合わせることが可能です。

      • ModelId： Tongyi Xingchen は以下の 5 種類のモデルを提供しています：xingchen-lite、xingchen-base、xingchen-plus、xingchen-plus-v2、および xingchen-max。

      • API キー： Tongyi Xingchen コンソールにアクセスして、API キーを作成・取得します。

      自社開発モデル

      OpenAI 仕様を使用して、自社開発の大規模モデルを接続します。

      以下のパラメーターを入力します：

      パラメーター

      説明

      例

      ModelId

      モデル名。OpenAI 仕様の model フィールドに対応します。

      abc

      API キー

      API 認証情報。OpenAI 仕様の api_key フィールドに対応します。

      AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI

      モデル URL（HTTPS）

      サービスエンドポイント URL。OpenAI 仕様の base_url フィールドに対応します。

      http://www.abc.com

      LLM 標準インターフェース。

      Text-to-speech

      処理済みテキストを音声に変換し、ユーザーがエージェントの応答を聞けるようにします。

      TTS ノードでは、バージョン（Text-to-Speech 2.0 または Text-to-Speech 1.0（レガシー））を選択し、音色（例：Yunfeng）を設定し、音量（0～100）を調整し、テキストを入力して [プレビュー] をクリックして音声をプレビューします。

      • アプリケーションシナリオに適した音声合成モデルを選択できます。選択肢には、Preset Template、Self-developed Template、および Third-party Plug-in があります。

        • システムプリセットテンプレート：System Default TTS、CosyVoice、および Qwen3-TTS が含まれます。

        • 自社開発テンプレート：標準プロトコル経由で独自モデルを統合します。TTS 標準インターフェース。

        • サードパーティプラグイン：MiniMax Speech Model のみがサポートされています。最新バージョンを使用してください。MiniMax 音声モデル。

      • TTS ノードでは、LLM から受信したコンテンツをフィルタリングすることもできます。

        フィルター設定 で、フィルタリングする括弧の種類を選択します：全角丸括弧（）、半角丸括弧 ()、全角角括弧【】、半角角括弧 []、および半角波括弧 {}。

      • テキスト正規化：テキスト内の数字や記号などの要素を標準化された形式に変換し、合成音声の品質を向上させます。たとえば、「120」は「いち に ぜろ」と変換されます。

      Virtual Avatars

      テキストおよび音声に同期した動作、表情、口の動きを伴うアバターのビデオストリームを生成します。

      ノード名（自動生成）を構成します。入力タイプ：テキストストリーム および オーディオストリーム。出力タイプ：ビデオストリーム。

      アバターノードは現在、Avatar Plug-in または Lingjing Digital Avatar Platform に接続できます。

      • Avatar Plug-in：

        • Faceunity：Faceunity のカスタマーサービスに連絡して、3D アバターサービスを有効化し、AppID、AppKey、および AvatarId を取得する必要があります。

      • Lingjing Digital Avatar Platform：Lingjing デジタルアバタープラットフォームと統合するには、チケットを送信してサービスを有効化する必要があります。

      Video Frame Extraction

      ビデオストリームから画像フレームを抽出します。

      ノード名（自動生成）および フレーム抽出頻度（1～30 フレーム/秒）を構成します。入力：ビデオストリーム。出力：イメージ（Base64 形式）。

      Video Content Recognition

      ビデオコンテンツ内の特定の動作を検出します。

      ビデオコンテンツ認識ノード の構成では、ノード名 を設定し、認識コンテンツ のオプションから選択します：静止フレーム検出、無効フレーム認識、人数カウント、頭部動作認識、電子機器認識、視線逸脱認識、および カスタムモデル検出。カスタムモデル検出 の場合、検出タスク ID（最大 100 文字：数字、英字、ハイフン、アンダースコア。ハイフンおよびアンダースコアは先頭および末尾に使用不可）を入力します。

      Multi-modal LLM

      MLLM は上流ノードからの画像およびテキストを処理し、自然言語による応答を生成します。マルチモーダルモデル または テキスト間モデル を入力モードとして選択します。

      システムペルソナ（ロール、目的、機能、制約事項。最大 3,072 文字）および 会話メモリラウンド数（1～30）を構成します。ラウンド数を増やすとより多くのコンテキストを保持できますが、処理時間が長くなる可能性があります。

      Alibaba Cloud Model Studio

      大規模モデルの開発およびアプリケーション構築のためのプラットフォームです。モデルセンターまたはアプリケーションセンター経由で接続します。

      Tongyi Xingchen

      Tongyi Xingchen は、独自のペルソナを持つ高度にパーソナライズされたエージェントを実現し、アバターを活用したリアルタイム音声インタラクションと組み合わせることが可能です。

      • ModelId： Tongyi Xingchen は以下の 5 種類のモデルを提供しています：xingchen-lite、xingchen-base、xingchen-plus、xingchen-plus-v2、および xingchen-max。

      • API キー： Tongyi Xingchen コンソールにアクセスして、API キーを作成・取得します。

      自社開発モデル

      OpenAI 仕様を使用して、自社開発の大規模モデルを接続します。

      OpenAI 仕様： 以下のパラメーターを入力します：

      パラメーター

      タイプ

      必須

      説明

      例

      ModelId

      String

      Yes

      モデル名。このパラメーターは OpenAI 仕様の model フィールドに対応します。

      abc

      API-KEY

      String

      Yes

      認証情報。このパラメーターは OpenAPI 仕様の api_key フィールドに対応します。

      AUJH-pfnTNMPBm6iWXcJAcWsrscb5KYaLitQhHBLKrI

      モデル URL（HTTPS）

      String

      Yes

      サービスリクエスト URL。このパラメーターは OpenAPI 仕様の base_url フィールドに対応します。

      http://www.abc.com

      1 回の呼び出しあたりの最大画像数

      Integer

      Yes

      一部のマルチモーダル大規模モデルでは、1 回のリクエストで受け取れるビデオフレーム数に制限があります。このパラメーターを設定することで、さまざまなモデルに対応できます。リクエスト中、ビデオフレームはこの値に従って自動的にサンプリングされます。

      15

      MLLM 標準インターフェース。

    3. Save をクリックして、音声/ビデオワークフローを作成します。

    手順 2：音声/ビデオエージェントの作成

    1. Intelligent Media Service (IMS) コンソールにログインし、Create AI Agent をクリックします。

    2. 基本情報を構成し、リアルタイム 音声/ビデオ ワークフローをバインドします。

      1. エージェントが従う音声/ビデオワークフローをバインドします。

        ワークフロー種別（音声通話、アバター通話、ビジョン通話、メッセージベースの会話、またはビデオ通話）を設定し、ワークフロー ID ドロップダウンからワークフローを選択します。

      2. ご利用のアカウント配下に存在する既存の ApsaraVideo Real-time Communication (ARTC) アプリケーションを選択します。存在しない場合は、システムが自動的に作成できます。ApsaraVideo Real-time Communication の概要。

        説明

        リアルタイム対話型 AI は、会話の通信ブリッジとして ARTC アプリケーションに依存しています。

      3. 音声通話ワークフローの場合、通話中に表示されるカスタムイメージをアップロードできます。

        [カスタムエージェントイメージ] を有効化し、[イメージソース] を [イメージ URI の指定] または [イメージのアップロード] に設定し、イメージを提供します。サポートされている形式：GIF、PNG、JPG（最大 3 MB）。

    3. Submit をクリックして、音声/ビデオエージェントを作成します。

    ステップ 3: エージェントをテストする

    エージェントを作成したら、デモ QR コードをスキャンしてテストします。

    1. コンソールでデモ QR コードを生成します。

      左側のナビゲーションウィンドウで [AI エージェント] をクリックします。対象のエージェントを見つけ、[操作] 列の [デモ QR コード] をクリックします。有効期限（1 時間、7 時間、24 時間、または 3 日）を選択し、[生成] をクリックします。

    2. DingTalk、WeChat、またはブラウザで QR コードをスキャンするか、デモ URL をブラウザにコピーして H5 デモを利用します。

      [デモ QR コード] ダイアログでは、左側に APP QR コード、右側に H5 QR コードが表示されます。下部には [H5 デモ URL]、[体験トークン]、および [有効期限] が表示されます。

    エージェントを統合する

    エージェントをプロジェクトに統合するために、以下のパラメーターを収集します。音声/ビデオエージェントの統合。

    • リージョン ID：ワークフローおよびエージェントのリージョン。コンソール左上のリージョンセレクターでリージョン ID を確認できます。

      リージョン名

      リージョン ID

      中国 (杭州)

      cn-hangzhou

      中国 (上海)

      cn-shanghai

      中国 (北京)

      cn-beijing

      中国 (深セン)

      cn-shenzhen

      シンガポール

      ap-southeast-1

    • ARTC アプリケーションの AppId および AppKey。

      [AI エージェント] ページで [基本情報] をクリックします。[ワークフロー構成] の [ApsaraVideo Real-time Communication (ARTC) アプリケーション] フィールドで RTC AppID を確認します。

      ApsaraVideo Live コンソールで、[Live+] > [ApsaraVideo Real-time Communication] > [アプリケーション管理] に移動します。対象のアプリケーションをクリックし、[基本情報] から値をコピーします。

    • AccessKey ID および AccessKey Secret：取得方法については、「AccessKey ペアの作成」をご参照ください。