Intelligent Media Services:リアルタイム対話型 AI の概要

SessionId

開発者が定義する、チャット記録の一意の識別子です。例：

• ユーザーの関連付け：SessionId を使用して、モバイルまたは PC 上で時間をまたいでセッションをリンクします。

• セッション分離：SessionId を使用して、同じユーザーからの複数のセッションを分離します。

チャットメッセージ

ユーザーはチャットダイアログボックスで、音声またはテキストで AI エージェントとやり取りし、質問をしたり情報を取得したりします。

音声通話

ユーザーは AI アシスタントと会話し、タイムリーな情報とサポートを受けます。

3D デジタルヒューマン通話

3D デジタルヒューマンは、音声インタラクション、ボディランゲージ、および表情を使用して仮想キャラクターをシミュレートし、リアリティとエンゲージメントを向上させます。

視覚理解通話

ライブカメラフィードと音声コマンドをマルチモーダルインタラクションを通じて融合し、音声やテキストのみのコミュニケーションを超え、正確で直感的、かつパーソナライズされたフィードバックを提供します。

ビデオ通話

ビデオ通話は、デジタルヒューマンと視覚理解を組み合わせます。双方が画面に表示され、デジタルヒューマンはユーザーのビデオフィードを理解して応答します。

インタラクティブメッセージ

インタラクティブメッセージは、ユーザー間のコミュニケーションを改善し、ライブストリーミング中のエンゲージメントを向上させます。

ApsaraVideo Real-time Communication (ARTC)

ApsaraVideo Real-time Communication (ARTC) は、WebRTC と 3,200 以上のグローバルノードを使用して、ユーザーと AI エージェント間の高可用性、高品質、超低レイテンシーの音声およびビデオ通話を提供します。「Real-Time Communication の概要」をご参照ください。

リアルタイムワークフロー

AI エージェントの中核部分であり、音声テキスト変換、大規模言語モデル、音声合成、Alibaba Cloud のベクトルデータベースなどの AI コンポーネントをドラッグアンドドロップして構築されます。AI エージェントは、各ワークフローステップを順番に実行します。

AI エージェント

非常にリアルなクラウドベースのユーザーであり、事前構築またはカスタム作成され、音声およびビデオを通じてエンドユーザーとやり取りします。

機能

説明

リアルタイムワークフロー

視覚的なドラッグアンドドロップインターフェースを使用して、AI エージェントワークフローを構築します。

• 音声テキスト変換：

  • Tongyi Qwen の組み込み機能。

• 音声合成：

  • Tongyi Qwen の組み込み機能。

  • 標準プロトコルを使用して、カスタム音声合成モジュールを接続します。

  • サードパーティプラグインとして MiniMax 音声機能を統合します。

• 大規模言語モデル (テキストからテキストへ)：

  • Tongyi Qwen の組み込み機能。

  • Alibaba Cloud Model Studio の Model Hub または Application Center から AI モデルを選択します。

  • OpenAI 標準を使用して、カスタム大規模言語モデルを統合します。

• デジタルヒューマン

  • サードパーティプラグインとして Xiangxin デジタルヒューマン機能を統合します。

• ビデオフレーム抽出

• マルチモーダル大規模言語モデル：

  • Tongyi Qwen の組み込み機能。

  • OpenAI 標準を使用して、カスタムマルチモーダル大規模言語モデルを統合します。

カスタム AI エージェント外観

音声通話中に AI エージェントを表す画像をアップロードできます。

AI エージェント感情認識

AI エージェントはユーザーの現在の感情を検出し、感情的なコンテキストを含む応答を返します。

ウェルカムメッセージ

コンソールでウェルカムメッセージを設定できます。会話が開始されると、AI エージェントがそれを話します。

プロアクティブアナウンス

ビジネスサーバーは OpenAPI を使用して、AI エージェントからの音声・ビデオ出力をトリガーします。

リアルタイムキャプション

エンドユーザーのインターフェースに、会話テキストをリアルタイムで表示します。

インテリジェントノイズリダクション

AI エージェントは、ユーザー側からのバックグラウンドノイズをフィルタリングします。複数の人が同時に話す場合、最も大きな音声を最初にキャプチャします。

インテリジェント割り込み検出

AI エージェントは、会話中にユーザーが割り込もうとしたタイミングを検出します。

インテリジェント文分割

AI エージェントは、長い文または複雑な文を自動的に分割して、読みやすさを向上させます。

文単位の音声コールバック

コンソールで音声コールバックを設定すると、リアルタイム音声データを OSS に保存できます。

トランシーバーモード

起動時または通話中にトランシーバーモードを有効にできます。ボタンを押して AI エージェントと話してください。

ASR ホットワード

ビジネス固有のホットワードを定義することで、音声認識精度を向上させることができます。

声紋ノイズリダクション

グループ会話では、AI エージェントは主要な話者の声紋を識別して保持し、無関係なノイズを低減します。

有人オペレーターによる対応への切り替え

AI エージェントがリクエストを処理できない場合、または重要な決定が必要な場合、会話を有人オペレーターに転送できます。

グレースフルシャットダウン

ビジネスサーバーが AI エージェントを停止する際、現在の応答を完了してからシャットダウンし、突然の中断を回避します。

データアーカイブ

AI エージェントの会話をテキストに変換し、API を通じて取得できます。音声・ビデオ録音は OSS または ApsaraVideo VOD に保存されます。