リアルタイム対話型 AI は、AI エージェントとユーザー間の効率的な音声およびビデオインタラクションを可能にします。
製品紹介
リアルタイム対話型 AI は、AI エージェントとユーザー間の音声およびビデオ通話アプリケーションの構築を支援します。ビジュアルインターフェースを使用してカスタム AI エージェントを設定し、10 分以内にデプロイできます。AI エージェントは ApsaraVideo Real-time Communication (ARTC) ネットワーク経由でユーザーと接続し、オンラインカスタマーサービス、AI アシスタント、AI コンパニオン、マッチングアシスタント、バーチャル教師などのシナリオをサポートします。
機能
AI エージェントは、音声およびビデオ通話、チャットメッセージ、 を用いてユーザーとやり取りします。ワークフローを設定することで、以下の機能を有効にできます。
音声およびビデオ通話
音声通話 音声で AI アシスタントと会話します。
| 3D デジタルヒューマン通話 ビデオを介してデジタルヒューマンとやり取りし、よりリアルな体験が可能です。
| ビジュアル理解通話 エージェントは音声とビデオ入力を組み合わせて、コンテキストに応じたフィードバックを提供します。
| ビデオ通話 デジタルヒューマンはビジュアル理解を使用して、ユーザーとの双方向ビデオ通話を実現します。 |
「音声およびビデオ通話クイックスタート」をご参照ください。 音声通話ワークフローには、3 つのノードのみが必要です。
| |||
異なる通話タイプは、異なるワークフローにバインドされています。音声通話からビジュアル理解通話などの別の通話タイプに切り替えるには、まず現在の通話を終了し、次にターゲットワークフロータイプにバインドされた AI エージェント ID を使用して新しい通話を開始します。API の使用方法については、「音声およびビデオ通話クイックスタート」をご参照ください。
チャットメッセージ
ダイアログボックスで、音声またはテキストで AI エージェントとチャットします。
|
|
「チャットメッセージクイックスタート」をご参照ください。 チャットメッセージワークフローでは、以下の設定を使用します。
| |
用語
SessionId | 開発者が定義する、チャット記録の一意の識別子です。例：
|
チャットメッセージ | ユーザーは、チャットダイアログボックスで音声またはテキストで AI エージェントとやり取りし、質問したり情報を取得したりします。 |
音声通話 | ユーザーは AI アシスタントと会話し、タイムリーな情報とサポートを得ます。 |
3D デジタルヒューマン通話 | 3D デジタルヒューマンは、音声インタラクション、ボディランゲージ、表情を備えた仮想キャラクターをシミュレートし、現実感とエンゲージメントを向上させます。 |
ビジュアル理解通話 | ライブカメラフィードと音声コマンドをマルチモーダルインタラクションにより融合し、音声のみまたはテキストのみのコミュニケーションを超えた、正確で直感的かつパーソナライズされたフィードバックを提供します。 |
ビデオ通話 | ビデオ通話は、デジタルヒューマンとビジュアル理解を組み合わせます。双方が画面に表示され、デジタルヒューマンはユーザーのビデオフィードを理解して応答します。 |
インタラクティブメッセージ | インタラクティブメッセージは、ユーザー間のコミュニケーションを改善し、ライブストリーミング中のエンゲージメントを向上させます。 |
ApsaraVideo Real-time Communication (ARTC) | Alibaba Cloud ARTC は WebRTC と 3,200 以上のグローバルノードを使用して、ユーザーと AI エージェント間の高可用性、高品質、超低レイテンシーの音声およびビデオ通話を提供します。詳細については、「Real-Time Communication の概要」をご参照ください。 |
リアルタイムワークフロー | AI エージェントの中核をなす部分で、音声テキスト変換、大規模言語モデル、音声合成、Alibaba Cloud のベクトルデータベースなどの AI コンポーネントをドラッグアンドドロップして構築します。AI エージェントは各ワークフローステップを順番に実行します。 |
AI エージェント | 事前構築済み、またはカスタム作成された、非常にリアルなクラウドベースのユーザーです。音声およびビデオを通じてエンドユーザーとやり取りします。 |
メリット
グローバルな高可用性と低レイテンシー：Alibaba Cloud のリアルタイム音声ビデオネットワークは、3,200 以上のグローバルノードにまたがり、QoS 最適化により、世界中でスムーズな AI エージェント通話を可能にします。
簡単な統合とデバッグ：音声テキスト変換、大規模言語モデル、音声合成、ベクトルデータベースなどの AI コンポーネントをワークフローにプラグインして、迅速なローンチと簡単なデバッグが可能です。
人間らしい動作：インテリジェントノイズ低減、インテリジェント割り込み検出、音声セグメンテーションにより、AI エージェントは人間のように振る舞います。
簡単な統合：4 つの統合方法により、シナリオに最適な方法を選択できます。
仕組み
ユーザーは SDK を使用して、クラウドベースの AI エージェントとのリアルタイム音声ビデオ通話を開始します。
AI エージェントはユーザーの音声およびビデオ入力を受信し、ワークフローを実行して応答を生成します。
AI エージェントは応答ストリームを ARTC ネットワークにプッシュします。ユーザーはストリームをサブスクライブして再生し、会話を完了します。
各 AIAgentId は特定のワークフローにバインドされています。進行中の通話中に AIAgentId を切り替えることはできず、UpdateAIAgentInstance は AIAgentId パラメーターの変更をサポートしていません。別の AI エージェントに切り替えるには、まず StopAIAgentInstance を呼び出して現在の通話を停止し、次に StartAIAgentInstance または GenerateAIAgentCall を呼び出してターゲット AI エージェントを開始します。
機能
機能 | 説明 |
リアルタイムワークフロー | 視覚的なドラッグアンドドロップインターフェースを使用して AI エージェントワークフローを構築します。
|
カスタム AI エージェントの外観 | 音声通話中に AI エージェントを表す画像をアップロードできます。 |
AI エージェント感情認識 | AI エージェントはユーザーの現在の感情を検出し、感情的なコンテキストを踏まえて応答します。 |
ウェルカムメッセージ | コンソールでウェルカムメッセージを設定できます。AI エージェントは会話の開始時にそれを話します。 |
プロアクティブアナウンス | ビジネスサーバーは OpenAPI を使用して、AI エージェントからの音声ビデオ出力をトリガーできます。 |
リアルタイムキャプション | エンドユーザーのインターフェースに会話テキストをリアルタイムで表示できます。 |
インテリジェントノイズ低減 | AI エージェントはユーザー側のバックグラウンドノイズをフィルタリングします。複数の人が同時に話す場合、最も大きな音声を最初にキャプチャします。 |
インテリジェント割り込み検出 | AI エージェントは、会話中にユーザーが割り込もうとしたことを検出します。 |
インテリジェント文分割 | AI エージェントは長い文や複雑な文を自動的に分割し、読みやすさを向上させます。 |
文ごとの音声コールバック | コンソールで音声コールバックを設定して、リアルタイム音声データを OSS に保存できます。 |
トランシーバーモード | 起動時または通話中にトランシーバーモードを有効にできます。ボタンを押して AI エージェントと会話します。 |
ASR ホットワード | ビジネス固有のホットワードを定義して、音声認識の精度を向上させることができます。 |
ボイスプリントノイズ低減 | グループ会話では、AI エージェントは主要な話者のボイスプリントを識別して保持し、無関係なノイズを低減します。 |
ライブエージェントへの引き継ぎ | AI エージェントがリクエストを処理できない場合、または重要な決定が必要な場合に、会話をライブエージェントに転送できます。 |
グレースフルシャットダウン | ビジネスサーバーが AI エージェントを停止する際、現在の応答を完了してからシャットダウンすることで、突然の中断を回避できます。 |
データアーカイブ | AI エージェントの会話をテキストに変換し、API を通じて取得できます。音声ビデオ録音を OSS または ApsaraVideo VOD に保存できます。 |
課金
リアルタイム対話型 AI はパブリックプレビュー中であり、この期間中は無料でご利用いただけます。
よくある質問
お問い合わせ
製品に関するご質問やサポートについては、DingTalk グループ番号 106730016696 を検索してグループに参加してください。