Intelligent Media Services:リアルタイム対話型 AI のよくある質問

機能

• オリジンサーバーにエージェントをデプロイする必要がありますか？

• Alibaba Cloud Model Studio にデプロイされた大規模言語モデルにエージェントを接続する方法を教えてください。

統合

• 通話開始時にエラーが発生する

• メッセージング会話の開始時にクライアントが「AgentNotFound」エラーを報告する

• メッセージング会話の開始時にクライアントが「UnsupportedWorkflowType」エラーを報告する

• クライアントの音声キャプチャのサンプルレートを調整する方法を教えてください。

• エージェントの音声再生のサンプルレートを調整する方法を教えてください。

オリジンサーバーへのエージェントのデプロイ

いいえ。エージェントは Alibaba Cloud のパブリッククラウドサービスであるため、クラウドへのデプロイは不要です。コンソールで構成し、OpenAPI を呼び出すことで、エージェントを構築して使用できます。

Model Studio 上の LLM へのエージェント接続

エージェントは、Alibaba Cloud Model Studio と統合されるように設計されています。コンソールで必須パラメーターを指定するだけで、Alibaba Cloud Model Studio の大規模言語モデルを呼び出すことができます。詳細については、「大規模言語モデル (LLM)」をご参照ください。

通話開始時のエラー

メッセージング開始時の「AgentNotFound」エラー

クライアントコードで、agentId とリージョンが正しく構成されていることを確認してください。

インテリジェントメディアサービスコンソールで、左側のナビゲーションウィンドウから [リアルタイム対話型 AI] > [エージェント管理] に移動します。ページ上部で選択したリージョンがコードで構成したリージョンと一致することを確認し、エージェントリストの [エージェント ID/名前] 列から正しい agentId を取得します。

クライアントコード：

String mAgentId = "XXX";          // エージェント ID。コンソールで作成したメッセージング会話エージェントの ID を使用します。
String mRegion = "cn-shanghai";   // エージェントが配置されているリージョン。コンソールに表示されるメッセージング会話エージェントのリージョンを使用します。
ARTCAIChatAgentInfo agentInfo = new ARTCAIChatEngine.ARTCAIChatAgentInfo(mAgentId, mRegion)

// エージェント ID。コンソールで作成したメッセージング会話エージェントの ID を使用します。
let agentInfo = ARTCAIChatAgentInfo(agentId: "xxxx")
// エージェントが配置されているリージョン。コンソールに表示されるメッセージング会話エージェントのリージョンを使用します。
agentInfo.region = "cn-shanghai"

メッセージング開始時の「UnsupportedWorkflowType」エラー

エラー詳細が "The specified workflowType \"VoiceChat\" is not supported by this interface. Please use a compatible workflowType: [\"MessageChat\"]" である場合は、agentId を確認し、関連付けられたワークフロータイプが MessageChat であることを確認してください。

[エージェント管理] ページで、対象のエージェントを見つけ、[エージェントワークフロー ID] 列を確認して、関連付けられたワークフロータイプが [MessageChat] であることを確認します。

クライアントの音声キャプチャのサンプルレート調整

リアルタイム対話型 AI は、クライアント側の音声キャプチャに対して、以下の設定をサポートしています：

• 48 kHz サンプルレート、モノラルチャンネル

• 16 kHz サンプルレート、モノラルチャンネル

デフォルトでは、AICallKit SDK は 48 kHz のサンプルレートを使用します。16 kHz に切り替えるには、以下のコード例をご参照ください。

self.engine.audioConfig = ARTCAICallAudioConfig(audioProfile: .BasicQualityMode, audioScenario: .MusicMode)
// 他の API を呼び出します
...  
// 通話を開始します
self.engine.call(...)

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.audioConfig.audioProfile = ARTCAICallAudioBasicQualityMode;
engine.init(artcaiCallConfig);

エージェントの音声再生のサンプルレート調整

リアルタイム対話型 AI は、エージェントの再生に対して、以下の音声設定をサポートしています：

• 48 kHz サンプルレート、モノラルまたはステレオチャンネル

• 16 kHz サンプルレート、モノラルチャンネル

デフォルトでは、リアルタイム対話型 AI は 48 kHz のモノラルチャンネルのサンプルレートを使用します。この設定は、会話を開始する API 呼び出しで調整する必要があります。メソッドは、通話の開始方法によって異なります。

メソッド 1：サーバー側の GenerateAIAgentCall API の使用

AgentConfig パラメーターを追加し、AIAgentConfig の ExperimentalConfig フィールドを構築できます。

// AudioQualityMode: 整数    
// RTC 出力のサンプルレートモード。
// 0: 48 kHz モノラルチャンネル 
// 1: 48 kHz ステレオチャンネル
// 2: 16 kHz モノラルチャンネル
// ExperimentalConfig の値は JSON 文字列である必要があります。
{
    "ExperimentalConfig":"{\"AudioQualityMode\":2}"
}

メソッド 2：サーバー側の StartAIAgentInstance API の使用

AgentConfig パラメーターを追加し、AIAgentConfig の ExperimentalConfig フィールドを構築できます。

// AudioQualityMode: 整数    
// RTC 出力のサンプルレートモード。
// 0: 48 kHz モノラルチャンネル 
// 1: 48 kHz ステレオチャンネル
// 2: 16 kHz モノラルチャンネル
// ExperimentalConfig の値は JSON 文字列である必要があります。
{
    "ExperimentalConfig":"{\"AudioQualityMode\":2}"
}

メソッド 3：クライアント側の call() API の使用

callConfig パラメーターを指定して call(xxx) API を使用して通話を作成および開始する場合、このメソッドを使用してエージェントの再生サンプルレートを変更できます。

let callConfig = ...   // ARTCAICallConfig を作成して初期化します。詳細については、ユーザーガイドをご参照ください。
let agentConfig = ARTCAICallAgentConfig()         // ARTCAICallAgentConfig オブジェクトを作成します。
agentConfig.experimentalConfig = [
    "AudioQualityMode": 2
]
...                                                  // ビジネス要件に基づいてパラメーターを設定します。
callConfig.agentConfig = agentConfig
self.engine.call(config: callConfig)                 // 通話を開始します。

ARTCAICallEngine.ARTCAICallConfig artcaiCallConfig = new ARTCAICallEngine.ARTCAICallConfig();
artcaiCallConfig.agentConfig.experimentalConfig = new JSONObject();
try {
    artcaiCallConfig.agentConfig.experimentalConfig.put("AudioQualityMode", 2);
} catch (JSONException e) {
    e.printStackTrace();
}
engine.init(artcaiCallConfig);