すべてのプロダクト
Search
ドキュメントセンター

Intelligent Media Services:API リファレンス

最終更新日:Jun 09, 2026

このトピックでは、Android ソフトウェア開発キット (SDK) の API オペレーションを説明します。

API 概要

説明

以前の SDK バージョンには、非推奨のパラメーターとメソッドが含まれています。SDK を最新バージョンにアップグレードすることを推奨します。詳細については、「Android user guide」をご参照ください。

クラス/プロトコル

API

説明

ARTCAICallEngine

音声および映像通話エンジンのインターフェイスです。

init

初期化

setAICallAgentType

エージェントタイプを設定します。

call[1/2]

通話を作成して開始します。

call[2/2]

クライアントからエージェント通話を開始します。

handup

通話を終了します。

switchMicrophone

マイクの状態を切り替えます。

interruptSpeaking

ロボットの発話を中断します。

enableVoiceInterrupt

スマート割り込みを有効または無効にします。

enableSpeaker

スピーカーと受話口を切り替えます。

muteAgentAudioPlaying

エージェントの音声ストリームの再生を停止または再開します。

enablePushToTalk

プッシュツートークモードを有効または無効にします。

isPushToTalkEnable

プッシュツートークモードが有効かどうかを確認します。

startPushToTalk

プッシュツートークモード:発話を開始します。

finishPushToTalk

プッシュツートークモード:発話を停止します。

cancelPushToTalk

プッシュツートークモード:現在の発話をキャンセルします。

switchRobotVoice

音声を切り替えます。

getRobotVoiceId

現在の音声を取得します。

setEngineCallback

コールバックを登録します。

isMicrophoneOn

マイクがオンになっているかどうかを確認します。

isSpeakerOn

スピーカーが再生に使用されているかどうかを確認します。

isVoiceInterruptEnable

スマート割り込みが有効かどうかを確認します。

setAvatarAgentView (非推奨)

デジタルヒューマンのビューコンテナを設定し、レンダリングモードを指定します。

setVisionPreviewView (非推奨)

視覚理解用のローカルビューコンテナを設定し、レンダリングモードを指定します。

muteLocalCamera

カメラのオン/オフを切り替えます。

isLocalCameraMute

カメラがオフになっているかどうかを確認します。

switchCamera

フロントカメラとリアカメラを切り替えます。

getRtcEngine

Alibaba Real-Time Communication (ARTC) エンジンインスタンスを取得します。

getIARTCAICallService

公式プロトコルの実装を取得します。

sendTextToAgent

大規模言語モデル (LLM) にカスタムメッセージを送信します。

sendCustomMessageToServer

ビジネスサーバーにカスタムメッセージを送信します。この API は、通話が接続された後に呼び出す必要があります。

updateLlmSystemPrompt

LLM のシステムプロンプトを更新します。この API は、通話が接続された後に呼び出す必要があります。

updateBailianAppParams

Model Studio アプリケーションセンターのパラメータを更新します。

updateVcrConfig

VCR 設定を更新します。

startVisionCustomCapture

視覚理解エージェントの場合、カスタムフレームキャプチャを開始します。これを開始すると、音声でエージェントと会話できなくなります。この API は、通話が接続された後に呼び出す必要があります。

stopVisionCustomCapture

視覚理解エージェントの場合、カスタムフレームキャプチャを停止します。この API は、通話が接続された後に呼び出す必要があります。

setAgentView[1/2]

エージェントの映像ビューコンテナを設定します。

setAgentView[2/2]

エージェントの映像ビューコンテナを設定し、レンダリングモードを指定します。

setLocalView[1/2]

ローカルプレビュービューコントロールを設定します。

setLocalView[2/2]

ローカルプレビュービューコントロールを設定し、レンダリングモードを指定します。

updateAsrMaxSilence

音声区間検出 (VAD) のしきい値を更新します。

updateTtsSpeechRate

音声合成 (TTS) の再生速度を更新します。

getAgentInfo

現在のエージェントのランタイム情報を取得します。

IARTCAICallEngineCallback

エンジンのコールバックイベント。

onErrorOccurs

エラーが発生したことを示すコールバックです。

onAgentStarted

エージェントが正常に開始されたことを示すコールバックです。

onCallBegin

通話が開始されたことを示すコールバックです。

onCallEnd

通話が終了したことを示すコールバックです。

onAliRtcEngineCreated

基盤となる AliRtcEngine エンジンが作成されたことを示すコールバックです。

onAICallEngineRobotStateChanged

ロボットの状態が変更されたことを示すコールバックです。

onUserSpeaking

ユーザーが発話中であることを示すコールバックです。

onUserAsrSubtitleNotify

自動音声認識 (ASR) によってユーザーの音声から認識されたテキストを通知するコールバックです。

onAIAgentSubtitleNotify

エージェントの応答を通知するコールバックです。

onLLMReplyCompleted

LLM が現在の通話での応答を完了したことを示すコールバックです。

onNetworkStatusChanged

ネットワークステータスの変更を示すコールバックです。

onVoiceVolumeChanged

音量が変更されたことを示すコールバックです。

onVoiceIdChanged

現在の通話の音声が変更されたことを示すコールバックです。

onVoiceInterrupted

現在の通話のスマート割り込み設定が変更されたことを示すコールバックです。

onAgentVideoAvailable

エージェントの映像ストリームが利用可能かどうかを示します。

onAgentAudioAvailable

エージェントの音声ストリームが利用可能かどうかを示します。

onAudioDelayInfo

音声ループバックレイテンシー。

onAgentAvatarFirstFrameDrawn

デジタルヒューマンの最初の映像フレームがレンダリングされたことを示すコールバックです。

onUserOnLine

ユーザーがオンラインになったときのコールバックです。

onSpeakingInterrupted

エージェントの現在の発話が中断されたことを示すコールバックです。

onVisionCustomCapture

現在の視覚理解通話でカスタムフレームキャプチャモードが有効になっているかどうかを示します。

onAgentWillLeave

現在のエージェントが通話から退出しようとしていることを示すコールバックです。

onHumanTakeoverWillStart

オペレーターが現在のエージェントから引き継ぎを開始しようとしていることを示すコールバックです。

onHumanTakeoverConnected

オペレーターへの引き継ぎが接続されたことを示すコールバックです。

onReceivedAgentCustomMessage

エージェントからのカスタムメッセージです。

onAgentEmotionNotify

エージェントの感情分析結果の通知です。

onAgentDataChannelAvailable

エージェントのメッセージチャネルが利用可能かどうかを示すコールバックです。

onConnectionStatusChange

通話中に接続ステータスが変更されたことを示すコールバックです。

onReceivedAgentVcrResult

現在のエージェントから VCR 結果を受信したことを示すコールバックです。

API 詳細

ARTCAICallEngine の詳細

init

初期化

/**
 * エンジンを初期化します。
 * @param config 初期化設定。
 */
public abstract void init(ARTCAICallConfig config);

パラメーター

パラメーター

説明

config

ARTCAICallConfig

初期化設定。

setAICallAgentType

エージェントタイプを設定します。

/**
 * エージェントタイプを設定します。
 * @param aiAgentType
 */
public abstract void setAICallAgentType(ARTCAICallAgentType aiAgentType);

パラメーター:

パラメーター

タイプ

説明

aiAgentType

ARTCAICallAgentType

エージェントタイプ。

call[1/2]

コールを作成して開始します。

説明

クライアントは、サーバーがコールを開始する際にこのオペレーションを呼び出します。サーバー側の API オペレーションを使用してエージェントへのコールを開始する方法の詳細については、「サーバー側の API オペレーションを使用したエージェントへのコール開始」をご参照ください。

/**
 * コールを作成して開始します。
 */
public abstract void call(String rtcToken, String aiAgentInstanceId, String aiAgentUserId, String channelId);

パラメーター

パラメーター

タイプ

説明

rtcToken

文字列

チャネルに参加するためのトークン。このパラメーターを空にすることはできません。

aiAgentInstanceId

文字列

インスタンス ID。このパラメーターを空にすることはできません。

aiAgentUserId

文字列

エージェントのユーザー ID。このパラメーターを空にすることはできません。

channelId

文字列

チャネル ID。このパラメーターを空にすることはできません。

call[2/2]

SDK を使用してエージェントへの呼び出しを開始するには、チャネルに参加するための ARTC トークンを渡し、ARTCAICallConfigmAiCallAgentTemplateConfig でエージェント ID、エージェントリージョン、起動パラメーターを設定する必要があります。

説明

このメソッドは、クライアントからエージェントへのコールを開始するために使用されます。これはデフォルトの呼び出しメソッドです。詳細については、「Android ユーザーガイド」をご参照ください。

/**
   * エージェントへの呼び出しを開始します。
   * @param rtcToken ローカルユーザーが ARTC チャネルに参加するための認証トークン。
   * @detail この API は SDK を使用してエージェントを呼び出します。呼び出しには、チャネルに参加するための ARTC トークンを渡し、
   * `ARTCAICallConfig` の `mAiCallAgentTemplateConfig` でエージェント ID、エージェントリージョン、起動パラメーターを設定する必要があります。
   */
public abstract void call(String rtcToken);

パラメーター:

パラメーター

タイプ

説明

rtcToken

文字列

ローカルユーザーが ARTC チャネルに参加するための認証トークン。

handup

通話をハングアップします。

/**
 * 通話をハングアップします。
 */
public abstract void handup();

switchMicrophone

マイクのオン/オフを切り替えます。

/**
 * マイクのステータスを切り替えます。
 * @param on
 */
public abstract void switchMicrophone(boolean on);

パラメーター:

パラメーター

説明

on

boolean

マイクをオンにするかどうかを指定します。

interruptSpeaking

エージェントの発話を中断します。

/**
 * エージェントの発話を中断します。
 */
public abstract boolean interruptSpeaking();

enableVoiceInterrupt

スマート割り込みを有効または無効にします。

/**
 * スマート割り込みを有効または無効にします。
 */
public abstract boolean enableVoiceInterrupt(boolean enable);

パラメーター:

パラメーター

タイプ

説明

enable

ブール値

スマート割り込みを有効にするかどうかを指定します。

enableSpeaker

スピーカーと受話器を切り替えます。true の場合はスピーカーを有効にし、false の場合は受話器を有効にします。

/**
 * スピーカーと受話器を切り替えます。
 */
public abstract boolean enableSpeaker(boolean enable);

パラメーター:

パラメーター

タイプ

説明

enable

ブール値

スピーカーまたは受話器を有効にするかどうかを指定します。true の場合はスピーカーを有効にし、false の場合は受話器を有効にします。

muteAgentAudioPlaying

エージェントのオーディオストリームの再生を停止または再開します。

public abstract boolean muteAgentAudioPlaying(boolean mute);

パラメーター:

パラメーター

タイプ

説明

mute

ブール値

オーディオをミュートするかどうかを指定します。

enablePushToTalk

プッシュツートーク モードを有効または無効にします。

/**
 * プッシュツートーク モードを有効または無効にします。プッシュツートーク モードでは、finishPushToTalk が呼び出された後にのみ、エージェントが結果を報告します。
 * @param enable
 * @return
 */
public abstract boolean enablePushToTalk(boolean enable);
説明
  • この設定を有効にするには、onCallBegin コールバックの後に本メソッドを呼び出す必要があります。

  • デフォルトでプッシュツートーク モードを使用する場合は、呼び出しの前に agentConfig.enablePushToTalktrue に設定できます。

パラメーター:

パラメーター

タイプ

説明

enable

ブール値

プッシュツートーク モードを有効にするかどうかを指定します。プッシュツートーク モードでは、finishPushToTalk が呼び出された後にのみ、エージェントが結果を報告します。

isPushToTalkEnable

プッシュツートークモードが有効かどうかを取得します。

/**
 * プッシュツートークモードが有効かどうかを取得します。
 * @return
 */
public abstract boolean isPushToTalkEnable();

startPushToTalk

プッシュツートークモードで発話を開始します。発話の開始に成功した場合は true を返し、失敗した場合は false を返します。

/**
 * プッシュツートークモードで発話を開始します。
 * @return 発話の開始に成功した場合は {@code true}、失敗した場合は {@code false}。
 */
public abstract boolean startPushToTalk();

finishPushToTalk

プッシュツートークモードで発話を停止します。

/**
 * プッシュツートークモードで発話を停止します。
 * @return
 */
public abstract boolean finishPushToTalk();

cancelPushToTalk

プッシュツートーク モード:現在の発話をキャンセルします。

/**
 * プッシュツートーク モード:現在の発話をキャンセルします。
 * @return キャンセルが成功した場合は true、失敗した場合は false。
 */
public abstract boolean cancelPushToTalk();

switchRobotVoice

音声を切り替えます。

/**
 * 音声を切り替えます。
 */
public abstract boolean switchRobotVoice(String voiceId);

パラメーター:

パラメーター

タイプ

説明

voiceId

文字列

切り替え先の音声。

getRobotVoiceId

現在のロボットの音声 ID を取得します。

/**
 * 現在のロボットの音声 ID を取得します。
 * @return
 */
public abstract String getRobotVoiceId();

setEngineCallback

コールバックを登録します。

/**
 * コールバックを登録します。
 * @param engineCallback
 */
public abstract void setEngineCallback(IARTCAICallEngineCallback engineCallback);

パラメーター:

パラメーター

タイプ

説明

engineCallback

IARTCAICallEngineCallback

登録するコールバック。

isMicrophoneOn

マイクがオンかどうかを確認します。

/**
 * マイクがオンかどうかを確認します。
 * @return
 */
public abstract boolean isMicrophoneOn();

isSpeakerOn

スピーカーが再生に使用されているかどうかを取得します。 true はスピーカーでの再生、 false は受話口での再生を示します。

/**
 * スピーカーが再生に使用されているかどうかを取得します。
 * @return
 */
public abstract boolean isSpeakerOn();

isVoiceInterruptEnable

スマート割り込みが有効かどうかを取得します。

/**
 * スマート割り込みが有効かどうかを取得します。
 * @return スマート割り込みが有効な場合は true、無効な場合は false。
 */
public abstract boolean isVoiceInterruptEnable();

setAvatarAgentView (非推奨)

デジタルヒューマンのビューコンテナーを設定し、レンダリングモードを指定します。

重要

このメソッドは、バージョン 2.5 以降では非推奨です。代わりに setAgentView[1/2] または setAgentView[2/2] を使用してください。

public abstract void setAvatarAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams avatarLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

パラメーター

タイプ

説明

viewGroup

ViewGroup

デジタルヒューマンのレンダリングビュー。

avatarLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

canvas

ARTCAICallVideoCanvas

レンダリングビュー、レンダリングモード、ミラーモード、および回転モードを含む、レンダリングに関する設定。

setVisionPreviewView (非推奨)

視覚理解用のローカルビューコンテナーを設定し、レンダリングモードを指定します。

重要

このメソッドは、バージョン 2.5 以降では非推奨です。代わりに setLocalView[1/2] または setLocalView[2/2] を使用してください。

public abstract void setVisionPreviewView(ViewGroup viewGroup, ViewGroup.LayoutParams visionLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

パラメーター

説明

viewGroup

ViewGroup

ローカルレンダリングビュー。

visionLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

canvas

ARTCAICallVideoCanvas

レンダリングビューの設定です。これには、レンダリングビュー、レンダリングモード、ミラーモード、回転モードなどが含まれます。

muteLocalCamera

ローカルカメラのミュート/ミュート解除

/**
 * カメラをミュートまたはミュート解除します。
 */
public abstract boolean muteLocalCamera(boolean mute);

パラメーター:

パラメーター

タイプ

説明

mute

boolean

カメラをミュートにするには true を、ミュートを解除するには false を指定します。

isLocalCameraMute

ローカルカメラがミュートされているかどうかを示します。

/**
 * ローカルカメラがミュートされているかどうかを確認します。
 * @return
 */
public abstract boolean isLocalCameraMute();

switchCamera

フロントカメラとリアカメラを切り替えます。

/**
 * フロントカメラとリアカメラを切り替えます。
 */
public abstract boolean switchCamera();

getRtcEngine

RTC エンジン インスタンスを取得します。

/**
 * AliRtcEngine インスタンスを取得します。
 * @return
 */
public abstract AliRtcEngine getRtcEngine();

getIARTCAICallService

公式プロトコル実装を取得します。

/**
 * 公式プロトコル実装を取得します。
 * @return
 */
public abstract IARTCAICallService getIARTCAICallService();

sendTextToAgent

大規模言語モデル (LLM) にカスタムメッセージを送信します。

/**
 * LLM にカスタムメッセージを送信します。
 * @param req
*/
public  boolean sendTextToAgent(ARTCAICallSendTextToAgentRequest req);

パラメーター:

パラメーター

タイプ

説明

req

ARTCAICallSendTextToAgentRequest

送信するメッセージの構造体。

sendCustomMessageToServer

AppServer にカスタムメッセージを送信します。このメソッドは、コールが接続された後に呼び出す必要があります。

/**
 * AppServer にカスタムメッセージを送信します。
 * エージェントのメッセージチャネルを再利用して AppServer にメッセージを送信します。AppServer は、カスタムメッセージを受信するためにコールバックをリッスンする必要があります。
 * @param msg
 * @return true:メッセージの送信に成功。false:メッセージの送信に失敗。
*/
public boolean sendCustomMessageToServer(String msg);

パラメーター:

パラメーター

タイプ

説明

msg

String

メッセージ内容

updateLlmSystemPrompt

LLM のシステムプロンプトを更新します。このメソッドは、呼び出しが接続された後に呼び出す必要があります。

/**
 * LLM のシステムプロンプトを更新します。例:「あなたは、ユーザーに正確な情報とアドバイスを提供することに重点を置いた、フレンドリで役立つアシスタントです。」
 * @param prompt
 * @return true: 更新に成功。false: 更新に失敗。
*/
public boolean updateLlmSystemPrompt(String prompt)

パラメーター:

パラメーター

説明

prompt

文字列

プロンプト。

updateBailianAppParams

Model Studio アプリケーションセンターのパラメーターを更新します。

public abstract boolean updateBailianAppParams(String params);

パラメーター:

パラメーター

説明

params

String

Model Studio アプリケーションセンターのパラメーター。

updateVcrConfig

VCR 設定を更新します。

 public abstract boolean updateVcrConfig(ARTCAICallAgentVcrConfig config);

パラメーター:

パラメーター

タイプ

説明

config

ARTCAICallAgentVcrConfig

VCR 設定。

startVisionCustomCapture

視覚理解エージェントでは、カスタムフレームキャプチャを開始します。このモードを開始すると、エージェントとの音声通信が無効になります。このメソッドは、通話が接続された後に呼び出す必要があります。

/**
 * 視覚理解エージェントでカスタムフレームキャプチャを開始します。開始後は、エージェントと音声で会話できなくなります。
 * @param request リクエストパラメーター。
 * @return true: リクエストは正常に送信されました。false: リクエストの送信に失敗しました。
*/
public  boolean startVisionCustomCapture(ARTCAICallVisionCustomCaptureRequest request);

パラメーター:

パラメーター

説明

request

ARTCAICallVisionCustomCaptureRequest

設定情報。

stopVisionCustomCapture

視覚理解エージェントのカスタムフレームキャプチャを停止します。この メソッド は、通話が接続された後に呼び出す必要があります。

public  boolean stopVisionCustomCapture();

setAgentView[1/2]

エージェントのビデオビューコンテナを設定します。

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams);

パラメーター:

パラメーター

説明

viewGroup

ViewGroup

デジタルヒューマンのレンダリングビュー。

agentLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

setAgentView[2/2]

エージェントのビデオビューを設定し、レンダリングモードを指定します。

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーターの詳細:

パラメーター

タイプ

説明

viewGroup

ViewGroup

デジタルヒューマンのビデオをレンダリングするビューコンテナ。

agentLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

canvas

ARTCAICallVideoCanvas

ビデオキャンバスの設定オブジェクト。レンダリングモードなどを指定します。

setLocalView[1/2]

ローカルプレビュービューを設定します。

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams);

パラメーター:

パラメーター

タイプ

説明

viewGroup

ViewGroup

ローカルプレビュービュー。

localLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

setLocalView[2/2]

ローカルプレビュービューを設定し、レンダリングモードを指定します。

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

パラメーター

タイプ

説明

viewGroup

ViewGroup

ローカルプレビュービュー。

localLayoutParams

ViewGroup.LayoutParams

レイアウトパラメーター。

canvas

ARTCAICallVideoCanvas

レンダリングビューの設定です。これには、レンダリングビューとレンダリングモードが含まれます。

updateAsrMaxSilence

音声アクティビティ検出 (VAD) のしきい値を更新します。このしきい値を超える無音期間は、文の区切りと見なされます。

public abstract boolean updateAsrMaxSilence(int duration);

パラメーター:

パラメーター

説明

duration

int

ミリ秒単位の期間です。値の範囲は 200 ms ~ 1200 ms です。

updateTtsSpeechRate

音声合成 (TTS) の話速を更新します。これはすべての TTS タイプに適用されます。値の範囲は 0.5~2.0 です。

public abstract boolean updateTtsSpeechRate(double rate);

パラメーター:

パラメーター

説明

rate

double

話速。値の範囲は 0.5~2.0 です。

getAgentInfo

現在のエージェントのランタイム情報を取得します。

public abstract ARTCAICallAgentInfo getAgentInfo();
説明
  • この API が返すエージェント情報は、onCallBegin コールバックが通話の開始を通知した後にのみ有効になります。

  • エージェントが異常に動作した場合、このメソッドを使用してランタイム情報、特にインスタンス ID を取得し、トラブルシューティングのためにテクニカルサポートに提供してください。

戻り値:

この API は、以下のパラメーターを含む ARTCAICallAgentInfo オブジェクトを返します。

パラメータ

種類

説明

エージェントID

文字列

現在のエージェント ID。

エージェントタイプ

ARTCAICallAgentType

エージェントタイプです。

agentUserId

String

RTC チャンネル内のエージェントのユーザー ID です。

channelId

String

エージェントが配置されている RTC チャネル ID。

インスタンス ID

文字列

現在実行中のエージェントのインスタンス ID。エージェントが起動すると、システムは一意のインスタンス ID を割り当て、そのライフサイクル全体と実行状態を識別および追跡します。

requestId

String

現在実行中のエージェントのリクエスト ID。

IARTCAICallEngineCallback の詳細

onErrorOccurs

エラーが発生したことを示します。

/**
 * エラーが発生したことを示します。
 * @param errorCode エラーコード。
 */
void onErrorOccurs(AICallErrorCode errorCode);

パラメーター

パラメーター

タイプ

説明

errorCode

AICallErrorCode

発生したエラー。

onAgentStarted

このコールバックは、エージェントが正常に起動したときに呼び出されます。クライアント側の呼び出し操作を使用してエージェントを呼び出す場合、このコールバックは呼び出しが成功したときに呼び出されます。

/**
 * エージェントが正常に起動しました。
 */     
public void onAgentStarted() {}

onCallBegin

通話の開始 (ミーティングへの参加)

/**
 * 通話が開始しました (チャネルに参加しました)。
 */
void onCallBegin();

onCallEnd

ミーティングから退出します。

/**
 * 通話が終了 (チャネルから退出) します。
 */
void onCallEnd();

onAliRtcEngineCreated

基盤となる AliRtcEngine が作成されます。

 public void onAliRtcEngineCreated(AliRtcEngine engine)

パラメーター:

パラメーター

タイプ

説明

engine

AliRtcEngine

基盤となる AliRtcEngine のエンジンオブジェクトです。AICallKit SDK のオペレーションが要件を満たさず、ARTC SDK のアトミックオペレーションを使用する必要がある場合に役立ちます。

onAICallEngineRobotStateChanged

ロボット状態の同期

/**
 * ロボットの状態同期のコールバック。
 * @param oldRobotState
 * @param newRobotState
 */
void onAICallEngineRobotStateChanged(ARTCAICallRobotState oldRobotState, ARTCAICallRobotState newRobotState);

パラメーター

パラメーター

タイプ

説明

oldRobotState

ARTCAICallRobotState

以前の状態。

newRobotState

ARTCAICallRobotState

新しい状態。

onUserSpeaking

このコールバックは、ユーザーが発話しているときに呼び出されます。

/**
 * ユーザーが発話しているときのコールバック。
 * @param isSpeaking ユーザーの発話状態。
 */
void onUserSpeaking(boolean isSpeaking);

パラメーター:

パラメーター

説明

isSpeaking

ブール型

ユーザーの発話状態。

onUserAsrSubtitleNotify

このコールバックは、自動音声認識 (ASR) がユーザーの音声から認識したテキストを同期します。

/**
 * ASR がユーザーの音声から認識したテキストを同期します。
 * @param text ASR が認識したテキスト。
 * @param isSentenceEnd 現在のテキストがこの文の最終結果かどうか。
 * @param sentenceId 現在のテキストが属する文の ID。
 * @param voicePrintStatusCode 声紋認識ステータス。
 */
void onUserAsrSubtitleNotify(String text, boolean isSentenceEnd, int sentenceId, VoicePrintStatusCode voicePrintStatusCode);

パラメーター:

パラメーター

説明

text

文字列

ASR が認識したテキスト。

isSentenceEnd

ブール値

現在のテキストがこの文の最終結果かどうか。

sentenceId

int

文 ID。

voicePrintStatusCode

VoicePrintStatusCode

声紋認識ステータス。

onAIAgentSubtitleNotify

エージェントの同期応答

/**
 * エージェントの応答テキストを同期します。
 * @param text エージェントの応答テキスト。
 * @param end 現在の応答が完了したかどうか。
 * @param userAsrSentenceId 指定された sentenceId の音声入力に対応する LLM コンテンツ。
 */
void onAIAgentSubtitleNotify(String text, boolean end, int userAsrSentenceId);

パラメーター:

パラメーター

タイプ

説明

text

文字列

エージェントの応答テキスト。

end

ブール値

現在の応答が完了したかどうか。

userAsrSentenceId

int

指定された sentenceId の音声入力に対応する LLM コンテンツ。

onLLMReplyCompleted

LLM が現在の呼び出しに対する応答を完了しました。

/**
 * LLM が現在の呼び出しに対する応答を完了しました。
 * @param text LLM が出力したテキスト。
 * @param userAsrSentenceId ユーザーの質問文のID。
 * @note このコールバックは、質問に対する完全な LLM 応答を提供しますが、エージェントの音声再生とは同期していません。リアルタイムの字幕には、onAIAgentSubtitleNotify を使用してください。
 */
public void onLLMReplyCompleted(String text, int userAsrSentenceId) {}

パラメーター

パラメーター

説明

text

文字列

LLM が出力したテキスト。

userAsrSentenceId

int

ユーザーの質問文のID。

onNetworkStatusChanged

ネットワークステータスのコールバックです。

/**
 * ネットワークステータス変更のコールバック。
 * @param uid ユーザー ID。
 * @param quality ネットワークステータス。
 */
void onNetworkStatusChanged(String uid, ARTCAICallNetworkQuality quality);

パラメーター:

パラメーター

説明

uid

文字列

ユーザー ID

quality

ARTCAICallNetworkQuality

ネットワークステータス

onVoiceVolumeChanged

音量変更

/**
 * 音量が変更されました。
 * @param uid ユーザー ID。
 * @param volume 音量。 範囲:0~255。
 */
void onVoiceVolumeChanged(String uid, int volume);

パラメーター:

パラメーター

タイプ

説明

uid

文字列

ユーザー ID。

volume

整数

音量。 範囲:0~255。

onVoiceIdChanged

現在の通話の音色が変更されたときに呼び出されます。

/**
 * 現在の通話の音色が変更されました。
 */
void onVoiceIdChanged(String voiceId);

パラメーター:

パラメーター

タイプ

説明

voiceId

文字列

音色が変更されました。

onVoiceInterrupted

現在の通話の音声割り込み設定が変更されたことを通知します。

/**
 * 現在の通話の音声割り込み設定の変更を通知します。
 */
void onVoiceInterrupted(boolean enable);

パラメーター:

パラメーター

説明

enable

ブール型

現在の通話の音声割り込み設定が変更されたことを示します。

onAgentVideoAvailable

エージェントのビデオに対してストリームインジェストがアクティブかどうかを示します。

/**
 * エージェントのビデオに対してストリームインジェストがアクティブかどうかを示します。
 */
void onAgentVideoAvailable(boolean available);

パラメーター:

パラメーター

タイプ

説明

Enable

boolean

エージェントのビデオに対してストリームインジェストがアクティブかどうかを示します。

onAgentAudioAvailable

エージェントのオーディオストリームが利用可能かどうかを通知します。

/**
 * エージェントのオーディオストリームが利用可能かどうかを示します。
 */
void onAgentAudioAvailable(boolean available);

パラメーター:

パラメーター

タイプ

説明

available

boolean

エージェントのオーディオストリームが利用可能かどうかを示します。

onAudioDelayInfo

オーディオ ループバック レイテンシー。

/**
         * オーディオ ループバック レイテンシー。
         *  @param id ステートメント ID。
         *  @param delay_ms レイテンシー。
         */
public void onAudioDelayInfo(int id, int delay_ms) {}

パラメーター:

パラメーター

タイプ

説明

id

int

ステートメント ID です。

delay_ms

int

レイテンシーです。

onAgentAvatarFirstFrameDrawn

デジタルヒューマンの最初のビデオフレームのレンダリング

/**
* デジタルヒューマンの最初のビデオフレームがレンダリングされます。
*/
void onAgentAvatarFirstFrameDrawn();

onUserOnLine

ユーザーオンラインコールバック

/**
*  ユーザーがオンラインになったときのコールバック。
*/
void onUserOnLine(String uid);

パラメーター:

パラメーター

タイプ

説明

uid

文字列

ユーザー参加コールバック

onSpeakingInterrupted

エージェントの音声が中断されます。

public void onSpeakingInterrupted(ARTCAICallSpeakingInterruptedReason reason);

メトリックの説明:

パラメーター

説明

reason

ARTCAICallSpeakingInterruptedReason

特定のキーワードなど、中断の理由を示します。

onVisionCustomCapture

このコールバックは、現在の視覚理解呼び出しで、カスタムフレームキャプチャモードが有効かどうかを示します。

public void onVisionCustomCapture(boolean enable)

メトリックの説明:

パラメーター

説明

enable

ブール

モードが有効かどうかを示します。

onAgentWillLeave

現在のエージェントが通話から離脱し、通話が終了することを示します。

/**
 * 現在のエージェントが通話から離脱しようとしています。
 * @param reason 理由: 2001(アイドルによる終了)、2002(ヒューマンテイクオーバーの終了)、0(その他)。
 * @param message 理由の説明。
 */
void onAgentWillLeave(int reason, String message);

パラメーター:

パラメーター

タイプ

説明

reason

int

理由: 2001(アイドルによる終了)、2002(ヒューマンテイクオーバーの終了)、0(その他)。

message

String

理由の説明。

onHumanTakeoverWillStart

人間のエージェントが現在のエージェントからテイクオーバーを開始しようとするとき

public void onHumanTakeoverWillStart(String takeoverUid, int takeoverMode);

パラメーター:

パラメーター

説明

takeoverUid

文字列

人間のエージェントの UID。

takeoverMode

int

1:人間のエージェントの音声を出力します。0:エージェントの音声を出力します。

onHumanTakeoverConnected

このコールバックは、有人エージェントによる引き継ぎが接続されたときに呼び出されます。

public void onHumanTakeoverConnected(String takeoverUid);

有人エージェントによる引き継ぎが接続されました。

パラメーター

説明

takeoverUid

文字列

有人エージェント の UID

onReceivedAgentCustomMessage

エージェントからのカスタムメッセージです。

/**
 * エージェントからのカスタムメッセージ。
 * @param data JSON 文字列形式のカスタムメッセージ本文。
 */
public void onReceivedAgentCustomMessage(String data);

パラメーター:

パラメーター

タイプ

説明

data

文字列

JSON 文字列形式のカスタムメッセージ本文。

onAgentEmotionNotify

エージェントのエモーション通知

public void onAgentEmotionNotify(String emotion,int userAsrSentenceId);

パラメーター:

パラメーター

説明

emotion

文字列

エモーションラベル (neutral、happy、angry、sad など)。

userAsrSentenceId

整数

ユーザーの音声認識 (ASR) 結果である文の ID。

onAgentDataChannelAvailable

このコールバックは、エージェントのメッセージチャネルが利用可能になったことを通知します。このコールバックがトリガーされた後でのみ、エージェントにメッセージを送信できます。

public void onAgentDataChannelAvailable() {}

onReceivedAgentVcrResult

現在のエージェントから VCR 結果を受信したときに、このコールバックがトリガーされます。詳細については、「ARTCAICallAgentVcrResult」をご参照ください。

 public void onReceivedAgentVcrResult(ARTCAICallAgentVcrResult result) {}

onConnectionStatusChange

通話中に接続ステータスが変更されることがあります。

public void onConnectionStatusChange(ARTCAICallConnectionStatus status, ARTCAICallConnectionStatusChangeReason reason) {}

パラメーター:

パラメーター

タイプ

説明

status

ARTCAICallConnectionStatus

ステータスコード:

  • Init:初期化済みです。

  • Disconnected:ネットワーク接続が切断されています。

  • Connecting:ネットワークに接続中です。

  • Connected:ネットワークが接続済みです。

  • Reconnecting:ネットワークに再接続中です。

  • Failed:ネットワーク接続に失敗しました。

reason

ARTCAICallConnectionStatusChangeReason

原因