API 操作の詳細 - Intelligent Media Services - Alibaba Cloud ドキュメントセンター

Web SDK の API オペレーション (エンジンメソッドとコールバックイベントを含む) の一覧です。

API 概要

説明

以前の SDK バージョンには、非推奨のパラメータとメソッドが含まれています。最新バージョンへのアップグレードを推奨します。詳細については、「Web SDK 使用ガイド」をご参照ください。

クラス/プロトコル	API	説明
ARTCAICallEngine エンジンの API 操作を定義します。	call	コールを開始します。
	handup	ハングアップします。説明ページが終了する前に handup を呼び出してコールをハングアップしてください。例えば、beforeunload イベントをリッスンすることで実装できます。これを行わない場合、エージェントは約 90 秒待機してから終了します。これにより、デジタルヒューマンの同時接続数制限を超過するなどの問題が発生する可能性があります。
	setAgentView	エージェントのレンダリングビューを設定します。
	setLocalView	ローカルプレビュービューを設定します。
	interruptSpeaking	エージェントの発話を中断します。
	enableVoiceInterrupt	スマート割り込みを有効または無効にします。
	muteLocalCamera	カメラプッシュを有効または無効にします。
	switchCamera	カメラを切り替えます。
	switchVoiceId	音声を切り替えます。
	mute	マイクをミュートまたはミュート解除します。
	muteAgentAudioPlaying	エージェントのオーディオストリームの再生を停止または再開します。
	startPushToTalk	プッシュツートークモードで発話を開始します。
	finishPushToTalk	プッシュツートークモードで発話を終了します。
	cancelPushToTalk	プッシュツートークモードで現在の発話をキャンセルします。
	enablePushToTalk	プッシュツートークモードを有効または無効にします。プッシュツートークモードでは、finishPushToTalk が呼び出された後にのみ、エージェントが結果を返します。
	getRTCInstance	Alibaba Real-Time Communication (ARTC) エンジンを取得します。
	sendTextToAgent	エージェントにテキストメッセージを送信します。
	sendCustomMessageToServer	サーバーにカスタムメッセージを送信します。
	updateLlmSystemPrompt	大規模言語モデル (LLM) のシステムプロンプトを更新します。
	updateVcrConfig	VCR 構成を更新します。
	updateBailianAppParams	Model Studio アプリケーションのパラメータを更新します。
	startVisionCustomCapture	視覚理解エージェント向けに、カスタムフレームキャプチャを開始します。これを開始すると、音声でエージェントと会話することはできません。
	stopVisionCustomCapture	視覚理解エージェント向けに、カスタムフレームキャプチャを停止します。
	destroy	リソースを解放します。
ARTCAICallEngine エンジンコールバックイベント	errorOccurred	エラーが発生しました。
	callBegin	コールが開始されました。
	callEnd	コールが終了しました。
	agentStateChange	エージェントステータスが変更されました。
	speakingVolumeChanged	音量が変更されました。
	userSubtitleNotify	ユーザーの質問に対するエージェントの認識結果を報告します。
	agentSubtitleNotify	エージェントの応答を報告します。
	voiceIdChanged	現在のコールの音声が変更されました。
	pushToTalkChanged	プッシュツートークモードが変更されました。
	agentWillLeave	現在のエージェントが間もなく退出します（現在のコールを終了）。
	receivedAgentCustomMessage	現在のエージェントからカスタムメッセージを受信しました。
	voiceInterruptChanged	現在のコールの音声割り込みが有効または無効になりました。
	humanTakeoverWillStart	有人エージェントが現在のエージェントから引き継ぎを行おうとしています。
	humanTakeoverConnected	有人エージェントへの接続が完了しました。
	agentDataChannelAvailable	エージェントのメッセージチャネルが利用可能になったときに発生します。
	receivedAgentVcrResult	現在のエージェントから VCR 結果を受信しました。

API 詳細

ARTCAICallEngine の詳細

call

呼び出しを開始します。

async call(userId: string, agentInfo: AICallAgentInfo, config?: AICallEngineConfig): Promise<void>

パラメーター：

パラメーター	型	説明
userId	string	現在のユーザーの UID です。
agentInfo	AICallAgentInfo	エージェント情報です。
config	AICallEngineConfig	初期化設定です。型は次のとおりです： { // マイクをミュートするかどうかを指定します。 muteMicrophone?: boolean; // 視覚理解モードでカメラをオフにするかどうかを指定します。 muteCamera?: boolean; // プッシュツートークを有効にするかどうかを指定します。 enablePushToTalk?: boolean; // 視覚理解モードのプレビュービデオ要素です。 previewElement?: string \| HTMLVideoElement; // 視覚理解モードのカメラ設定です。 cameraConfig?: AICallCameraConfig; }

handup

呼び出しを終了します。

async handup(): Promise<void>

setAgentView

エージェントのレンダリングビューを設定します。

setAgentView(view: HTMLVideoElement | string): void

パラメーター：

パラメーター	型	説明
view	HTMLVideoElement \| string	video タグまたはその ID です。

setLocalView

ローカルプレビュービューを設定します。

setLocalView(view?: HTMLVideoElement | string): void

パラメーター：

パラメーター	型	説明
view	HTMLVideoElement \| string	video タグまたはその ID です。このパラメーターを渡さない場合、プレビューは停止します。

interruptSpeaking

エージェントの発話を中断します。

async interruptSpeaking(): Promise<void>

enableVoiceInterrupt

スマート中断を有効または無効にします。

async enableVoiceInterrupt(enable: boolean): Promise<void>

パラメーター：

パラメーター	型	説明
enable	boolean	機能を有効または無効にします。

muteLocalCamera

ローカルカメラストリームの送信を有効または無効にします。

async muteLocalCamera(mute: boolean)

パラメーター：

パラメーター	型	説明
mute	boolean	カメラをミュートするかどうかを指定します。

switchCamera

カメラを切り替えます。

async switchCamera(deviceId?: string)

パラメーター：

パラメーター	型	説明
deviceId	string	デバイス ID です。`ARTCAICallEngine.getCameraList()` を呼び出して ID を取得できます。モバイルデバイスでこのパラメーターを渡さない場合、システムはフロントカメラとリアカメラを切り替えます。

switchVoiceId

音声を切り替えます。

async switchVoiceId(voiceId: string): Promise<void>

パラメーター：

パラメーター	型	説明
voiceId	string	音声 ID です。

mute

マイクをミュートまたはミュート解除します。

async mute(mute: boolean): Promise<void>

パラメーター：

パラメーター	型	説明
mute	boolean	マイクをミュートまたはミュート解除します。

muteAgentAudioPlaying

エージェントのオーディオストリームの再生を停止または再開します。

muteAgentAudioPlaying(mute: boolean)

パラメーター：

パラメーター	型	説明
mute	boolean	オーディオをミュートするかどうかを指定します。

startPushToTalk

プッシュツートークモードで発話を開始します。

startPushToTalk() : boolean;

finishPushToTalk

プッシュツートークモードで発話を終了します。

finishPushToTalk() : boolean;

cancelPushToTalk

プッシュツートークモードで現在の発話をキャンセルします。

cancelPushToTalk() : boolean;

enablePushToTalk

プッシュツートークモードを有効または無効にします。このモードを有効にすると、エージェントはfinishPushToTalkが呼び出された後にのみ認識結果を送信します。

enablePushToTalk(enable: boolean): boolean;

パラメーター：

パラメーター	型	説明
enable	boolean	モードを無効または有効にします。

getRTCInstance

ARTC エンジンインスタンスを取得します。

getRTCInstance(): AliRtcEngine | undefined

sendTextToAgent

エージェントにテキストメッセージを送信します。

sendTextToAgent(req: AICallSendTextToAgentRequest);

パラメーター：

パラメーター

型

説明

req

AICallSendTextToAgentRequest

送信するメッセージ構造体です。

new AICallSendTextToAgentRequest(text)

sendCustomMessageToServer

サーバーにカスタムメッセージを送信します。呼び出しが接続された後に呼び出す必要があります。

sendCustomMessageToServer(msg: string)

パラメーター：

パラメーター	型	説明
msg	string	送信する内容です。

updateLlmSystemPrompt

大規模言語モデル (LLM) のシステムプロンプトを更新します。呼び出しが接続された後に呼び出す必要があります。

updateLlmSystemPrompt(prompt: string)

パラメーター：

パラメーター	型	説明
prompt	string	プロンプトです。

updateVcrConfig

VCR 構成を更新します。

 public updateVcrConfig(vcrConfig: AICallAgentVcrConfig)

パラメーター：

パラメーター	型	説明
vcrConfig	AICallAgentVcrConfig	VCR 構成です。

updateBailianAppParams

Model Studio アプリケーションのパラメーターを更新します。

public updateBailianAppParams(params: JSONObject)

パラメーター：

パラメーター	型	説明
params	JSONObject	Model Studio アプリケーションのパラメーターです。

startVisionCustomCapture

視覚理解エージェントの場合、カスタムフレームキャプチャを開始します。このメソッドを呼び出すと、エージェントとの音声インタラクションは無効になります。呼び出しが接続された後に呼び出す必要があります。

startVisionCustomCapture(req: AICallVisionCustomCaptureRequest)

パラメーター：

パラメーター

型

説明

req

AICallVisionCustomCaptureRequest

構成情報です。

{
  /**
   * マルチモーダル大規模モデルへのリクエストのテキストパラメーターです。
   */
  text?: string;

  /**
   * true の場合、単一フレームをキャプチャし、システムは直ちにカスタムフレームキャプチャ状態を終了します。
   * false の場合、フレームを継続的にキャプチャし、システムは指定した期間の経過後にカスタムフレームキャプチャ状態を終了します。
   */
  isSingle?: boolean;

  /**
   * フレームキャプチャの間隔です。
   * デフォルト： 5 秒。
   */
  eachDuration?: number;

  /**
   * 1 回あたりにキャプチャする画像の枚数です。
   * デフォルト： 2。
   */
  num?: number;

  /**
   * 継続的なフレームキャプチャの継続時間 (秒) です。isSingle が true の場合、このパラメーターは無視されます。それ以外の場合、指定した期間に達するとカスタムフレームキャプチャ状態が終了します。
   */
  duration?: number;

  /**
   * カスタム業務情報を含む JSON 文字列です。この情報は、業務処理のためにテキストおよび画像フレームとともに大規模モデルに送信されます。
   */
  userData?: string;
}

stopVisionCustomCapture

視覚理解エージェントの場合、カスタムフレームキャプチャを停止します。呼び出しが接続された後に呼び出す必要があります。

stopVisionCustomCapture()

destroy

リソースを解放します。

async destroy()

ARTCAICallEngine イベント詳細

errorOccurred

通話中にエラーが発生したことを通知します。

パラメーター：

パラメーター	型	説明
code	AICallErrorCode	エラーの種類。

callBegin

通話が開始されたことを通知します。

callEnd

通話が終了したことを通知します。

agentStateChange

エージェントの状態が変化したことを通知します。

パラメーター：

パラメーター	型	説明
state	AICallAgentState	エージェントの現在の状態：Listening、Thinking、または Speaking。

speakingVolumeChanged

発話音量の変化を通知します。

パラメーター：

パラメーター	型	説明
uid	文字列	発話者の UID。空文字列は現在のユーザーを示します。
volume	Int32	音量。範囲：0 ～ 100。

userSubtitleNotify

ユーザーの入力に対するエージェントの音声認識結果を通知します。

パラメーター：

パラメーター	型	説明
subtitle	AICallSubtitleData	字幕情報。

agentSubtitleNotify

エージェントの応答のテキストを通知します。

パラメーター：

パラメーター	型	説明
subtitle	AICallSubtitleData	字幕情報。

voiceIdChanged

現在の通話の音声が変更されたことを通知します。

パラメーター：

パラメーター	型	説明
voiceId	文字列	現在の音声 ID。

pushToTalkChanged

プッシュツートークモードが変更されたことを通知します。

パラメーター：

パラメーター	型	説明
enable	ブール値	モードが有効かどうか。

agentWillLeave

エージェントが通話を終了しようとしていることを通知します。

パラメーター：

パラメーター	型	説明
reason	number	退出理由：2001 (アイドルタイムアウト) または 0 (その他)。
message	文字列	退出理由の説明。

receivedAgentCustomMessage

エージェントからカスタムメッセージを受信したことを通知します。

パラメーター：

パラメーター	型	説明
data	Object	メッセージの内容。

voiceInterruptChanged

現在の通話の音声割り込みが有効または無効になったことを通知します。

パラメーター：

パラメーター	型	説明
enable	ブール値	機能が有効かどうか。

humanTakeoverWillStart

オペレーターが通話を引き継ごうとしていることを通知します。

パラメーター：

パラメーター	型	説明
takeoverUid	文字列	オペレーターの UID。
takeoverMode	number	1：オペレーターの音声を出力します。0：エージェントの音声を出力します。

humanTakeoverConnected

オペレーターが接続し、通話を引き継いだことを通知します。

パラメーター：

パラメーター	型	説明
takeoverUid	文字列	オペレーターの UID。

agentEmotionNotify

エージェントの感情分析結果を通知します。

パラメーター：

パラメーター	型	説明
emotion	文字列	感情ラベル (neutral、happy、angry、sad など)。
userAsrSentenceId	number	この感情分析の対象となったユーザーの音声認識結果の文 ID。

agentDataChannelAvailable

エージェントメッセージチャネルが利用可能になったときに発生します。このコールバックが発生した後、エージェントへのメッセージ送信を開始できます。

receivedAgentVcrResult

エージェントから VCR 結果を受信したことを通知します。詳細については、「AICallAgentVcrResult」をご参照ください。

receivedAgentVcrResult: (result: AICallAgentVcrResult) => void;

パラメーター：

パラメーター	型	説明
result	AICallAgentVcrResult	VCR 結果。