Intelligent Media Services:API オペレーションの詳細

現在の呼び出しにおけるユーザー ID です。

var userId: String? {get}

通話中かどうかを示します。通話が接続済みになってから終了するかエラーが発生するまで、値は true です。それ以外の場合、値は false です。

var isOnCall: Bool { get }

現在のエージェントに関する情報です。エージェントタイプ、チャネル ID、チャネル内のエージェント UID、およびエージェントの実行中のインスタンス ID が含まれます。詳細については、「ARTCAICallAgentInfo」をご参照ください。

var agentInfo: ARTCAICallAgentInfo? { get }

リスニング、思考中、発話中など、エージェントの現在の状態です。詳細については、「ARTCAICallAgentState」 をご参照ください。

var agentState: ARTCAICallAgentState { get }

コールバックイベントを設定および取得します。コールバックイベントの詳細については、「ARTCAICallEngineDelegate」をご参照ください。

weak var delegate: ARTCAICallEngineDelegate? { get set }

通話を開始します。

func call(userId: String, token: String, agentInfo: ARTCAICallAgentInfo, completed:((_ error: NSError?) -> Void)?)

パラメーターの詳細：

パラメーター	型	説明
userId	String	現在のユーザーの UID。
token	String	通話に参加するためのトークン。
agentInfo	ARTCAICallAgentInfo	エージェント情報。
completed	((_ error: NSError?) -> Void)?	完了コールバック。

コール設定を使用してコールを開始します。

func call(config: ARTCAICallConfig) -> Bool

パラメーター

パラメーター	型	説明
config	ARTCAICallConfig	コール設定。

通話を終了します。

func handup(_ stopAIAgent: Bool)

パラメーター：

パラメーター	タイプ	説明
stopAIAgent	Bool	現在のエージェントタスクも同時に終了するかどうかを指定します。

通話をハングアップします。まず、エージェントに通話を停止するよう通知するメッセージを送信します。その後、システムは 100 ms 待機してから通話を終了します。

func handup(destroy: Bool)

パラメーターの詳細：

パラメーター	型	説明
destroy	Bool	ハングアップ後に現在のエンジンを破棄するかどうかを指定します。true に設定した場合、通話が完全にハングアップした後、内部的に destroy() メソッドを呼び出します。

オーディオ構成。エンコーディング設定 (サンプリングレート、チャンネル数、ビットレート) とシナリオ設定 (デフォルトとミュージック) が含まれます。詳細については、「ARTCAICallAudioConfig」をご参照ください。このパラメーターは、通話前に設定した場合にのみ有効になります。

var audioConfig: ARTCAICallAudioConfig { set get }

ビデオ構成です。VisionAgent と VideoAgent のみで有効です。通話前に設定した場合にのみ有効になります。詳細については、「ARTCAICallVideoConfig」をご参照ください。

var videoConfig: ARTCAICallVideoConfig { set get }

ローカルカメラのレンダリングビューと設定を指定します。VisionAgent と VideoAgent のみに有効です。詳細については、「ARTCAICallViewConfig」をご参照ください。

func setLocalViewConfig(viewConfig: ARTCAICallViewConfig?)

パラメーター：

パラメーター	型	説明
viewConfig	ARTCAICallViewConfig	ビューの設定です。空の値を指定すると、ビューはレンダリングされません。

エージェントのレンダリングビュー設定を指定します。エージェントに画像レンダリング機能がある場合に必須です。VisionAgent と VideoAgent にのみ有効です。詳細については、「ARTCAICallViewConfig」をご参照ください。

func setAgentViewConfig(viewConfig: ARTCAICallViewConfig?)

パラメーターの詳細：

パラメーター	タイプ	説明
viewConfig	ARTCAICallViewConfig?	レンダリングビューの設定です。レンダリングビュー、レンダリングモード、ミラーモード、回転モードが含まれます。

エージェントの発話を中断します。

func interruptSpeaking() -> Bool

スマート割り込みを有効または無効にします。

func enableVoiceInterrupt(enable: Bool) -> Bool

パラメーター：

パラメーター	型	説明
enable	Bool	機能を有効にするかどうかを指定します。

音声を切り替えます。

func switchVoiceId(voiceId: String) -> Bool

パラメーター：

パラメーター	タイプ	説明
voiceId	文字列	音声 ID

スピーカーを有効化または無効化します。

func enableSpeaker(enable: Bool) -> Bool

パラメータの詳細：

パラメータ	タイプ	説明
enable	Bool	有効化/無効化

プッシュトゥトークモードを有効または無効にします。このモードでは、finishPushToTalk が呼び出された後にのみ、エージェントが結果を報告します。

func enablePushToTalk(enable: Bool) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
enable	Bool	モードを有効または無効にします。

プッシュツートーク モードで発話を開始します。

func startPushToTalk() -> Bool

プッシュツートーク モードでの発話を終了します。

func finishPushToTalk() -> Bool

プッシュツートークモードで現在の発話をキャンセルします。

func cancelPushToTalk() -> Bool

マイクをミュートにするか、ミュートを解除します。

func muteMicrophone(mute: Bool) -> Bool

パラメーターの詳細：

パラメーター	型	説明
mute	Bool	マイクをミュートにするかどうかを指定します。true の場合、マイクはミュートになります。false の場合、マイクはミュート解除されます。

エージェントのオーディオストリームの再生を停止、または再開します。

func muteAgentAudioPlaying(mute: Bool) -> Bool

パラメーターの詳細：

パラメーター	型	説明
mute	Bool	再生を停止するかどうかを指定します。

このパラメーターは、ビジュアルエージェントを使用する場合に設定が必要で、呼び出し前に設定した場合にのみ有効になります。ビジュアル設定には、解像度とフレームレートが含まれます。詳細については、「ARTCAICallVisionConfig」をご参照ください。

var visionConfig: ARTCAICallVisionConfig { set get }

ローカルカメラをミュート、またはミュート解除します。

func muteLocalCamera(mute: Bool) -> Bool

パラメーターの詳細：

パラメーター	型	説明
mute	Bool	ミュートを有効または無効にします。

フロントカメラとリアカメラを切り替えます。

func switchCamera() -> Bool

共有エージェントの情報を解析します。成功すると、共有エージェントコールの開始に使用できる ARTCAICallAgentShareConfig インスタンスを返します。

func parseShareAgentCall(shareInfo: String) -> ARTCAICallAgentShareConfig?

パラメーターの詳細は次のとおりです。

パラメーター	タイプ	説明
shareInfo	文字列	共有エージェントの情報。コンソールで生成できます。

共有エージェントの呼び出しを開始します。

func generateShareAgentCall(shareConfig: ARTCAICallAgentShareConfig, userId: String, completed: ((_ rsp: ARTCAICallAgentInfo?, _ token: String?, _ error: NSError?, _ reqId: String) -> Void)?)

パラメーターの詳細：

パラメーター	タイプ	説明
shareConfig	ARTCAICallAgentShareConfig	共有エージェントの設定です。共有 ID、エージェントタイプ、Time-to-Live (TTL)、テンプレート設定、およびリージョンが含まれます。定義は SDK で確認できます。
userId	文字列	現在ログインしているユーザーの ID です。
completed	((_ rsp: ARTCAICallAgentInfo?, _ token: String?, _ error: NSError?, _ reqId: String) -> Void)?	操作完了のイベントです。

RTC インスタンスを取得します。

func getRTCInstance() -> AnyObject?

エージェントにテキストメッセージを送信します。

func sendTextToAgent(req: ARTCAICallSendTextToAgentRequest) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
req	ARTCAICallSendTextToAgentRequest	送信するテキストメッセージのリクエストパラメーター。

カスタムメッセージをサーバーに送信します。通話が接続された後に呼び出す必要があります。

func sendCustomMessageToServer(msg: String) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
msg	文字列	送信する内容です。

大規模言語モデル (LLM) のシステムプロンプトを更新します。呼び出しが接続された後に呼び出す必要があります。

func updateLlmSystemPrompt(prompt: String) -> Bool

パラメーターの詳細：

パラメーター	型	説明
prompt	文字列	プロンプト。

Alibaba Cloud Model Studio のパラメーターを更新します。

func updateBailianAppParams(params: [String: Any]) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
params	[String: Any]	Alibaba Cloud Model Studio のパラメーターです。

ビデオコンテンツ認識 (VCR) の設定を更新します。

 func updateVcrConfig(vcrConfig: ARTCAICallAgentVcrConfig) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
vcrConfig	ARTCAICallAgentVcrConfig	VCR の設定です。

視覚理解エージェント向けに、カスタム フレーム キャプチャを開始します。開始後は、音声インタラクションが無効になります。この操作は、通話が接続済みの後に呼び出す必要があります。

func startVisionCustomCapture(req: ARTCAICallVisionCustomCaptureRequest) -> Bool

パラメーター：

パラメーター	型	説明
req	ARTCAICallVisionCustomCaptureRequest	設定情報。

視覚理解エージェントのカスタム フレーム キャプチャを停止します。この関数は、コールが接続済みになった後に呼び出す必要があります。

func stopVisionCustomCapture() -> Bool

音声区間検出のしきい値を更新します。このしきい値を超える無音期間は、文の区切りと判断されます。

func updateAsrMaxSilence(duration: Int32) -> Bool

パラメーターの詳細：

パラメーター	タイプ	説明
duration	Int32	ミリ秒単位のデュレーション。値の範囲は 200 ms ～ 1200 ms です。

音声合成 (TTS) の話す速度を更新します。すべての TTS タイプがサポートされています。値の範囲は 0.5 ～ 2.0 です。

func updateTtsSpeechRate(rate: Double) -> Bool

パラメーター：

パラメーター	型	説明
rate	Double	話す速度。値の範囲は 0.5 ～ 2.0 です。

ARTC エンジンを事前に作成します。呼び出さない場合、通話開始時にエンジンが作成されます。

func createRTCEngine()

リソースを破棄する。

func destroy()

コール中にエラーが発生したときに呼び出されます。

@objc optional func onErrorOccurs(code: ARTCAICallErrorCode)

パラメーターの詳細：

パラメーター	タイプ	説明
code	ARTCAICallErrorCode	エラータイプ。

コールエージェントが実行中です。

@objc optional func onAgentStarted()

コールが開始されたことを示します。

@objc optional func onCallBegin()

通話終了

@objc optional func onCallEnd()

エージェントのビデオがアクティブかどうかを示します。

@objc optional func onAgentVideoAvailable(available: Bool)

パラメーターの詳細：

パラメーター	タイプ	説明
available	Bool	ビデオがアクティブかどうかを示します。

エージェントのオーディオがアクティブかどうかを示します。

@objc optional func onAgentAudioAvailable(available: Bool)

パラメーターの詳細：

パラメーター	タイプ	説明
available	Bool	オーディオが利用可能かどうかを示します。

このコールバックは、ARTC エンジンの作成時に呼び出されます。このコールバック内で getRTCInstance を呼び出して、ARTC エンジンインスタンスを取得できます。

@objc optional func onRTCEngineCreated()

現在の通話でトランシーバーモードが有効になっているかどうかを示します。

@objc optional func onPushToTalk(enable: Bool)

パラメーターの詳細：

パラメーター	タイプ	説明
enable	Bool	モードが有効になっているかどうかを示します。

現在のエージェントが通話を終了しようとしています。

@objc optional func onAgentWillLeave(reason: Int32, message: String)

パラメーターの詳細：

パラメーター	タイプ	説明
reason	Int32	離脱の理由：2001 (アイドルによる終了) または 0 (その他)。
message	文字列	離脱理由の説明。

現在のエージェントからカスタムメッセージを受信すると、このコールバックが呼び出されます。

@objc optional func onReceivedAgentCustomMessage(data: [String: Any]?)

パラメーターの詳細：

パラメーター	タイプ	説明
data	[String: Any]?	メッセージコンテンツ。

エージェントの状態が変化したことを通知します。

@objc optional func onAgentStateChanged(state: ARTCAICallAgentState)

パラメーターの詳細：

パラメーター	型	説明
state	ARTCAICallAgentState	エージェントの現在の状態 (リスニング、シンキング、またはスピーキング) を示します。

ネットワーク状態の変更

@objc optional func onNetworkStatusChanged(uid: String, quality: ARTCAICallNetworkQuality)

パラメーターの詳細：

パラメーター	型	説明
uid	文字列	現在の発話者の UID です。
quality	ARTCAICallNetworkQuality	ネットワーク品質。 excellent (良好)、good (良い)、fair (普通)、poor (不良)、very poor (非常に悪い)、disconnected (切断)、および unknown (不明) が含まれます。

音量変更の通知です。

@objc optional func onVoiceVolumeChanged(uid: String, volume: Int32)

パラメーターの詳細：

パラメーター	タイプ	説明
uid	文字列	現在の話者の UID です。
volume	Int32	音量。 値の範囲は 0～255 です。

ユーザーの質問がエージェントによって認識された際の通知です。

@objc optional func onUserSubtitleNotify(text: String, isSentenceEnd: Bool, sentenceId: Int)

パラメーターの詳細：

パラメーター	型	説明
text	文字列	エージェントが認識した質問テキストです。
isSentenceEnd	Bool	現在のテキストがこの文の最終結果であるかどうかを示します。
sentenceId	Int	現在のテキストが属する文の ID です。

エージェントからの応答を通知します。

@objc optional func onVoiceAgentSubtitleNotify(text: String, isSentenceEnd: Bool, userAsrSentenceId: Int)

パラメーターの詳細：

パラメーター	型	説明
text	文字列	エージェントからの応答テキスト。
isSentenceEnd	ブール型	現在のテキストがこの応答の最後の文であるかどうかを示します。
userAsrSentenceId	整数型	この応答が対応するユーザーの質問文の ID。

LLM が応答を完了しました。

@objc optional func onLLMReplyCompleted(text: String, userAsrSentenceId: Int)

パラメーターの詳細：

パラメーター	型	説明
text	文字列	LLM が出力したテキストです。
userAsrSentenceId	整数	ユーザーの質問に対応する文の ID です。

現在の通話の音色が変更されました。

@objc optional func onVoiceIdChanged(voiceId: String)

パラメーターの詳細：

パラメーター	型	説明
voiceId	文字列	現在の音声 ID です。

現在の通話で音声割り込みが有効かどうかを通知します。

@objc optional func onVoiceInterrupted(enable: Bool)

パラメーターの詳細：

パラメーター	タイプ	説明
enable	Bool	機能が有効かどうかを示します。

エージェントの発話が割り込まれました。

@objc optional func onSpeakingInterrupted(reason: ARTCAICallSpeakingInterruptedReason)

パラメーターの詳細：

パラメーター	タイプ	説明
reason	ARTCAICallSpeakingInterruptedReason	特定の単語による割り込みなど、割り込みの理由を示します。

このコールバックは、現在の視覚理解の呼び出しにおいて、カスタムフレームキャプチャモードが有効になっているかどうかを示します。

@objc optional func onVisionCustomCapture(enable: Bool)

パラメーターの詳細：

パラメーター	型	説明
enable	Bool	モードが有効になっているかどうかを示します。

エージェントデジタルヒューマン：初回フレームのレンダリング

@objc optional func onAgentAvatarFirstFrameDrawn()

有人エージェントがテイクオーバーしようとしているとき

@objc optional func onHumanTakeoverWillStart(takeoverUid: String, takeoverMode: Int)

パラメーターの詳細：

パラメーター	タイプ	説明
takeoverUid	文字列	人間の UID。
takeoverMode	整数	1：人間の音声が出力に使用されます。0：エージェントの音声が出力に使用されます。

ヒューマンテイクオーバーが接続されると、このコールバックが呼び出されます。

@objc optional func onHumanTakeoverConnected(takeoverUid: String)

パラメーター：

パラメーター	型	説明
takeoverUid	文字列	ヒューマンテイクオーバーを行った担当者の UID です。

エージェントの感情に関する通知。

@objc optional func onAgentEmotionNotify(emotion: String, userAsrSentenceId: Int)

パラメーターの詳細：

パラメーター	タイプ	説明
emotion	文字列	neutral、happy、angry、sad などの感情ラベル。
userAsrSentenceId	Int	ユーザーの質問に答える文の ID。

エージェントのメッセージチャネルが利用可能になった際のコールバックです。このコールバックが呼び出された後、エージェントにメッセージを送信できるようになります。

@objc optional func onAgentDataChannelAvailable()

このコールバックは、現在のエージェントから VCR 結果を受信したときに呼び出されます。詳細については、「ARTCAICallAgentVcrResult」をご参照ください。

@objc optional func onReceivedAgentVcrResult(result: ARTCAICallAgentVcrResult)

接続ステータスは通話中に変化する可能性があります。

@objc optional func onConnectionStatusChange(status: ARTCAICallConnectionStatus, reason: Int32)

パラメーターの詳細：

パラメーター	タイプ	説明
status	ARTCAICallConnectionStatus	状態コード： Init: 初期化が完了しました。 Disconnected: ネットワーク接続が切断されています。 Connecting: 接続中です。 Connected: 接続が確立されました。 Reconnecting: 再接続中です。 Failed: 接続に失敗しました。
reason	Int32	原因

オーディオループバックレイテンシーです。

@objc optional func onAudioDelayInfo(sentenceId: Int32, delayMs: Int64)

パラメーターの詳細：

パラメーター	タイプ	説明
sentenceId	Int32	センテンス ID です。
delayMs	Int64	オーディオループバックレイテンシー (ミリ秒) です。

現在の通話で ARTC インスタンスを使用してバックグラウンドミュージックを再生すると、このコールバックがトリガーされます。

 @objc optional func onAudioAccompanyStateChanged(state: ARTCAICallAudioAccompanyState, errorCode: ARTCAICallAudioAccompanyErrorCode)

パラメーターの詳細：

パラメーター	タイプ	説明
state	ARTCAICallAudioAccompanyState	バックグラウンドミュージックの再生状態： • ARTCAICallAudioAccompanyStarted (100): 再生開始。 • ARTCAICallAudioAccompanyStopped (101): 再生停止。 • ARTCAICallAudioAccompanyPaused (102): 一時停止。 • ARTCAICallAudioAccompanyResumed (103): 再生再開。 • ARTCAICallAudioAccompanyEnded (104): 再生完了。 • ARTCAICallAudioAccompanyBuffering (105): バッファリング。 • ARTCAICallAudioAccompanyBufferingEnd (106): バッファリング終了。 • ARTCAICallAudioAccompanyFailed (107): 再生失敗。
errorCode	ARTCAICallAudioAccompanyErrorCode	再生エラーコード： • ARTCAICallAudioAccompanyNoError (0): エラーなし。 • ARTCAICallAudioAccompanyUnknowError (-1): 不明なエラー。 • ARTCAICallAudioAccompanyOpenFailed (-100): ファイルのオープンに失敗しました。 • ARTCAICallAudioAccompanyDecodeFailed (-101): ファイルのデコードに失敗しました。

デフォルトのエンジンインスタンスを作成します。

public static func createEngine() -> ARTCAICallEngineInterface