Intelligent Media Services:API 操作の詳細

現在の通話のユーザー ID を取得します。

var userId: String? {get}

通話が進行中かどうかを示します。値は、通話が接続されてから終了するかエラーが発生するまでは true になり、それ以外の場合は false になります。

var isOnCall: Bool { get }

現在のエージェントに関する情報を取得します。これには、エージェントタイプ、チャンネル ID、チャンネル内のエージェントの UID、およびエージェントの実行中のインスタンス ID が含まれます。詳細については、「ARTCAICallAgentInfo」をご参照ください。

var agentInfo: ARTCAICallAgentInfo? { get }

エージェントの現在の状態を取得します。状態には、リスニング、思考、発話が含まれます。詳細については、「ARTCAICallAgentState」をご参照ください。

var agentState: ARTCAICallAgentState { get }

コールバックイベントを設定および取得します。コールバックイベントの詳細については、「ARTCAICallEngineDelegate」をご参照ください。

weak var delegate: ARTCAICallEngineDelegate? { get set }

通話を開始します。

func call(userId: String, token: String, agentInfo: ARTCAICallAgentInfo, completed:((_ error: NSError?) -> Void)?)

パラメーターの詳細：

通話設定を使用して通話を開始します。

func call(config: ARTCAICallConfig) -> Bool

パラメーターの詳細：

通話を終了します。

 func handup(_ stopAIAgent: Bool)

パラメーターの詳細：

オーディオ設定を指定します。これには、サンプルレート、サウンドチャンネル数、ビットレートなどのエンコーディング設定、およびデフォルトシナリオや音楽シナリオなどのシナリオ設定が含まれます。詳細については、「ARTCAICallAudioConfig」をご参照ください。このパラメーターは、通話前に設定された場合にのみ有効になります。

var audioConfig: ARTCAICallAudioConfig { set get }

ビデオ設定を指定します。このパラメーターは、通話前に設定された場合にのみ有効になります。これは `VisionAgent` と `VideoAgent` でのみ有効です。詳細については、「ARTCAICallVideoConfig」をご参照ください。

var videoConfig: ARTCAICallVideoConfig { set get }

ローカルカメラのレンダリングビューと設定を行います。これは `VisionAgent` と `VideoAgent` でのみ有効です。詳細については、「ARTCAICallViewConfig」をご参照ください。

func setLocalViewConfig(viewConfig: ARTCAICallViewConfig?)

パラメーターの詳細：

エージェントのレンダリングビュー設定を行います。これは、エージェントが画像レンダリングを行う場合に必要です。これは `VisionAgent` と `VideoAgent` でのみ有効です。詳細については、「ARTCAICallViewConfig」をご参照ください。

func setAgentViewConfig(viewConfig: ARTCAICallViewConfig?)

パラメーターの詳細：

エージェントの発話を中断します。

func interruptSpeaking() -> Bool

スマート割り込みを有効または無効にします。

func enableVoiceInterrupt(enable: Bool) -> Bool

パラメーターの詳細：

音声を切り替えます。

func switchVoiceId(voiceId: String) -> Bool

パラメーターの詳細：

スピーカーを有効または無効にします。

func enableSpeaker(enable: Bool) -> Bool

パラメーターの詳細：

プッシュツートークモードを有効または無効にします。プッシュツートークモードでは、`finishPushToTalk` が呼び出された後にのみ、エージェントは結果を報告します。

func enablePushToTalk(enable: Bool) -> Bool

パラメーターの詳細：

プッシュツートークモードで、発話を開始します。

func startPushToTalk() -> Bool

プッシュツートークモードで、発話を終了します。

func finishPushToTalk() -> Bool

プッシュツートークモードで、現在の発話をキャンセルします。

func cancelPushToTalk() -> Bool

マイクをミュートまたはミュート解除します。

func muteMicrophone(mute: Bool) -> Bool

パラメーターの詳細：

エージェントのオーディオストリームの再生を停止または再開します。

func muteAgentAudioPlaying(mute: Bool) -> Bool

パラメーターの詳細：

これはビジョンエージェントを使用する場合に設定する必要があり、通話前に設定された場合にのみ有効になります。視覚設定には、解像度とフレームレートが含まれます。詳細については、「ARTCAICallVisionConfig」をご参照ください。

var visionConfig: ARTCAICallVisionConfig { set get }

カメラを無効または有効にします。

func muteLocalCamera(mute: Bool) -> Bool

パラメーターの詳細：

フロントカメラとリアカメラを切り替えます。

func switchCamera() -> Bool

共有エージェント情報を解析します。解析が成功した場合、`ARTCAICallAgentShareConfig` 型のインスタンスが返されます。このインスタンスを使用して、共有エージェント通話を開始できます。

func parseShareAgentCall(shareInfo: String) -> ARTCAICallAgentShareConfig?

パラメーターの詳細：

共有エージェント通話を開始します。

func generateShareAgentCall(shareConfig: ARTCAICallAgentShareConfig, userId: String, completed: ((_ rsp: ARTCAICallAgentInfo?, _ token: String?, _ error: NSError?, _ reqId: String) -> Void)?)

パラメーターの詳細：

ARTC エンジンを取得します。

func getRTCInstance() -> AnyObject?

エージェントにテキストメッセージを送信します。

func sendTextToAgent(req: ARTCAICallSendTextToAgentRequest) -> Bool

パラメーターの詳細：

カスタムメッセージをサーバーに送信します。このメソッドは、通話が接続された後に呼び出す必要があります。

func sendCustomMessageToServer(msg: String) -> Bool

パラメーターの詳細：

大規模言語モデル (LLM) のシステムプロンプトを更新します。このメソッドは、通話が接続された後に呼び出す必要があります。

func updateLlmSystemPrompt(prompt: String) -> Bool

パラメーターの詳細：

Model Studio アプリケーションのパラメーターを更新します。

func updateBailianAppParams(params: [String: Any]) -> Bool

パラメーターの詳細：

ビデオカセットレコーディング (VCR) の設定を更新します。

 func updateVcrConfig(vcrConfig: ARTCAICallAgentVcrConfig) -> Bool

パラメーターの詳細：

視覚理解エージェントの場合、カスタムフレームキャプチャを開始します。開始後は、音声でエージェントと対話することはできません。このメソッドは、通話が接続された後に呼び出す必要があります。

func startVisionCustomCapture(req: ARTCAICallVisionCustomCaptureRequest) -> Bool

パラメーターの詳細：

視覚理解エージェントの場合、カスタムフレームキャプチャを終了します。このメソッドは、通話が接続された後に呼び出す必要があります。

func stopVisionCustomCapture() -> Bool

リソースを解放します。

func destroy()

現在の通話中にエラーが発生しました。

@objc optional func onErrorOccurs(code: ARTCAICallErrorCode)

パラメーターの詳細：

通話エージェントが開始されました。

@objc optional func onAgentStarted()

通話が開始されました。

@objc optional func onCallBegin()

通話が終了しました。

@objc optional func onCallEnd()

エージェントのビデオが利用可能かどうかを示します。

@objc optional func onAgentVideoAvailable(available: Bool)

パラメーターの詳細：

エージェントのオーディオが利用可能かどうかを示します。

@objc optional func onAgentAudioAvailable(available: Bool)

パラメーターの詳細：

ARTC エンジンが作成されます。このコールバックで `getRTCInstance` を呼び出して、ARTC エンジンインスタンスを取得できます。

@objc optional func onRTCEngineCreated()

現在の通話でプッシュツートークモードが有効になっているかどうかを示します。

@objc optional func onPushToTalk(enable: Bool)

パラメーターの詳細：

現在のエージェントが退出し、現在の通話が終了しようとしています。

@objc optional func onAgentWillLeave(reason: Int32, message: String)

パラメーターの詳細：

現在のエージェントからカスタムメッセージが受信されました。

@objc optional func onReceivedAgentCustomMessage(data: [String: Any]?)

パラメーターの詳細：

エージェントの状態が変更されました。

@objc optional func onAgentStateChanged(state: ARTCAICallAgentState)

パラメーターの詳細：

ネットワークステータスが変更されました。

@objc optional func onNetworkStatusChanged(uid: String, quality: ARTCAICallNetworkQuality)

パラメーターの詳細：

音量が変更されたときに通知が送信されます。

@objc optional func onVoiceVolumeChanged(uid: String, volume: Int32)

パラメーターの詳細：

エージェントによるユーザーの質問の認識結果を含む通知。

@objc optional func onUserSubtitleNotify(text: String, isSentenceEnd: Bool, sentenceId: Int)

パラメーターの詳細：

エージェントの回答を含む通知。

@objc optional func onVoiceAgentSubtitleNotify(text: String, isSentenceEnd: Bool, userAsrSentenceId: Int)

パラメーターの詳細：

現在の通話で LLM が応答を完了しました。

@objc optional func onLLMReplyCompleted(text: String, userAsrSentenceId: Int)

パラメーターの詳細：

現在の通話の音声が変更されました。

@objc optional func onVoiceIdChanged(voiceId: String)

パラメーターの詳細：

現在の通話で音声割り込みが有効になっているかどうかを示します。

@objc optional func onVoiceInterrupted(enable: Bool)

パラメーターの詳細：

エージェントの現在の発話が中断されました。

@objc optional func onSpeakingInterrupted(reason: ARTCAICallSpeakingInterruptedReason)

パラメーターの詳細：

現在の視覚理解通話でカスタムフレームキャプチャモードが有効になっているかどうかを示します。

@objc optional func onVisionCustomCapture(enable: Bool)

パラメーターの詳細：

エージェントのデジタルヒューマンの最初のフレームがレンダリングされました。

@objc optional func onAgentAvatarFirstFrameDrawn()

人間が現在のエージェントから引き継ごうとしています。

@objc optional func onHumanTakeoverWillStart(takeoverUid: String, takeoverMode: Int)

パラメーターの詳細：

人間による引き継ぎが接続されました。

@objc optional func onHumanTakeoverConnected(takeoverUid: String)

パラメーターの詳細：

エージェントの感情結果を含む通知。

@objc optional func onAgentEmotionNotify(emotion: String, userAsrSentenceId: Int)

パラメーターの詳細：

エージェントのメッセージチャネルの可用性を示すコールバック。このコールバックがトリガーされた後、エージェントにメッセージを送信できます。

@objc optional func onAgentDataChannelAvailable()

現在のエージェントから VCR 結果が受信されました。詳細については、「ARTCAICallAgentVcrResult」をご参照ください。

@objc optional func onReceivedAgentVcrResult(result: ARTCAICallAgentVcrResult)

通話中に接続ステータスが変更されました。

@objc optional func onConnectionStatusChange(status: ARTCAICallConnectionStatus, reason: Int32)

パラメーターの詳細：

オーディオのループバック遅延を提供します。

@objc optional func onAudioDelayInfo(sentenceId: Int32, delayMs: Int64)

パラメーターの詳細：

現在の通話中に RTC インスタンスを介して音楽伴奏が再生される場合、この再生コールバックがトリガーされます。

 @objc optional func onAudioAccompanyStateChanged(state: ARTCAICallAudioAccompanyState, errorCode: ARTCAICallAudioAccompanyErrorCode)

パラメーターの詳細：

デフォルトのエンジンインスタンスを作成します。

public static func createEngine() -> ARTCAICallEngineInterface