Intelligent Media Services：API介面詳情

初始化

/**
 * 初始化
 * @param config 初始化配置
 */
public abstract void init(ARTCAICallConfig config);

參數詳情：

設定智能體類型

/**
 * 設定智能體類型
 * @param aiAgentType
 */
public abstract void setAICallAgentType(ARTCAICallAgentType aiAgentType);

參數詳情：

建立&開始通話

/**
 * 建立&開始通話
 */
public abstract void call(String rtcToken, String aiAgentInstanceId, String aiAgentUserId, String channelId);

參數詳情：

開始呼叫智能體通話, 此介面是SDK介面呼叫智能體介面，需要傳入RTC 的入房Token作為鑒權token，並在 ARTCAICallConfig 中設定mAiCallAgentTemplateConfig相關的智能體ID、智能體地區及相關啟動參數。

/**
   * 開始呼叫智能體通話
   * @param rtcToken 本端使用者加入到RTC房間的鑒權Token
   * @detail 此介面使用SDK的介面呼叫智能體，需要傳入RTC 的入房Token，並在 ARTCAICallConfig 中
   * 設定mAiCallAgentTemplateConfig相關的智能體ID、智能體地區及相關啟動參數
   */
public abstract void call(String rtcToken);

參數詳情：

掛斷

/**
 * 掛斷
 */
public abstract void handup();

切換麥克風狀態

/**
 * 切換麥克風狀態
 * @param on
 */
public abstract void switchMicrophone(boolean on);

參數詳情：

打斷機器人說話

/**
 * 打斷機器人說話
 */
public abstract boolean interruptSpeaking();

開啟/關閉智能打斷

/**
 * 開啟/關閉智能打斷
 */
public abstract boolean enableVoiceInterrupt(boolean enable);

參數詳情：

擴音器/耳機切換。true: 擴音器播放，false: 耳機播放

/**
 * 擴音器/耳機切換
 */
public abstract boolean enableSpeaker(boolean enable);

參數詳情：

停止/恢複智能體音頻流的播放

public abstract boolean muteAgentAudioPlaying(boolean mute);

參數詳情：

開啟/關閉對講機模式

/**
 * 開啟/關閉對講機模式，對講機模式下，只有在finishPushToTalk被調用後，智能體才會播報結果
 * @param enable
 * @return
 */
public abstract boolean enablePushToTalk(boolean enable);

參數詳情：

對講機模式是否開啟

/**
 * 對講機模式是否開啟
 * @return
 */
public abstract boolean isPushToTalkEnable();

對講機模式：開始講話

/**
 * 對講機模式：開始講話
 * @return
 */
public abstract boolean startPushToTalk();

對講機模式：結束講話

/**
 * 對講機模式：結束講話
 * @return
 */
public abstract boolean finishPushToTalk();

對講機模式：取消這次通話

/**
 * 對講機模式：取消這次通話
 * @return
 */
public abstract boolean cancelPushToTalk();

切換音色

/**
 * 切換音色
 */
public abstract boolean switchRobotVoice(String voiceId);

參數詳情：

擷取正在使用的音色

/**
 * 擷取正在使用的音色
 * @return
 */
public abstract String getRobotVoiceId();

註冊回調

/**
 * 註冊回調
 * @param engineCallback
 */
public abstract void setEngineCallback(IARTCAICallEngineCallback engineCallback);

參數詳情：

是否關閉麥克風

/**
 * 是否關閉麥克風
 * @return
 */
public abstract boolean isMicrophoneOn();

是否是擴音器播放，true: 擴音器播放，false: 耳機播放。

/**
 * 是否是擴音器播放
 * @return
 */
public abstract boolean isSpeakerOn();

智能打斷是否開啟

/**
 * 智能打斷是否開啟
 * @return
 */
public abstract boolean isVoiceInterruptEnable();

設定數字人視圖載體並指定渲染模式

public abstract void setAvatarAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams avatarLayoutParams, ARTCAICallVideoCanvas canvas);

參數詳情：

設定視覺理解本地視圖載體並指定渲染模式

public abstract void setVisionPreviewView(ViewGroup viewGroup, ViewGroup.LayoutParams visionLayoutParams, ARTCAICallVideoCanvas canvas);

參數詳情：

關閉/取消關閉網路攝影機

/**
 * 關閉/取消關閉網路攝影機
 */
public abstract boolean muteLocalCamera(boolean mute);

參數詳情：

網路攝影機是否關閉

/**
 * 網路攝影機是否關閉
 * @return
 */
public abstract boolean isLocalCameraMute();

切換前後網路攝影機

/**
 * 切換前後網路攝影機
 */
public abstract boolean switchCamera();

擷取RTC引擎執行個體

/**
 * 擷取rtc引擎執行個體
 * @return
 */
public abstract AliRtcEngine getRtcEngine();

擷取官方協議實現

/**
 * 擷取官方協議實現
 * @return
 */
public abstract IARTCAICallService getIARTCAICallService();

發送自訂訊息給LLM

/**
 * 發送自訂訊息給LLM
 * @param req
*/
public  boolean sendTextToAgent(ARTCAICallSendTextToAgentRequest req);

參數詳情：

給業務Server發送自訂訊息，需要在接通後調用

/**
 * 發送自訂訊息給AppServer
 * 複用智能體訊息通道，向AppServer發送訊息, 需要AppServer監聽回調拿到自訂的訊息
 * @param msg
 * @return true: 發送成功；false: 發送失敗
*/
public boolean sendCustomMessageToServer(String msg);

參數詳情：

更新LLM的系統提示詞，需要在接通後調用

/**
 * 更新llm的系統提示詞，例如：“你是一位友好且樂於助人的助手，專註於為使用者提供準確的資訊和建議。”
 * @param prompt
 * @return true: 更新成功；false: 更新失敗
*/
public boolean updateLlmSystemPrompt(String prompt)

參數詳情：

更新百鍊應用中心參數

public abstract boolean updateBailianAppParams(String params);

參數詳情：

更新VCR配置

 public abstract boolean updateVcrConfig(ARTCAICallAgentVcrConfig config);

參數詳情：

視覺理解智能體，開始啟動自訂截幀，啟動後，無法通過語音與智能體通話，需要在接通後調用

/**
 * Vision智能體，開始啟動自訂截幀，啟動後，無法通過語音與智能體通話
 * @param request 請求參數
 * @return true: 發送成功；false: 發送失敗
*/
public  boolean startVisionCustomCapture(ARTCAICallVisionCustomCaptureRequest request);

參數詳情：

視覺理解智能體，結束自訂截幀，需要在接通後調用

public  boolean stopVisionCustomCapture();

設定智能體視頻視圖載體

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams);

參數詳情：

設定智能體視頻視圖載體並指定渲染模式

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams, ARTCAICallVideoCanvas canvas);

參數詳情：

設定本地預覽視圖控制項

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams);

參數詳情：

設定本地預覽視圖控制項並指定渲染模式

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams, ARTCAICallVideoCanvas canvas);

參數詳情：

更新語音斷句檢測閾值，靜音時間長度超過該閾值會被認為斷句

public abstract boolean updateAsrMaxSilence(int duration);

參數詳情：

更新TTS播報語速，支援所有TTS類型，取值範圍為[0.5, 2.0]

public abstract boolean updateTtsSpeechRate(double rate);

參數詳情：

擷取當前智能體運行時資訊

public abstract ARTCAICallAgentInfo getAgentInfo();

返回說明：

當前介面會返回一個ARTCAICallAgentInfo對象，包含：

發生了錯誤

/**
 * 發生了錯誤
 * @param errorCode 錯誤碼
 */
void onErrorOccurs(AICallErrorCode errorCode);

參數詳情：

智能體啟動成功，如果使用端側call[2/2]介面呼叫智能體，呼叫成功會收到該回調。

/**
 * 智能體啟動成功
 */     
public void onAgentStarted() {}

通話開始（入會）

/**
 * 通話開始（入會）
 */
void onCallBegin();

通話結束（離會）

/**
 * 通話結束（離會）
 */
void onCallEnd();

底層AliRtcEngine引擎建立完成

 public void onAliRtcEngineCreated(AliRtcEngine engine)

參數詳情：

機器人狀態同步

/**
 * 機器人狀態同步
 * @param oldRobotState
 * @param newRobotState
 */
void onAICallEngineRobotStateChanged(ARTCAICallRobotState oldRobotState, ARTCAICallRobotState newRobotState);

參數詳情：

使用者說話回調

/**
 * 使用者說話回調
 * @param isSpeaking 是否在說話
 */
void onUserSpeaking(boolean isSpeaking);

參數詳情：

同步ASR識別使用者的話

/**
 * 同步ASR識別使用者的話
 * @param text ASR識別出的具體文本
 * @param isSentenceEnd 當前文本是否為這句話的最終結果
 * @param sentenceId 當前文本屬於的句子ID
 * @param voicePrintStatusCode 聲紋識別狀態
 */
void  void onUserAsrSubtitleNotify(String text, boolean isSentenceEnd, int sentenceId, VoicePrintStatusCode voicePrintStatusCode);

參數詳情：

同步智能體回應的話

/**
 * 同步智能體回應的話
 * @param text 智能體的話
 * @param end 當前回複是否結束
 * @param userAsrSentenceId 表示回應對應sentenceId語音輸入的llm內容
 */
void onAIAgentSubtitleNotify(String text, boolean end, int userAsrSentenceId);

參數詳情：

當前通話中，LLM回答完畢

/**
 * 當前通話中，LLM回答完畢
 * @param text LLM輸出的文本
 * @param userAsrSentenceId 回答使用者問題的句子ID
 * @note 該回調是LLM針對某個提問的全部內容回答，不會根據智能體語音播報同步回調；如果是即時字幕需求，使用onAIAgentSubtitleNotify
 */
public void onLLMReplyCompleted(String text, int userAsrSentenceId) {}

參數詳情：

網路狀態回調

/**
 * 網路狀態回調
 * @param uid 入會使用者id
 * @param quality 網路狀態
 */
void onNetworkStatusChanged(String uid, ARTCAICallNetworkQuality quality);

參數詳情：

音量變化

/**
 * 音量變化
 * @param uid 使用者id
 * @param volume 音量[0-255]
 */
void onVoiceVolumeChanged(String uid, int volume);

參數詳情：

當前通話的音色發生了改變

/**
 * 當前通話的音色發生了改變
 */
void onVoiceIdChanged(String voiceId);

參數詳情：

當前通話的語音打斷設定改變

/**
 * 當前通話的語音打斷設定改變
 */
void onVoiceInterrupted(boolean enable);

參數詳情：

智能體視頻是否可用（推流）

/**
 * 智能體視頻是否可用（推流）
 */
void onAgentVideoAvailable(boolean available);

參數詳情：

智能體音頻是否可用（推流）

/**
 * 智能體音頻是否可用（推流）
 */
void onAgentAudioAvailable(boolean available);

參數詳情：

音頻迴環延遲

/**
         * 音頻迴環延遲
         *  @param id 語句ID
         *  @param delay_ms 延遲
         */
public void onAudioDelayInfo(int id, int delay_ms) {}

參數詳情：

數字人首視訊框架渲染

/**
*  數字人首視訊框架渲染
*/
void onAgentAvatarFirstFrameDrawn();

使用者上線回調

/**
*  使用者上線回調
*/
void onUserOnLine(String uid);

參數詳情：

智能體當前講話被打斷

public void onSpeakingInterrupted(ARTCAICallSpeakingInterruptedReason reason);

參數說明：

當前視覺理解通話是否啟用了自訂截幀模式

public void onVisionCustomCapture(boolean enable)

參數說明：

當前智能體即將離開（結束當前通話）

/**
 * 當前智能體即將離開（結束當前通話）
 * @param reason 原因：2001（閑時退出），2002（真人接管結束）， 0（其他）
 * @param message 描述原因
 */
void onAgentWillLeave(int reason, String message);

參數詳情：

當真人即將接管當前智能體

public void onHumanTakeoverWillStart(String takeoverUid, int takeoverMode);

參數詳情：

當真人接管已經接通

public void onHumanTakeoverConnected(String takeoverUid);

當真人接管已經接通

智能體自訂訊息

/**
 * 智能體自訂訊息
 * @param data 自訂訊息體，使用JSON字串
 */
public void onReceivedAgentCustomMessage(String data);

參數詳情：

智能體情緒結果通知

public void onAgentEmotionNotify(String emotion,int userAsrSentenceId);

參數詳情：

智能體訊息通道可用性回調，該回調觸發後，才可以給智能體發送訊息

public void onAgentDataChannelAvailable() {}

收到當前智能體發過來VCR結果。詳情，請參見ARTCAICallAgentVcrResult。

 public void onReceivedAgentVcrResult(ARTCAICallAgentVcrResult result) {}

通話過程中串連狀態發生變化。

public void onConnectionStatusChange(ARTCAICallConnectionStatus status, ARTCAICallConnectionStatusChangeReason reason) {}

參數詳情：