Intelligent Media Services:API 操作の詳細

初期化

/**
 * エンジンを初期化します。
 * @param config 初期化構成。
 */
public abstract void init(ARTCAICallConfig config);

パラメーター:

エージェントタイプを設定します。

/**
 * エージェントタイプを設定します。
 * @param aiAgentType
 */
public abstract void setAICallAgentType(ARTCAICallAgentType aiAgentType);

パラメーター:

コールを作成して開始します。

/**
 * 通話を作成して開始します。
 */
public abstract void call(String rtcToken, String aiAgentInstanceId, String aiAgentUserId, String channelId);

パラメーター:

エージェント通話を開始します。この API 操作は、SDK からエージェントを呼び出すために使用されます。ARTC チャネルトークンを認証トークンとして渡し、`ARTCAICallConfig` の `mAiCallAgentTemplateConfig` でエージェント ID、エージェントリージョン、および関連する起動パラメーターを設定する必要があります。

/**
   * エージェント通話を開始します。
   * @param rtcToken ローカルユーザーが ARTC チャネルに参加するための認証トークン。
   * @detail この API 操作は、SDK を使用してエージェントを呼び出します。ARTC チャネルトークンを渡し、`ARTCAICallConfig` の `mAiCallAgentTemplateConfig` でエージェント ID、エージェントリージョン、および関連する起動パラメーターを設定する必要があります。
   */
public abstract void call(String rtcToken);

パラメーター:

通話を切断します。

/**
 * 通話を切断します。
 */
public abstract void handup();

マイクのステータスを切り替えます。

/**
 * マイクのステータスを切り替えます。
 * @param on
 */
public abstract void switchMicrophone(boolean on);

パラメーター:

エージェントの発話を中断します。

/**
 * エージェントの発話を中断します。
 */
public abstract boolean interruptSpeaking();

スマート割り込みを有効または無効にします。

/**
 * スマート割り込みを有効または無効にします。
 */
public abstract boolean enableVoiceInterrupt(boolean enable);

パラメーター:

スピーカーとイヤホンを切り替えます。`true` はスピーカーを使用して再生します。`false` はイヤホンを使用して再生します。

/**
 * スピーカーとイヤホンを切り替えます。
 */
public abstract boolean enableSpeaker(boolean enable);

パラメーター:

エージェントのオーディオストリームの再生を停止または再開します。

public abstract boolean muteAgentAudioPlaying(boolean mute);

パラメーター:

プッシュツートークモードを有効または無効にします。

/**
 * プッシュツートークモードを有効または無効にします。プッシュツートークモードでは、`finishPushToTalk` が呼び出された後にのみエージェントが結果を報告します。
 * @param enable
 * @return
 */
public abstract boolean enablePushToTalk(boolean enable);

パラメーター：

プッシュツートークモードが有効になっているかどうかを確認します。

/**
 * プッシュツートークモードが有効になっているかどうかを確認します。
 * @return
 */
public abstract boolean isPushToTalkEnable();

プッシュツートークモードで、この操作は発話を開始します。

/**
 * プッシュツートークモード: 発話を開始します。
 * @return
 */
public abstract boolean startPushToTalk();

プッシュツートークモードで、この操作は発話を終了します。

/**
 * プッシュツートークモード：発話を終了します。
 * @return
 */
public abstract boolean finishPushToTalk();

プッシュツートークモードで、この操作は現在の発話をキャンセルします。

/**
 * プッシュツートークモード: 現在の発話をキャンセルします。
 * @return
 */
public abstract boolean cancelPushToTalk();

エージェントの音声を切り替えます。

/**
 * 音声を切り替えます。
 */
public abstract boolean switchRobotVoice(String voiceId);

パラメーター:

現在の音声を取得できます。

/**
 * 現在の音声を取得します。
 * @return
 */
public abstract String getRobotVoiceId();

コールバックを登録します。

/**
 * コールバックを登録します。
 * @param engineCallback
 */
public abstract void setEngineCallback(IARTCAICallEngineCallback engineCallback);

パラメーター:

マイクをオフにしますか？

/**
 * マイクがミュートされているか確認します。
 * @return
 */
public abstract boolean isMicrophoneOn();

スピーカーが再生に使用されているかどうかを確認します。`true` はスピーカーが使用されていることを示します。`false` はイヤホンが使用されていることを示します。

/**
 * スピーカーが再生に使用されているか確認します。
 * @return
 */
public abstract boolean isSpeakerOn();

スマート割り込みが有効になっているか確認します。

/**
 * スマート割り込みが有効になっているか確認します。
 * @return
 */
public abstract boolean isVoiceInterruptEnable();

デジタルヒューマンのビューコンテナを設定し、レンダリングモードを指定します。

public abstract void setAvatarAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams avatarLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

視覚理解のためのローカルビューコンテナーを設定し、レンダリングモードを指定します。

public abstract void setVisionPreviewView(ViewGroup viewGroup, ViewGroup.LayoutParams visionLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

カメラをオンまたはオフにします

/**
 * カメラをミュートまたはミュート解除します。
 */
public abstract boolean muteLocalCamera(boolean mute);

パラメーター:

カメラはオフですか？

/**
 * カメラがミュートされているか確認します。
 * @return
 */
public abstract boolean isLocalCameraMute();

前面カメラと背面カメラを切り替えます。

/**
 * フロントカメラとリアカメラを切り替えます。
 */
public abstract boolean switchCamera();

RTC エンジンインスタンスを取得します

/**
 * ARTC エンジンインスタンスを取得します。
 * @return
 */
public abstract AliRtcEngine getRtcEngine();

公式プロトコル実装を取得します。

/**
 * 公式プロトコル実装を取得します。
 * @return
 */
public abstract IARTCAICallService getIARTCAICallService();

大規模言語モデル (LLM) にカスタムメッセージを送信します。

/**
 * カスタムメッセージを LLM に送信します。
 * @param req
*/
public  boolean sendTextToAgent(ARTCAICallSendTextToAgentRequest req);

パラメーター:

ビジネスサーバーにカスタムメッセージを送信します。この操作は、通話が接続された後に呼び出す必要があります。

/**
 * AppServer にカスタムメッセージを送信します。
 * エージェントのメッセージチャネルを再利用して AppServer にメッセージを送信します。AppServer はコールバックをリッスンしてカスタムメッセージを取得する必要があります。
 * @param msg
 * @return true：メッセージは正常に送信されました。false：メッセージの送信に失敗しました。
*/
public boolean sendCustomMessageToServer(String msg);

パラメーター:

LLM のシステムプロンプトを更新します。この操作は、通話が接続された後に呼び出す必要があります。

/**
 * LLM のシステムプロンプトを更新します。例: 「あなたは、ユーザーに正確な情報とアドバイスを提供することに重点を置いた、フレンドリーで役立つアシスタントです。」
 * @param prompt
 * @return true: 更新は成功しました。false: 更新は失敗しました。
*/
public boolean updateLlmSystemPrompt(String prompt)

パラメーター:

Alibaba Cloud Model Studio アプリケーションセンターのパラメーターを更新します。

public abstract boolean updateBailianAppParams(String params);

パラメーター:

ビデオコンテンツ認識 (VCR) 設定を更新します。

 public abstract boolean updateVcrConfig(ARTCAICallAgentVcrConfig config);

パラメーター:

視覚理解エージェントの場合、この操作はカスタムフレームキャプチャを開始します。この操作を呼び出した後、音声でエージェントと話すことはできません。この操作は、通話が接続された後に呼び出す必要があります。

/**
 * Vision エージェントの場合、カスタムフレームキャプチャを開始します。これを開始すると、音声でエージェントと話すことはできません。
 * @param request リクエストパラメーター。
 * @return true: リクエストは正常に送信されました。false: リクエストの送信に失敗しました。
*/
public  boolean startVisionCustomCapture(ARTCAICallVisionCustomCaptureRequest request);

パラメーター:

視覚理解エージェントの場合、この操作はカスタムフレームキャプチャを停止します。この操作は、呼び出しが接続された後に呼び出す必要があります。

public  boolean stopVisionCustomCapture();

エージェントのビデオビューコンテナを設定します。

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams);

パラメーター:

エージェントのビデオビューコンテナを設定し、レンダリングモードを指定します。

    public abstract void setAgentView(ViewGroup viewGroup, ViewGroup.LayoutParams agentLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

ローカルプレビュービューコントロールを設定します。

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams);

パラメーター:

ローカルプレビュービューコントロールを設定し、レンダリングモードを指定します。

public abstract void setLocalView(ViewGroup viewGroup, ViewGroup.LayoutParams localLayoutParams, ARTCAICallVideoCanvas canvas);

パラメーター:

現在のエージェントのランタイム情報を取得します。

public abstract ARTCAICallAgentInfo getAgentInfo();

戻り値:

この API 操作は、次のパラメーターを含む ARTCAICallAgentInfo オブジェクトを返します。

エラーが発生しました。

/**
 * エラーが発生しました。
 * @param errorCode エラーコード。
 */
void onErrorOccurs(AICallErrorCode errorCode);

パラメーター:

このコールバックは、エージェントが正常に起動したときにトリガーされます。クライアント側の call[2/2] API 操作を使用してエージェントを呼び出す場合、このコールバックは呼び出しが成功したときに受信されます。

/**
 * エージェントは正常に開始されました。
 */     
public void onAgentStarted() {}

通話に参加しています

/**
 * 通話が開始されました (ユーザーがチャネルに参加しました)。
 */
void onCallBegin();

会議から退出しました。

/**
 * 通話が終了しました (ユーザーがチャネルから退出しました)。
 */
void onCallEnd();

基盤となる AliRtcEngine のインスタンスが作成されます。

 public void onAliRtcEngineCreated(AliRtcEngine engine)

パラメーター

ロボットの状態同期

/**
 * エージェントの状態が同期されます。
 * @param oldRobotState
 * @param newRobotState
 */
void onAICallEngineRobotStateChanged(ARTCAICallRobotState oldRobotState, ARTCAICallRobotState newRobotState);

パラメーター:

このコールバックは、ユーザーが発話中にトリガーされます。

/**
 * ユーザーが話しているときのコールバック。
 * @param isSpeaking ユーザーが話しているかどうかを指定します。
 */
void onUserSpeaking(boolean isSpeaking);

パラメーター:

同期ユーザー音声認識

/**
 * ユーザーの発話から ASR によって認識されたテキストを同期します。
 * @param text ASR によって認識された特定のテキスト。
 * @param isSentenceEnd 現在のテキストがこの文の最終結果であるかどうかを指定します。
 * @param sentenceId 現在のテキストが属する文の ID。
 * @param voicePrintStatusCode 声紋認識ステータス。
 */
void  void onUserAsrSubtitleNotify(String text, boolean isSentenceEnd, int sentenceId, VoicePrintStatusCode voicePrintStatusCode);

パラメーター:

エージェントからの同期応答

/**
 * エージェントの応答テキストを同期します。
 * @param text エージェントの発話。
 * @param end 現在の応答が完了したかどうかを指定します。
 * @param userAsrSentenceId 対応する sentenceId の音声入力に応答する LLM コンテンツを示します。
 */
void onAIAgentSubtitleNotify(String text, boolean end, int userAsrSentenceId);

パラメーター:

LLM は現在の通話への応答を完了しました。

/**
 * LLM が現在の通話での応答を完了しました。
 * @param text LLM によって出力されたテキスト。
 * @param userAsrSentenceId ユーザーの質問に回答する文の ID。
 * @note このコールバックは、特定の質問に対する LLM からの完全な回答を提供しますが、エージェントの音声再生とは同期されません。リアルタイムの字幕については、onAIAgentSubtitleNotify を使用してください。
 */
public void onLLMReplyCompleted(String text, int userAsrSentenceId) {}

パラメーター:

ネットワーク状態のコールバック

/**
 * ネットワーク状態の変更に関するコールバック。
 * @param uid チャネルに参加したユーザーの ID。
 * @param quality ネットワーク品質。
 */
void onNetworkStatusChanged(String uid, ARTCAICallNetworkQuality quality);

パラメーター:

音量の変更

/**
 * 音量が変更されました。
 * @param uid ユーザー ID。
 * @param volume 音量、0 から 255。
 */
void onVoiceVolumeChanged(String uid, int volume);

パラメーター:

現在の通話の音色が変更されました。

/**
 * 現在の通話の音声が変更されました。
 */
void onVoiceIdChanged(String voiceId);

パラメーター:

現在の通話の割り込み設定が変更されました。

/**
 * 現在の通話の音声割り込み設定が変更されました。
 */
void onVoiceInterrupted(boolean enable);

パラメーター:

エージェントからのアクティブなビデオストリームはありますか (アップストリーミング)？

/**
 * エージェントのビデオストリームが利用可能です。
 */
void onAgentVideoAvailable(boolean available);

パラメーター:

エージェントの音声はアクティブです (アップストリーミング)。

/**
 * エージェントのオーディオストリームが利用可能です。
 */
void onAgentAudioAvailable(boolean available);

パラメーター:

オーディオループバック遅延

/**
         * オーディオループバック遅延。
         *  @param id 文 ID。
         *  @param delay_ms 遅延。
         */
public void onAudioDelayInfo(int id, int delay_ms) {}

パラメーター:

デジタルヒューマンの最初のビデオフレームのレンダリング

/**
*  デジタルヒューマンの最初のビデオフレームがレンダリングされます。
*/
void onAgentAvatarFirstFrameDrawn();

ユーザーオンライン状態のコールバック

/**
*  ユーザーがオンラインになったときのコールバック。
*/
void onUserOnLine(String uid);

パラメーター:

エージェントの発話が中断されました。

public void onSpeakingInterrupted(ARTCAICallSpeakingInterruptedReason reason);

パラメーター:

現在の視覚理解通話でカスタムフレームキャプチャパターンが有効になっていますか？

public void onVisionCustomCapture(boolean enable)

パラメーター:

エージェントは現在の通話から切断しようとしています。

/**
 * 現在のエージェントが通話を退出します。
 * @param reason 理由：2001 (アイドル状態による退出)、2002 (有人対応の終了)、0 (その他)。
 * @param message 理由の説明。
 */
void onAgentWillLeave(int reason, String message);

パラメーター:

ライブエージェントが現在のエージェントから引き継ごうとしているとき

public void onHumanTakeoverWillStart(String takeoverUid, int takeoverMode);

パラメーター:

このコールバックは、有人エージェントの引き継ぎが接続されたときにトリガーされます。

public void onHumanTakeoverConnected(String takeoverUid);

有人エージェントが接続されたとき

カスタムエージェントメッセージ

/**
 * エージェントからのカスタムメッセージが受信されました。
 * @param data JSON 文字列形式のカスタムメッセージ本文。
 */
public void onReceivedAgentCustomMessage(String data);

パラメーター:

エージェント感情通知

public void onAgentEmotionNotify(String emotion,int userAsrSentenceId);

パラメーター:

このコールバックは、エージェントのメッセージチャネルが利用可能になったときにトリガーされます。このコールバックがトリガーされた後にのみ、エージェントにメッセージを送信できます。

public void onAgentDataChannelAvailable() {}

このコールバックは、現在のエージェントから VCR 結果が受信されたときにトリガーされます。詳細については、「ARTCAICallAgentVcrResult」をご参照ください。

 public void onReceivedAgentVcrResult(ARTCAICallAgentVcrResult result) {}