Intelligent Media Services:統合の概要

ステップ 1: アプリのマイクとカメラの権限を確認する

アプリのマイクとカメラの権限を確認します。権限が付与されていない場合は、ダイアログボックスを表示してユーザーに権限付与を求めます。この機能はアプリに実装する必要があります。詳細については、「AVDeviceAuth.h」をご参照ください。

ステップ 2: エンジンを作成して初期化する

ARTCAICallEngine インスタンスを作成して初期化します。次のコードに例を示します。

// エンジンインスタンスを作成します。
let engine = ARTCAICallEngineFactory.createEngine()
let agentType: ARTCAICallAgentType

// エンジンインスタンスを初期化します。
public func setup() {
    // コールバックを設定します。
    self.engine.delegate = self

    // エージェントがデジタルヒューマンの場合は、デジタルヒューマンのビューを設定します。
    if self.agentType == .AvatarAgent {
        let agentViewConfig = ARTCAICallViewConfig(view: self.avatarAgentView)
        self.engine.setAgentViewConfig(viewConfig: agentViewConfig)
    }
    // エージェントが視覚理解用の場合、ローカルビデオプレビューを設定します。
    else if self.agentType == .VisionAgent {
        let cameraViewConfig = ARTCAICallViewConfig(view: self.cameraView)
        self.engine.setLocalViewConfig(viewConfig: cameraViewConfig)
    }
    // エージェントがビデオ通話用の場合、デジタルヒューマンのビューとローカルビデオプレビューを設定します。
    else if self.agentType == .VideoAgent {
        let agentViewConfig = ARTCAICallViewConfig(view: self.avatarAgentView)
        self.engine.setAgentViewConfig(viewConfig: agentViewConfig)

        let cameraViewConfig = ARTCAICallViewConfig(view: self.cameraView)
        self.engine.setLocalViewConfig(viewConfig: cameraViewConfig)
    }
}

ステップ 3: コールバックメソッドを実装する

必要なエンジンコールバックメソッドを実装します。エンジンコールバック操作の詳細については、「API リファレンス」をご参照ください。

// コールバック処理 (この例では、コア以外のコールバック操作のみを示します)。
public func onErrorOccurs(code: ARTCAICallErrorCode) {
    // エラーが発生しました。
    self.engine.handup()
}

public func onCallBegin() {
    // 通話が開始されました。
}

public func onCallEnd() {
    // 通話が終了しました。
}

public func onAgentStateChanged(state: ARTCAICallAgentState) {
    // エージェントのステータスが変更されました。
}

public func onUserSubtitleNotify(text: String, isSentenceEnd: Bool, sentenceId: Int) {
    // ユーザーの質問に対するエージェントの認識結果の通知。
}

public func onVoiceAgentSubtitleNotify(text: String, isSentenceEnd: Bool, userAsrSentenceId: Int) {
    // エージェントの回答の通知。
}

public func onVoiceIdChanged(voiceId: String) {
    // 現在の通話の音色が変更されました。
}

public func onVoiceInterrupted(enable: Bool) {
    // 現在の通話で音声割り込みが有効になっているかどうか。
}

ステップ 4: ARTCAICallConfig を作成して初期化する

ARTCAICallConfig の詳細については、「ARTCAICallConfig」をご参照ください。

let callConfig = ARTCAICallConfig()
callConfig.agentId = "xxx"             // エージェント ID。
callConfig.agentType = self.agentType  // エージェントタイプ。
callConfig.userId = "xxx"              // アプリにログインしているユーザーの ID を使用します。
callConfig.region = "xx-xxx"           // エージェントサービスが配置されているリージョン。
callConfig.userJoinToken = "xxxxxxxxx" // RTC トークン。

// 視覚理解およびビデオ通話の場合、ビデオ構成を設定する必要があります。
// この例では、frameRate は 5 に設定されています。この値は、コンソールで構成され、通常は 2 であるエージェントのフレームサンプリングレートに基づいて調整してください。フレームレートを 15 fps より大きい値に設定しないでください。
// bitrate: frameRate が 10 より大きい場合、ビットレートを 512 に設定できます。
if self.config.agentType == .VisionAgent{
    callConfig.videoConfig = ARTCAICallVideoConfig(frameRate: 5, bitrate: 340, useFrontCameraDefault: false)
}
if self.config.agentType == .VideoAgent {
    callConfig.videoConfig = ARTCAICallVideoConfig(frameRate: 5, bitrate: 340, useFrontCameraDefault: true)
}
                

userJoinToken パラメーターについては、RTC トークンを取得する必要があります。詳細については、「ARTC 認証トークンを生成する」をご参照ください。

ステップ 5: エージェントへの通話を開始する

call(config) メソッドを呼び出して、エージェントへの通話を開始します。

// エージェントが開始したら、通話を開始します。
public func start() {
    let callConfig = ...   // 前のコードに基づいて callConfig オブジェクトを作成します。
    if self.engine.call(config: callConfig) {
        // API 操作は正常に呼び出されます。
    }
}


// 通話が接続されると、次のコールバックがトリガーされます。
public func onCallBegin() {
    // 通話が開始されました。
}

ステップ 6: 通話中の機能を実装する

通話が開始された後、必要に応じて字幕の処理、エージェントへの割り込み、その他の操作を実行できます。詳細については、「機能を実装する」をご参照ください。

ステップ 7: 通話を終了する

hangup() メソッドを呼び出して、エージェントとの通話を終了します。

public func handup() {
    self.engine.handup()
}