ApsaraVideo Live:共通の音声操作

1.1. 音声エンコーディングモード (AliRtcAudioProfile)

1.2. 音声シナリオモード (AliRtcAudioScenario)

1.3. サンプルコード

以下の例では、一般的なユースケースにおける音声エンコーディングおよびシナリオモードの構成方法を示します。

Bluetooth キャプチャの場合

// 音声シナリオを AliRtcSceneDefaultMode に設定します。
mAliRtcEngine.setAudioProfile(AliRtcEngineHighQualityMode, AliRtcSceneDefaultMode);

// 音声シナリオを AliRtcSceneDefaultMode に設定します。
engine.setAudioProfile(AliRtcAudioProfile.engineHighQualityMode, audio_scene: AliRtcAudioScenario.sceneDefaultMode)

this.rtcEngine.setAudioProfile(AliRtcAudioProfile.AliRtcHighQualityMode, AliRtcAudioScenario.AliRtcSceneDefaultMode);

[self.engine setAudioProfile:AliRtcEngineHighQualityMode audio_scene:AliRtcSceneDefaultMode];

mAliRtcEngine->SetAudioProfile(AliEngineHighQualityMode, AliEngineSceneDefaultMode);

Web クライアントとの相互運用性を確保する場合

// 48 kHz のサンプルレートを持つエンコーディングモード (例: AliRtcEngineHighQualityMode) を選択します。
mAliRtcEngine.setAudioProfile(AliRtcEngineHighQualityMode, AliRtcSceneMusicMode);

// 48 kHz のサンプルレートを持つエンコーディングモード (例: AliRtcEngineHighQualityMode) を選択します。
engine.setAudioProfile(AliRtcAudioProfile.engineHighQualityMode, audio_scene: AliRtcAudioScenario.sceneMusicMode)

this.rtcEngine.setAudioProfile(AliRtcAudioProfile.AliRtcHighQualityMode, AliRtcAudioScenario.AliRtcSceneMusicMode);

[self.engine setAudioProfile:AliRtcEngineHighQualityMode audio_scene:AliRtcSceneMusicMode];

mAliRtcEngine->SetAudioProfile(AliEngineHighQualityMode, AliEngineSceneMusicMode);

ステレオ音声の場合

// ステレオ対応のモード (例: AliRtcEngineStereoHighQualityMode) を設定します。
mAliRtcEngine.setAudioProfile(AliRtcEngineStereoHighQualityMode, AliRtcSceneMusicMode);

// ステレオ対応のモード (例: AliRtcEngineStereoHighQualityMode) を設定します。
engine.setAudioProfile(AliRtcAudioProfile.engineStereoHighQualityMode, audio_scene: AliRtcAudioScenario.sceneMusicMode)

this.rtcEngine.setAudioProfile(AliRtcAudioProfile.AliRtcStereoHighQualityMode, AliRtcAudioScenario.AliRtcSceneMusicMode);

[self.engine setAudioProfile:AliRtcEngineStereoHighQualityMode audio_scene:AliRtcSceneMusicMode];

mAliRtcEngine->SetAudioProfile(AliEngineStereoHighQualityMode, AliEngineSceneMusicMode);

2.1. ローカルマイクのミュート

muteLocalMic メソッドを使用して、ローカルマイクおよび外部音声入力をミュートできます。このメソッドは、チャンネル参加前および参加後、いずれでも呼び出してミュート状態を設定できます。

以下の AliRtcMuteLocalAudioMode モードがサポートされています。

サンプルコード:

// すべての音声をミュート
mAliRtcEngine.muteLocalMic(true, AliRtcEngine.AliRtcMuteLocalAudioMode.AliRtcMuteAllAudioMode);
// すべての音声をアンミュート
mAliRtcEngine.muteLocalMic(false, AliRtcEngine.AliRtcMuteLocalAudioMode.AliRtcMuteAllAudioMode);
// マイクのみをミュート
mAliRtcEngine.muteLocalMic(true, AliRtcEngine.AliRtcMuteLocalAudioMode.AliRtcMuteOnlyMicAudioMode);

// すべての音声をミュート
self.rtcEngine?.muteLocalMic(true, mode: .allAudioMode)
// すべての音声をアンミュート
self.rtcEngine?.muteLocalMic(false, mode: .allAudioMode)
// マイクのみをミュート
self.rtcEngine?.muteLocalMic(true, mode: .onlyMicAudioMode)

// すべての音声をミュート
this.rtcEngine.muteLocalMic(true, AliRtcMuteLocalAudioMode.AliRtcMuteLocalAudioModeMuteAll);
// すべての音声をアンミュート
this.rtcEngine.muteLocalMic(false, AliRtcMuteLocalAudioMode.AliRtcMuteLocalAudioModeMuteAll);
// マイクのみをミュート
this.rtcEngine.muteLocalMic(true, AliRtcMuteLocalAudioMode.AliRtcMuteLocalAudioModeMuteOnlyMic);

// すべての音声をミュート
[self.engine muteLocalMic:TRUE mode:AliRtcMuteAllAudioMode];
// すべての音声をアンミュート
[self.engine muteLocalMic:FALSE mode:AliRtcMuteAllAudioMode];
// マイクのみをミュート
[self.engine muteLocalMic:TRUE mode:AliRtcMuteOnlyMicAudioMode];

// すべての音声をミュート
mAliRtcEngine->MuteLocalMic(true, AliEngineMuteLocalAudioModeMuteAll);
// すべての音声をアンミュート
mAliRtcEngine->MuteLocalMic(false, AliEngineMuteLocalAudioModeMuteAll);
// マイクのみをミュート
mAliRtcEngine->MuteLocalMic(true, AliEngineMuteLocalAudioModeMuteOnlyMic);

2.2. マイクキャプチャの停止または再開

SDK は、チャンネル参加時にデフォルトでマイクキャプチャを有効にします。マイクキャプチャを停止するには、stopAudioCapture を呼び出します。この呼び出しにより、音声キャプチャが停止され、マイクリソースが解放されます。マイクキャプチャを再開するには、startAudioCapture を呼び出します。

// マイクキャプチャを停止します。
mAliRtcEngine.stopAudioCapture();
// マイクキャプチャを再開します。
mAliRtcEngine.startAudioCapture();

// マイクキャプチャを停止します。
self.rtcEngine?.stopAudioCapture()
// マイクキャプチャを再開します。
self.rtcEngine?.startAudioCapture()

// マイクキャプチャを停止します。
this.rtcEngine.stopAudioCapture();
// マイクキャプチャを再開します。
this.rtcEngine.startAudioCapture();

// マイクキャプチャを停止します。
[self.engine stopAudioCapture];
// マイクキャプチャを再開します。
[self.engine startAudioCapture];

// マイクキャプチャを停止します。
mAliRtcEngine->StopAudioCapture();
// マイクキャプチャを再開します。
mAliRtcEngine->StartAudioCapture();

3.1. リモートユーザーのミュート

ARTC では、特定のリモートユーザーの音声再生を停止または再開するための muteRemoteAudioPlaying メソッドを提供しています。このメソッドの定義は以下のとおりです。

public abstract int muteRemoteAudioPlaying(String uid, boolean mute);

• ミュート設定は、音声ストリームの受信およびデコードには影響しません。この設定は、セッション参加前および参加後、いずれでも構成できます。

• ミュート設定は、リモートユーザーの音声のローカル再生にのみ影響します。リモートユーザーの音声キャプチャには影響しません。

3.2. 特定のリモートユーザーの再生ボリュームの設定

ARTC では、ローカル再生ボリュームを制御するための setPlayoutVolume メソッドを提供しています。

/**
 * @brief 再生ボリュームを設定します。
 * @param volume 再生ボリューム。値の範囲は 0 ～ 400 です。
 * - 0: ミュート。
 * - <100: ボリュームを低下させます。
 * - >100: ボリュームを増加させます。
 * @return
 * - 0: 成功。
 * - 0 以外の値: 失敗。
 */
public abstract int setPlayoutVolume(int volume);

ARTC では、特定のリモートユーザーの音声再生ボリュームを制御するための setRemoteAudioVolume メソッドも提供しています。volume パラメーターを 0 に設定すると、このメソッドは muteRemoteAudioPlaying メソッドと同じ効果を持ちます。

/**
 * @brief 特定のリモートユーザーのローカル再生ボリュームを調整します。
 * @param uid ユーザー ID。これは、アプリケーションサーバーによって割り当てられた一意の識別子です。
 * @param volume 再生ボリューム。値の範囲は 0 ～ 100 です。0 はミュート、100 は元のボリュームを意味します。
 * @return
 * - 0: 成功。
 * - 0 以外の値: 失敗。
 */
public abstract int setRemoteAudioVolume(String uid, int volume);

4.1. インイヤーモニタリングの有効化

チャンネル参加前および参加後、いずれでも enableEarBack メソッドを呼び出してインイヤーモニタリングを有効化できます。無効化するには、再度 enableEarBack を呼び出し、パラメーターを false に設定します。

rtcEngine.enableEarBack(true);

engine.enableEarBack(true)

this.rtcEngine.enableEarBack(true);

[self.engine enableEarBack:YES];

mAliRtcEngine->EnableEarBack(TRUE);

4.2. インイヤーモニタリングボリュームの設定

setEarBackVolume メソッドを呼び出して、インイヤーモニタリングボリュームを調整します。volume パラメーターは、0 ～ 100 の範囲でボリュームを設定します。0 はミュート、100 は元のボリュームを意味します。デフォルト値は 100 です。

rtcEngine.setEarBackVolume(60);

rtcEngine?.setEarBackVolume(volume)

this.rtcEngine.setEarBackVolume(value);

[self.engine setEarBackVolume:60];

mAliRtcEngine->SetEarBackVolume(volume);

5.1. コールバック機能の有効化

enableAudioVolumeIndication を呼び出して、この機能を有効化し、パラメーターを構成します。パラメーターの説明は以下のとおりです。

• interval: コールバック間隔 (ミリ秒単位)。推奨範囲は 300 ms ～ 500 ms です。最小値は 10 ms です。負の値を指定すると、この機能が無効になります。

• smooth: 平滑化係数。値が大きいほど音量変化が滑らかになりますが、値が小さいほどリアルタイム性能が向上します。推奨値は 3 です。有効範囲は 0 ～ 9 です。

• reportVad: アクティブスピーカー検出スイッチ。0 を指定するとこの機能が無効になり、1 を指定すると有効になります。

mAliRtcEngine.enableAudioVolumeIndication(500, 3,1);

// ユーザー音量コールバックおよびアクティブスピーカー検出
engine.enableAudioVolumeIndication(500, smooth: 3, reportVad: 1)

// ユーザー音量コールバックおよびアクティブスピーカー検出
this.rtcEngine.enableAudioVolumeIndication(1000, 3, 1);

// ユーザー音量コールバックおよびアクティブスピーカー検出
[self.engine enableAudioVolumeIndication:500 smooth:3 reportVad:1];

// ユーザー音量コールバックおよびアクティブスピーカー検出
mAliRtcEngine->EnableAudioVolumeIndication(500, 3, 1);

5.2. コールバックの実装および登録

registerAudioVolumeObserver メソッドを呼び出して、コールバックを登録します。その後、システムは指定された間隔で以下のコールバックをトリガーします。

• onAudioVolume: このコールバックは、各ユーザーのリアルタイム発話強度を監視するために、定期的に音量情報を提供します。システムは、ローカルユーザーおよびリモートユーザーを含む、検出されたすべてのユーザーの音量レベルを報告します。この情報を使用して、サウンドウェーブアニメーション、音量インジケーター、ミュート検出などの UI フィードバックを実装できます。mUserId が "0" の場合、そのエントリはローカルキャプチャ音量を示します。mUserId が "1" の場合、そのエントリはすべてのリモートユーザーの混合音量を示します。その他の値は、特定のユーザーの音量を示します。totalVolume は、すべてのリモートユーザーの混合音量の合計を示します。

• onActiveSpeaker: これは、音声区間検出 (VAD) によってトリガーされるアクティブスピーカーコールバックです。システムは、ユーザーが最もアクティブなスピーカーになったと検出したときにこのコールバックをトリガーします。ユーザーは、発話音量および持続時間がしきい値を超えた場合に、アクティブスピーカーと見なされます。このイベントを使用して、アクティブスピーカーへの自動フォーカスなどの機能を実装できます。たとえば、会議ではアクティブスピーカーの動画ウィンドウを最大化できます。

private final AliRtcEngine.AliRtcAudioVolumeObserver mAliRtcAudioVolumeObserver = new AliRtcEngine.AliRtcAudioVolumeObserver() {
    // ユーザー音量コールバック
    @Override
    public void onAudioVolume(List<AliRtcEngine.AliRtcAudioVolume> speakers, int totalVolume){
        handler.post(() -> {
            if(!speakers.isEmpty()) {
                for(AliRtcEngine.AliRtcAudioVolume volume : speakers) {
                    if("0".equals(volume.mUserId)) {
                        // ローカルユーザーの音量

                    } else if ("1".equals(volume.mUserId)) {
                        // リモートユーザーの全体音量

                    } else {
                        // リモートユーザーの音量

                    }
                }
            }
        });
    }

    // アクティブスピーカー検出コールバック
    @Override
    public void onActiveSpeaker(String uid){
        // アクティブスピーカー
        handler.post(() -> {
            String mag = "onActiveSpeaker uid:" + uid;
            ToastHelper.showToast(AudioBasicUsageActivity.this, mag, Toast.LENGTH_SHORT);
        });
    }
};
// コールバックを登録します
mAliRtcEngine.registerAudioVolumeObserver(mAliRtcAudioVolumeObserver);

func onAudioVolumeCallback(_ array: [AliRtcUserVolumeInfo]?, totalVolume: Int32) {
    // ユーザー音量コールバック
    "onAudioVolumeCallback, totalVolume: \(totalVolume)".printLog()
}

func onActiveSpeaker(_ uid: String) {
    // アクティブスピーカーコールバック
    "onActiveSpeaker, uid: \(uid)".printLog()
}

this.rtcEngineEventListener.onAudioVolumeCallback(
  (volumeInfo : AliRtcUserVolumeInfo[], volumeInfoCount : number, totalVolume : number) => {
    console.info(`Volume callback: volumeInfo=${volumeInfo}, volumeInfoCount=${volumeInfoCount}, totalVolume=${totalVolume}`);
  }
)

this.rtcEngineEventListener.onActiveSpeaker((uid: string) => {
  console.info(`Current active user: uid=${uid}`);
});

- (void)onAudioVolumeCallback:(NSArray <AliRtcUserVolumeInfo *> *)array totalVolume:(int)totalVolume {
    for(AliRtcUserVolumeInfo *info in array) {
        NSString *uid = info.uid;
        NSInteger volume = info.volume;
        dispatch_async(dispatch_get_main_queue(), ^{
            NSArray * volumeArray = [ _audioVolumeLabel.stringValue componentsSeparatedByString:@"\n"];

            if ([uid isEqualToString:@"1"]) { // リモートユーザーの音量
                // リモートユーザーの全体音量
            }else if ([uid isEqualToString:@"0"] ){ // ローカルユーザーの音量
                // ローカルユーザーの音量を表示
            } else {

                // リモートユーザーの全体音量
            }
        });
    }
}

- (void)onActiveSpeaker:(NSString *)uid {
    if ([uid isEqualToString:@"0"]) {
        [self log:[@"Active speaker: Self" UTF8String]];
    } else {
        NSDictionary *dic = [self.engine getUserInfo:uid];
        NSString *name = dic[@"displayName"];
        MyLog(@"Active speaker: %@",name);
    }
}

void CTutorialDlg::OnAudioVolumeCallback(const AliEngineUserVolumeInfo* volumeInfo, int volumeInfoCount, int totalVolume)
{
	CArray<AliEngineUserVolumeInfo*>* pArray = new CArray<AliEngineUserVolumeInfo*>;
	for (int i = 0; i < volumeInfoCount; i++)
	{
		AliEngineUserVolumeInfo* p = new AliEngineUserVolumeInfo;
		p->uid = volumeInfo[i].uid;
		p->volume = volumeInfo[i].volume;
		p->speechState = volumeInfo[i].speechState;
		p->sumVolume = volumeInfo[i].sumVolume;
		pArray->Add(p);
	}
    /* UI を更新するよう通知 */
	PostMessage(MM_VOLUME_CALLBACK, (WPARAM)totalVolume, (LPARAM)pArray);
}

void CTutorialDlg::OnActiveSpeaker(const char *uid)
{
	m_strCurSpeaker = CString(uid);
    /* UI を更新するよう通知 */
	PostMessage(MM_ACTIVE_SPEAKER, NULL, NULL);
}

6.1. デフォルト音声ルート

ミーティング参加前に、デフォルト音声ルートをイヤピースまたはスピーカーに設定します。デフォルトルートを設定しない場合、スピーカーが使用されます。

/**
* @brief デフォルト音声出力をスピーカーにするかどうかを設定します。デフォルトはスピーカーです。
* @param defaultToSpeakerphone
* - true: スピーカーモード。
* - false: イヤピースモード。
* @return
* - 0: 成功。
* - <0: 失敗。
*/
public int setDefaultAudioRoutetoSpeakerphone(boolean defaultToSpeakerphone);

6.2. 現在の音声ルート

ミーティング中に、現在の音声ルートをイヤピースまたはスピーカーに設定します。現在のルートを設定しない場合、デフォルト音声ルートで指定されたデバイスが使用されます。

外部デバイスが接続されていない場合、enableSpeakerphone を呼び出してスピーカーを使用します。false を設定するとイヤピースが使用されます。現在の音声デバイスがスピーカーかイヤピースかを確認するには、isSpeakerOn インターフェースを呼び出します。

/**
 * @brief 音声出力をイヤピースまたはスピーカーに設定します。
 * @param enable   true: スピーカーモード。false: イヤピースモード。
 * @return
 * - 0: 成功。
 * - <0: 失敗。
 */
public int enableSpeakerphone(boolean enable);
/**
* @brief 現在の音声出力がイヤピースかスピーカーかを取得します。
* @return 
* - true: スピーカーモード。
* - false: イヤピースモード。
*/
public boolean isSpeakerOn();

6.3. 音声ルート変更コールバック

音声再生デバイスが変更されたときにコールバックを受信するには、以下のコールバックを登録およびリッスンします。

public abstract class AliRtcEngineEventListener {
    /**
     * @brief 警告通知。
     * @details エンジン内で警告が発生した場合、このコールバックを通じてアプリケーションに通知します。
     * @param warn 警告の種類。
     * @param message 警告メッセージ。
     */
    public void onOccurWarning(int warn, String message);
}

以下の表に、warn の戻り値とデバイスタイプのマッピングを示します。