ApsaraVideo Live:カスタムオーディオ再生

機能紹介

デフォルトでは、ARTC には市場で実績のあるオーディオ再生モジュールが含まれており、ほとんどのユースケースのニーズを満たします。しかし、成熟したカスタムオーディオ再生モジュールをすでに持っている場合や、再生前にオーディオデータの後処理を行う必要がある場合があります。このような目的のために、ARTC はカスタムオーディオ再生機能を提供しており、内部の再生ロジックを無効にして、オーディオデータの受信と再生を引き継ぐことができます。

この機能のコアは、オーディオフレームコールバックを有効にすることです。これにより、リモートまたはローカルの PCM オーディオデータを取得し、それを再生デバイスに渡して処理およびレンダリングできます。

サンプルコード

Android： Android/ARTCExample/AdvancedUsage/src/main/java/com/aliyun/artc/api/advancedusage/CustomAudioCaptureAndRender/CustomAudioRenderActivity.java

iOS： iOS/ARTCExample/AdvancedUsage/CustomAudioRender/CustomAudioRenderVC.swift

事前準備

カスタムオーディオ再生を使用する前に、以下の要件を満たしていることを確認してください：

• 完全なオーディオ再生モジュールを開発する能力がある、またはすでに成熟したサードパーティ製か自社開発のオーディオプレーヤーを持っている。

• PCM データ形式、サンプルレート、チャンネル数など、基本的なオーディオ処理の概念を理解している。

• ARTC SDK を統合し、基本的な音声/ビデオ通話機能を実装済みである。

• ビジネス要件上、ARTC の内部再生モジュールをバイパスすることが厳密に必要である。そうでない場合は、安定性と互換性を確保するために、デフォルトの再生ソリューションを使用することを推奨します。

実装

String extras = "{\"user_specified_use_external_audio_player\":\"TRUE\"}";
mAliRtcEngine = AliRtcEngine.getInstance(this, extras);

// エンジンを作成して初期化
var customAudioPlayConfig: [String: String] = [:]
// 外部プレーヤーを使用 (SDK の内部オーディオ再生を無効化)
customAudioPlayConfig["user_specified_use_external_audio_player"] = "TRUE"
// JSON にシリアル化
guard let jsonData = try? JSONSerialization.data(withJSONObject: customAudioPlayConfig, options: []),
let extras = String(data: jsonData, encoding: .utf8) else {
    print("JSON のシリアル化に失敗しました")
    return
}
let engine = AliRtcEngine.sharedInstance(self, extras:extras)

// コールバック設定をセット
AliRtcEngine.AliRtcAudioFrameObserverConfig config = new AliRtcEngine.AliRtcAudioFrameObserverConfig();
config.sampleRate = AliRtcAudioSampleRate_48000;
config.channels = 1;
// 再生データコールバックを有効にするために登録
mAliRtcEngine.enableAudioFrameObserver(true, AliRtcAudioSourcePlayback, config);

// コールバック設定をセット
var observerConfig: AliRtcAudioFrameObserverConfig = AliRtcAudioFrameObserverConfig()
observerConfig.sampleRate = ._Unknown
observerConfig.channels = .monoAudio
// 再生データコールバックを有効にするために登録
let audioSource: AliRtcAudioSource = .playback
engine.enableAudioFrameObserver(true, audioSource: audioSource, config: observerConfig)

@Override
public boolean onPlaybackAudioFrame(AliRtcEngine.AliRtcAudioFrame frame) {
    // ここに、コールバックからのオーディオデータを再生するためのカスタムロジックを実装します。

    return true;
}

func onPlaybackAudioFrame(_ frame: AliRtcAudioFrame) -> Bool {
    // ここに、コールバックからのオーディオデータを再生するためのカスタムロジックを実装します。
    
    return true
}

mAliRtcEngine.enableAudioFrameObserver(false, AliRtcAudioSourcePlayback, config)

engine.enableAudioFrameObserver(false, audioSource: audioSource, config: observerConfig)

/* 内部再生を動的に無効化 */
String parameter = "{\"audio\":{\"enable_system_audio_device_play\":\"FALSE\"}}";
mAliRtcEngine.setParameter(parameter);

/* 内部再生を動的に有効化 */
String parameter = "{\"audio\":{\"enable_system_audio_device_play\":\"TRUE\"}}"; 
mAliRtcEngine.setParameter(parameter);

// 内部再生を動的に無効化
engine.setParameter("{\"audio\":{\"enable_system_audio_device_play\":\"FALSE\"}}")
// 内部再生を動的に有効化
engine.setParameter("{\"audio\":{\"enable_system_audio_device_play\":\"TRUE\"}}")