ApsaraVideo Live:Push SDK for Android の使用

SDK の登録

ライセンスを取得して設定するには、「プッシュ SDK ライセンスの統合」をご参照ください。

Push SDK for Android を使用する前に、アプリケーションのライフサイクルの早い段階でライセンス登録 API を呼び出してください。

AlivcLiveBase.setListener(new AlivcLiveBaseListener() {
  @Override
  public void onLicenceCheck(AlivcLivePushConstants.AlivcLiveLicenseCheckResultCode result, String reason) {
    Log.e(TAG, "onLicenceCheck: " + result + ", " + reason);
  }
});
AlivcLiveBase.registerSDK();

• AlivcLiveBase クラスを使用して、ログレベルの設定、ローカルログパスの指定、SDK バージョンの取得を行います。

• SDK ライセンスを登録するには、AlivcLiveBase の registerSDK メソッドを呼び出す必要があります。

• AlivcLiveBase#setListener インターフェイスの onLicenceCheck コールバックを実装して、ライセンス設定を非同期で検証します。

  説明

  このコールバックは、プッシャーインスタンスを初期化した後にのみトリガーされます。

カメラストリームの取り込み

1. 初期化

   アップストリーミングパラメーターを設定した後、init メソッドを呼び出します：

   AlivcLivePusher mAlivcLivePusher = new AlivcLivePusher();
   mAlivcLivePusher.init(mContext, mAlivcLivePushConfig);

   説明

   AlivcLivePusher は複数のインスタンスをサポートしていません。各 init 呼び出しは destroy 呼び出しとペアにする必要があります。

2. プレビューコールバックの登録

   setLivePushInfoListener メソッドを呼び出してプレビューコールバックを登録します：

   /**
    * アップストリーミングイベント通知用のリスナーを設定します。
    *
    * @param infoListener 通知リスナー。
    */
   mAlivcLivePusher.setLivePushInfoListener(new AlivcLivePushInfoListener() {
       @Override
       public void onPreviewStarted(AlivcLivePusher pusher) {
           // プレビューが開始されたことの通知。
       }
       // その他のオーバーライドメソッド
       //....
       //....
   });

3. プレビューの開始

   カメラプレビュー用の SurfaceView を渡してプレビューを開始します：

   mAlivcLivePusher.startPreview(mSurfaceView); // プレビューを開始します。必要に応じて非同期の startPreviewAsync メソッドを呼び出すこともできます。

4. アップストリーミングの開始

   onPreviewStarted コールバックメソッド内に次のコードを追加します。

   mAlivcLivePusher.startPush(mPushUrl);

   説明

   • RTMP と RTS (artc://) のインジェスト URL に対応しています。 URL を取得するには、「インジェスト URL とストリーミング URL を生成する」をご参照ください。

   • ApsaraVideo Live は、同じ URL への同時アップストリーミングリクエストを拒否します。

/* アップストリーミング中のストリームを一時停止するために呼び出します。一時停止後、ビデオプレビューとビデオストリームのアップストリーミングは最後のフレームで保持されますが、音声ストリームのアップストリーミングは継続します。 */
mAlivcLivePusher.pause();
/* 一時停止したストリームを再開するために呼び出します。再開後、音声とビデオのプレビューおよびアップストリーミングは通常の状態に戻ります。 */
mAlivcLivePusher.resume();
/* アップストリーミング中のストリームを停止するために呼び出します。完了後、アップストリーミングは停止します。 */
mAlivcLivePusher.stopPush();
/* プレビュー状態のときにのみプレビューを停止するために呼び出します。アップストリーミング中にこれを呼び出しても効果はありません。プレビューが停止すると、プレビューフレームは最後のフレームでフリーズします。 */
mAlivcLivePusher.stopPreview();
/* ストリームがアップストリーミング中、またはエラー関連のコールバックを受信した後に、アップストリーミングを再起動するために呼び出します。エラー状態では、この API、reconnectPushAsync、または destroy のみを呼び出すことができます。再起動すると、プレビューとアップストリーミングを含む AlivcLivePusher のすべての内部リソースが再初期化されます。 */
mAlivcLivePusher.restartPush();
/* ストリームがアップストリーミング中、または AlivcLivePusherNetworkDelegate に関連するエラーコールバックを受信した後に、ストリームを再接続するために呼び出します。エラー状態では、この API、restartPush、または destroy のみを呼び出すことができます。再接続すると、アップストリーミングのための RTMP 接続が再確立されます。 */
mAlivcLivePusher.reconnectPushAsync();
/* アップストリーミングインスタンスを破棄するために呼び出します。破棄後、アップストリーミングとプレビューは停止し、プレビューサーフェスは削除されます。AlivcLivePusher に関連するすべてのリソースが解放されます。 */
mAlivcLivePusher.destroy();

/* フロントカメラとリアカメラを切り替えます。 */
mAlivcLivePusher.switchCamera();
/* フラッシュをオンまたはオフにします。フロントカメラがアクティブな場合、フラッシュをオンにしても効果はありません。 */
mAlivcLivePusher.setFlash(true); 
/* 焦点距離を調整して、キャプチャした画像をズームします。ズーム範囲は [0, getMaxZoom()] です。 */
mAlivcLivePusher.setZoom(5);
/* カメラを手動でフォーカスします。これには 2 つのパラメーターが必要です：1. `point` (フォーカスする点の座標) と 2. `autoFocus` (この特定の操作でオートフォーカスを有効にするかどうか)。その後のオートフォーカスの動作は、setAutoFocus API で設定された値に従います。 */
mAlivcLivePusher.focusCameraAtAdjustedPoint(x, y, true);
/* オートフォーカスを有効にするかどうかを設定します。 */
mAlivcLivePusher.setAutoFocus(true);
/* ミラーリングを設定します。ミラーリング API には、アップストリーミングストリーム用の PushMirror とローカルプレビュー用の PreviewMirror の 2 つがあります。PushMirror は再生表示にのみ影響し、PreviewMirror はプレビュー表示にのみ影響します。互いに影響しません。 */
mAlivcLivePusher.setPreviewMirror(false);
mAlivcLivePusher.setPushMirror(false);

画面共有ストリームのインジェスト

画面共有は MediaProjection を使用し、ユーザーの権限が必要です。権限の結果データを SDK に渡します。画面共有中は、カメラはデフォルトで無効になっています。

// resultData は画面共有システムの意図です。
mAlivcLivePushConfig.setMediaProjectionPermissionResultData(resultData);

mAlivcLivePusher.setScreenOrientation(0);

mAlivcLivePusher.pauseScreenCapture(); // プライバシー保護を有効にします。
mAlivcLivePusher.resumeScreenCapture(); // プライバシー保護を無効にします。

カメラと画面共有ストリームのアップストリーミング

画面共有中にカメラのアップストリーミングを有効にすることができます。2 つのアプローチがあります：

1. ストリーマーにカメラプレビューがある。

   ストリーマーと視聴者の両方がカメラフィードを見ることができます。

2. ストリーマーにカメラプレビューがない。

   たとえば、ゲームストリーミング中、ストリーマーはカメラビューがゲームを妨げることを望まないかもしれません。しかし、視聴者は最終的なストリームでストリーマーのカメラフィードを見ることができます。

mAlivcLivePusher.startCamera(surfaceView); // カメラプレビューを開始します。
mAlivcLivePusher.stopCamera(); // カメラプレビューを停止します。

mAlivcLivePusher.startCameraMix(x, y, w, h); // カメラストリームミキシングを有効にし、ミキシングされたストリームの x, y, w, h レイアウトを設定します。
mAlivcLivePusher.stopCameraMix(); // カメラストリームミキシングを停止します。

プレビュー表示モード

3 つのプレビュー表示モードが利用可能です。表示モードはアップストリーミングには影響しません。

• ALIVC_LIVE_PUSHER_PREVIEW_SCALE_FILL：ビデオがプレビューウィンドウを埋めます。ビデオとウィンドウの縦横比が異なる場合、プレビューは歪んで表示されます。

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT：ビデオの縦横比が維持されます。ビデオとウィンドウの縦横比が異なる場合、プレビューに黒枠が表示されます。

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FILL：ビデオはウィンドウの縦横比に合わせてトリミングされます。縦横比が異なる場合、ビデオはトリミングされます。

次のコードは例です：

mAlivcLivePushConfig.setPreviewDisplayMode(AlivcPreviewDisplayMode.ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT);

画像ストリームのアップストリーミング

SDK は、アプリがバックグラウンドにあるときやネットワーク状態が悪いときに、プレースホルダー画像をアップストリーミングできます。

アプリがバックグラウンドに入ると、ビデオのアップストリーミングは一時停止し、音声は継続します。視聴者に知らせるためにプレースホルダー画像を表示します：

mAlivcLivePushConfig.setPausePushImage("path/to/background.png"); // バックグラウンドアップストリーミング用の画像を設定します。

SDK は、低いビットレートを検出すると、このイメージを取り込んで動画のコマ落ちを低減します:

mAlivcLivePushConfig.setNetworkPoorPushImage("path/to/network_poor.png"); // ネットワーク状態が悪いときにアップストリーミングする画像を設定します。

音声のみのアップストリーミング

mAlivcLivePushConfig.setAudioOnly(true);

外部のオーディオおよびビデオストリームを取り込む

SDK は、ビデオファイルなどの外部ソースからの音声およびビデオのアップストリーミングをサポートしています。

まず、カスタム音声およびビデオ入力を有効にします：

外部の音声およびビデオのアップストリーミングは、SDK 7.8.0 以降でサポートされています。主要な操作は、setExternMainStream (カスタム音声およびビデオ入力を有効にする)、inputStreamAudioData (外部音声ストリームをアップストリーミングする)、および inputStreamVideoData (外部ビデオストリームをアップストリーミングする) です。SDK 7.11.0 は主にクライアント認証の有効期限ロジックを最適化し、ビデオキャプチャエラーコールバックを追加しますが、外部ストリームのアップストリーミング機能は導入されていないため、この機能のためだけにアップグレードする必要はありません。

/**
* 出力解像度、音声サンプルレート、チャンネル数などの他のパラメーターは、
* setResolution、setAudioSampleRate、setAudioChannels を使用して config オブジェクトで設定されます。
*/
mAlivcLivePushConfig.setExternMainStream(true,AlivcImageFormat.IMAGE_FORMAT_YUVNV12,AlivcSoundFormat.SOUND_FORMAT_S16);

カスタム音声およびビデオ入力を有効にした後、外部ストリームをアップストリーミングできます。

/**
* この API はタイミングを制御しません。呼び出し元が入力音声フレームのタイミングを制御する必要があります。
*/
mAlivcLivePusher.inputStreamAudioData(byte[] data, int size, int sampleRate, int channels, long pts);

/**
* この API はタイミングを制御しません。呼び出し元が入力ビデオフレームのタイミングを制御する必要があります。
*/
mAlivcLivePusher.inputStreamVideoData(byte[] data, int width, int height, int stride, int size, long pts, int rotation);

プッシュ SDK は RTSP プロトコルをサポートしていません。ネットワークカメラ (IP カメラ) から RTSP ストリームをアップストリーミングするには、まずストリームを YUV/PCM フォーマットにデコードし、次に inputStreamAudioData/inputStreamVideoData API を使用してアップストリーミングします。

利用可能なデコードツール：

• FFmpeg：RTSP 入力をサポートし、YUV420p および PCM s16le にデコードできます。コマンド例：ffmpeg -rtsp_transport tcp -i rtsp://camera_ip/stream -an -c:v rawvideo -pix_fmt yuv420p output.yuv

• GStreamer：RTSP 入力をサポートし、YUV420p および PCM s16le にデコードできます。

• MediaCodec：Android 4.1 (API レベル 16) 以降でハードウェア H.264 デコードを YUV にサポートする Android フレームワーク API (android.media.MediaCodec) です。

デコードされたデータ形式は、SDK の設定と一致する必要があります：ビデオ形式を IMAGE_FORMAT_YUVNV12 に、音声形式を SOUND_FORMAT_S16 に設定します。

ウォーターマークの設定

PNG 形式のウォーターマークを 1 つ以上追加します：

mAlivcLivePushConfig.addWaterMark(waterPath,0.1,0.2,0.3); // ウォーターマークを追加します。

ビデオ品質の設定

解像度優先モード、流暢さ優先モード、カスタムモードの 3 つのビデオ品質モードがサポートされています。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_RESOLUTION_FIRST); // 解像度を優先します。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_FLUENCY_FIRST); // 流暢さを優先します。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_CUSTOM); // カスタムモード
mAlivcLivePushConfig.setTargetVideoBitrate(1000); // 目標ビットレート：1,000 kbit/s
mAlivcLivePushConfig.setMinVideoBitrate(300); // 最小ビットレート：300 kbit/s
mAlivcLivePushConfig.setInitialVideoBitrate(800); // 初期ビットレート：800 kbit/s

適応解像度

適応解像度は、ネットワーク状態が悪い場合に自動的に解像度を下げて、滑らかさを向上させます：

mAlivcLivePushConfig.setEnableAutoResolution(true); // 適応解像度を有効にします。デフォルトは false です。

BGM

SDK は、BGM の再生、ミキシング、ノイズ除去、インイヤーモニタリング、ミュートをサポートしています：

/* BGM の再生を開始します。 */
mAlivcLivePusher.startBGMAsync(mPath)；
/* BGM の再生を停止します。BGM がすでに再生中で曲を切り替える必要がある場合は、現在の BGM を停止する必要はなく、BGM 開始 API を再度呼び出すだけです。 */
mAlivcLivePusher.stopBGMAsync();
/* BGM を一時停止します。これは BGM が再生を開始した後にのみ呼び出すことができます。 */
mAlivcLivePusher.pauseBGM();
/* BGM を再開します。これは BGM が一時停止しているときにのみ呼び出すことができます。 */
mAlivcLivePusher.resumeBGM();
/* BGM のループを有効にします。 */
mAlivcLivePusher.setBGMLoop(true);
/* ノイズ除去スイッチを設定します。有効にすると、キャプチャされた音声の非人間的な音がフィルタリングされます。これにより、人間の声がわずかに抑制される場合があります。ユーザーがこの機能を有効にするかどうかを選択できるようにすることを推奨します。デフォルトでは無効になっています。 */
mAlivcLivePusher.setAudioDenoise(true);
/* インイヤーモニタリングスイッチを設定します。この機能は主にカラオケシナリオで使用されます。ヘッドフォンを接続して有効にすると、ストリーマーは自分の声を聞くことができます。無効にすると、聞こえません。ヘッドフォンが接続されていない場合は効果がありません。 */
mAlivcLivePusher.setBGMEarsBack(true);
/* ミキシングを設定して、BGM とキャプチャされた音声の音量を調整します。 */
mAlivcLivePusher.setBGMVolume(50); // BGM の音量を設定します。
mAlivcLivePusher.setCaptureVolume(50); // キャプチャされた音声の音量を設定します。
/* 音声をミュートします。これにより、音楽と音声入力の両方がミュートされます。音楽または音声のみをミュートするには、ミキシング音量調整 API を使用します。 */
mAlivcLivePusher.setMute(true);

ストリームスナップショット

ローカルビデオストリームのスナップショットを撮ります：

// ビデオストリームのスナップショットを撮ります。パラメーター：キャプチャする画像の数、各キャプチャ間の間隔 (秒)、およびコールバックリスナー。
pusher.snapshot(1, 1, new AlivcSnapshotListener() {
    @Override
    public void onSnapshot(Bitmap bmp) {
        // スナップショットをローカルの PNG ファイルに保存できます。次のコードは例です。
        String dateFormat = new SimpleDateFormat("yyyy-MM-dd-hh-mm-ss-SS").format(new Date());
        File f = new File(context.getExternalFilesDir(Environment.DIRECTORY_PICTURES), "snapshot-" + dateFormat + ".png");
        if (f.exists()) {
            f.delete();
        }
        try {
            FileOutputStream out = new FileOutputStream(f);
            bmp.compress(Bitmap.CompressFormat.PNG, 90, out);
            out.flush();
            out.close();
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
});

バックグラウンド実行と画面ロック

• アプリがバックグラウンドに移動したり、画面がロックされたりした場合、AlivcLivePusher の pause() または resume() メソッドを呼び出して、アップストリーミングを一時停止または再開できます。

• システム以外の音声およびビデオ通話の場合、SDK は音声をキャプチャしてアップストリーミングします。ビジネスニーズに応じて、mAlivcLivePusher.setMute(true or false) API を呼び出して、アプリがバックグラウンドにあるときや画面がロックされているときに音声をキャプチャするかどうかを決定できます。

コールバック

一般的なメソッドと API

/* カスタムモードでは、最小および目標ビットレートをリアルタイムで調整できます。 */
mAlivcLivePusher.setTargetVideoBitrate(800);
mAlivcLivePusher.setMinVideoBitrate(400);
/* カメラがオートフォーカスをサポートしているか確認します。 */
mAlivcLivePusher.isCameraSupportAutoFocus();
/* カメラがフラッシュをサポートしているか確認します。 */
mAlivcLivePusher.isCameraSupportFlash();
/* 現在のアップストリーミングステータスを取得します。 */
mAlivcLivePusher.isPushing(); 
/* アップストリーミング URL を取得します。 */
mAlivcLivePusher.getPushUrl();
/* アップストリーミングのパフォーマンスとデバッグ情報を取得します。パフォーマンスパラメーターの詳細については、API リファレンスまたはインターフェイスのコメントをご参照ください。 */
mAlivcLivePusher.getLivePushStatsInfo();
/* SDK のバージョン番号を取得します。 */
mAlivcLivePusher.getSDKVersion();
/* 必要に応じてデバッグ情報をフィルタリングするためにログレベルを設定します。 */
mAlivcLivePusher.setLogLevel(AlivcLivePushLogLevelAll);
/* SDK の現在のステータスを取得します。 */
mAlivcLivePusher.getCurrentStatus();
/* 最後のエラーコードを取得します。エラーがない場合は ALIVC_COMMON_RETURN_SUCCESS を返します。 */
mAlivcLivePusher.getLastError();

レタッチの統合

レタッチライブラリをインポートし、コールバックを設定してレタッチを有効にします。

1. Maven を使用してレタッチライブラリをインポートします。build.gradle ファイルに以下を追加します。SDK バージョンについては、最新のデモをご確認ください。

   implementation "com.aliyun.maliang.android:queen:2.5.0-official-full"
   implementation("com.aliyun.maliang.android:queen_menu:2.5.0-official-full") {
       exclude group: 'com.aliyun.maliang.android', module: 'queen'
   }

   デモから LiveBeauty モジュールを統合することもできます：

   ファイルまたはフォルダ	説明
   live_beauty	レタッチの基本抽象クラス。
   queen_beauty	レタッチの基本 UI コントロール。

2. LiveBeauty レタッチプラグインライブラリを取得します。

   1. clone コマンドを使用して、LiveBeauty パスから関連するプラグインライブラリコードをローカルマシンにダウンロードします。

      git clone https://github.com/MediaBox-Demos/amdemos-android-live.git

   2. Android Studio プロジェクトのルートディレクトリでコマンドラインを開きます。次のコードを実行し、File > New > Import Module を使用して LiveBeauty モジュールを Android プロジェクトにインポートします。

      git submodule add https://github.com/MediaBox-Demos/amdemos-android-live.git ***/***/***

      説明

      サンプルコードでは、/*** は LiveBeauty モジュールへのパスのプレースホルダーです。

   3. プロジェクトの settings.gradle ファイルに、モジュールのパスを追加します：

      include ':app', ':LiveBeauty', ':LiveBeauty:live_queenbeauty'

      説明

      サンプルコードでは、「app」はメインモジュールです。

   4. また、プロジェクトのメインモジュールの build.gradle ファイルに、LiveBeauty モジュールへの依存関係を追加します：

      dependencies {
          implementation project(':LiveBeauty')
          implementation project(':LiveBeauty:live_queenbeauty')
      }

   5. File > Sync Project with Gradle Files をクリックします。Gradle の同期が完了すると、LiveBeauty モジュールを使用できます。

3. レタッチプラグインの UI モジュールを設定します。

   1. プロジェクトのレイアウト XML ファイルに QueenBeautyMenu コントロールを追加します。例：

      <com.aliyunsdk.queen.menu.QueenBeautyMenu
          android:id="@+id/beauty_beauty_menuPanel"
          android:layout_width="match_parent"
          android:layout_height="wrap_content"
          android:layout_alignParentBottom="true"
          android:layout_centerHorizontal="true" />

   2. Activity で QueenBeautyMenu を初期化します。例：

      // レタッチメニューパネルを初期化します。
      QueenMenuPanel beautyMenuPanel = QueenBeautyMenu.getPanel(context);
      beautyMenuPanel.onHideMenu(); 
      beautyMenuPanel.onHideValidFeatures(); 
      beautyMenuPanel.onHideCopyright(); 
      
      // レイアウトにレタッチメニューを追加します。
      QueenBeautyMenu beautyBeautyContainerView = findViewById(R.id.beauty_beauty_menuPanel);
      beautyBeautyContainerView.addView(beautyMenuPanel);

4. 顔認識とレタッチのコールバックを設定します。

   サードパーティのレタッチライブラリを統合する必要がある場合は、setCustomDetect および setCustomFilter コールバックを設定します。

   • customDetectProcess では、data パラメーターはサードパーティ処理用のキャプチャされたデータへのポインターです。

   • customFilterProcess では、inputTexture パラメーターは処理対象の画像テクスチャです。処理されたテクスチャ ID を返すか、変更されていない場合は元の inputTexture を返します。

   サンプルコード

   /**
    * 顔認識コールバック。
    */
   mAlivcLivePusher.setCustomDetect(new AlivcLivePushCustomDetect() {
       @Override
       public void customDetectCreate() {
   
       }
   
       @Override
       public long customDetectProcess(long dataPtr, int width, int height, int rotation, int format, long extra) {
           return 0;
       }
   
       @Override
       public void customDetectDestroy() {
   
       }
   });
   
   /**
    * レタッチコールバック。
    */
    
   /**
    * BeautyManager を初期化します。
    */
   mAlivcLivePusher.setCustomFilter(new AlivcLivePushCustomFilter() {
       @Override
       public void customFilterCreate() {
           initBeautyManager();
       }
   
   /**
    * アップストリーミングされたビデオストリームを処理し、レタッチ効果を追加します。
    */
       @Override
       public int customFilterProcess(int inputTexture, int textureWidth, int textureHeight, long extra) {
           if (mBeautyManager == null) {
               return inputTexture;
           }
   
           return mBeautyManager.onTextureInput(inputTexture, textureWidth, textureHeight);
       }
   
       @Override
       public void customFilterDestroy() {
           destroyBeautyManager();
       }
   });