ApsaraVideo Live:Push SDK for Android の使用

SDK の登録

ライセンスを取得して設定するには、「Push SDK ライセンスの統合」をご参照ください。

Push SDK for Android を使用する前に、アプリケーションのライフサイクルの早い段階でライセンス登録 API を呼び出してください。

AlivcLiveBase.setListener(new AlivcLiveBaseListener() {
  @Override
  public void onLicenceCheck(AlivcLivePushConstants.AlivcLiveLicenseCheckResultCode result, String reason) {
    Log.e(TAG, "onLicenceCheck: " + result + ", " + reason);
  }
});
AlivcLiveBase.registerSDK();

• AlivcLiveBase クラスを使用して、ログレベルの設定、ローカルログパスの指定、SDK バージョンの取得を行います。

• SDK ライセンスを登録するには、AlivcLiveBase の registerSDK メソッドを呼び出す必要があります。

• AlivcLiveBase#setListener インターフェイスの onLicenceCheck コールバックを実装して、ライセンス設定を非同期で検証します。

  説明

  このコールバックは、プッシャーインスタンスを初期化した後にのみトリガーされます。

カメラストリームの取り込み

1. 初期化

   アップストリーミングパラメーターを設定した後、init メソッドを呼び出します：

   AlivcLivePusher mAlivcLivePusher = new AlivcLivePusher();
   mAlivcLivePusher.init(mContext, mAlivcLivePushConfig);

   説明

   AlivcLivePusher は複数のインスタンスをサポートしていません。各 init 呼び出しは destroy 呼び出しとペアにする必要があります。

2. プレビューコールバックの登録

   setLivePushInfoListener メソッドを呼び出してプレビューコールバックを登録します：

   /**
    * アップストリーミングイベント通知用のリスナーを設定します。
    *
    * @param infoListener 通知リスナー。
    */
   mAlivcLivePusher.setLivePushInfoListener(new AlivcLivePushInfoListener() {
       @Override
       public void onPreviewStarted(AlivcLivePusher pusher) {
           // プレビューが開始されたことの通知。
       }
       // その他のオーバーライドメソッド
       //....
       //....
   });

3. プレビューの開始

   カメラプレビュー用の SurfaceView を渡してプレビューを開始します：

   mAlivcLivePusher.startPreview(mSurfaceView); // プレビューを開始します。必要に応じて非同期の startPreviewAsync メソッドを呼び出すこともできます。

4. アップストリーミングの開始

   onPreviewStarted コールバックメソッド内に次のコードを追加します。

   mAlivcLivePusher.startPush(mPushUrl);

   説明

   • RTMP および RTS (artc://) の取り込み URL がサポートされています。URL を取得するには、「取り込み URL とストリーミング URL の生成」をご参照ください。

   • ApsaraVideo Live は、同じ URL への同時アップストリーミングリクエストを拒否します。

/* アップストリーミング中のストリームを一時停止します。一時停止後、ビデオプレビューとビデオアップストリーミングは最後のフレームで保持され、音声アップストリーミングは継続されます。*/
mAlivcLivePusher.pause();
/* 一時停止したストリームを再開します。再開後、音声とビデオのプレビューおよびアップストリーミングは通常の状態に戻ります。*/
mAlivcLivePusher.resume();
/* アップストリーミング中のストリームを停止します。完了後、アップストリーミングは停止します。*/
mAlivcLivePusher.stopPush();
/* プレビュー状態の場合にのみプレビューを停止します。アップストリーミング中に呼び出しても効果はありません。プレビューが停止すると、プレビューフレームは最後のフレームでフリーズします。*/
mAlivcLivePusher.stopPreview();
/* ストリームがアップストリーミング中、またはエラー関連のコールバックを受信した後に、アップストリーミングを再起動します。エラー状態では、この API、reconnectPushAsync、または destroy のみを呼び出すことができます。再起動すると、プレビューとアップストリーミングを含む AlivcLivePusher のすべての内部リソースが再初期化されます。*/
mAlivcLivePusher.restartPush();
/* ストリームがアップストリーミング中、または AlivcLivePusherNetworkDelegate に関連するエラーコールバックを受信した後に、ストリームを再接続します。エラー状態では、この API、restartPush、または destroy のみを呼び出すことができます。再接続すると、アップストリーミングのための RTMP 接続が再確立されます。*/
mAlivcLivePusher.reconnectPushAsync();
/* アップストリーミングインスタンスを破棄します。破棄後、アップストリーミングとプレビューは停止し、プレビューサーフェスは削除されます。AlivcLivePusher に関連するすべてのリソースが解放されます。*/
mAlivcLivePusher.destroy();

/* フロントカメラとリアカメラを切り替えます。*/
mAlivcLivePusher.switchCamera();
/* フラッシュをオンまたはオフにします。フロントカメラがアクティブな場合、フラッシュをオンにしても効果はありません。*/
mAlivcLivePusher.setFlash(true); 
/* 焦点距離を調整して、キャプチャした画像をズームします。ズーム範囲は [0, getMaxZoom()] です。*/
mAlivcLivePusher.setZoom(5);
/* カメラを手動でフォーカスします。これには 2 つのパラメーターが必要です：1. `point` (フォーカスするポイントの座標) と 2. `autoFocus` (この特定の操作でオートフォーカスを有効にするかどうか)。その後のオートフォーカスの動作は、setAutoFocus API で設定された値に従います。*/
mAlivcLivePusher.focusCameraAtAdjustedPoint(x, y, true);
/* オートフォーカスを有効にするかどうかを設定します。*/
mAlivcLivePusher.setAutoFocus(true);
/* ミラーリングを設定します。ミラーリング API は 2 つあります：アップストリーミング用の PushMirror とローカルプレビュー用の PreviewMirror です。PushMirror は再生表示にのみ影響し、PreviewMirror はプレビュー表示にのみ影響します。互いに影響しません。*/
mAlivcLivePusher.setPreviewMirror(false);
mAlivcLivePusher.setPushMirror(false);

画面共有ストリームのインジェスト

画面共有は MediaProjection を使用し、ユーザーの権限が必要です。権限の結果データを SDK に渡します。画面共有中は、カメラはデフォルトで無効になっています。

// resultData は画面共有システムのインテントです。
mAlivcLivePushConfig.setMediaProjectionPermissionResultData(resultData);

mAlivcLivePusher.setScreenOrientation(0);

mAlivcLivePusher.pauseScreenCapture(); // プライバシー保護を有効にします。
mAlivcLivePusher.resumeScreenCapture(); // プライバシー保護を無効にします。

カメラと画面共有のストリームを取り込む

画面共有中にカメラのアップロードを有効にできます。2 つのアプローチがあります：

1. ストリーマーにカメラプレビューがある。

   ストリーマーと視聴者の両方がカメラフィードを見ることができます。

2. ストリーマーにカメラプレビューがない。

   たとえば、ゲームストリーミング中、ストリーマーはカメラビューがゲームを妨げることを望まないかもしれません。しかし、視聴者は最終的なストリームでストリーマーのカメラフィードを見ることができます。

mAlivcLivePusher.startCamera(surfaceView); // カメラプレビューを開始します。
mAlivcLivePusher.stopCamera(); // カメラプレビューを停止します。

mAlivcLivePusher.startCameraMix(x, y, w, h); // カメラストリームミキシングを有効にし、ミックスされたストリームの x, y, w, h レイアウトを設定します。
mAlivcLivePusher.stopCameraMix(); // カメラストリームミキシングを停止します。

プレビュー表示モード

3 つのプレビュー表示モードが利用可能です。表示モードはアップストリーミングには影響しません。

• ALIVC_LIVE_PUSHER_PREVIEW_SCALE_FILL：ビデオがプレビューウィンドウを埋めます。ビデオとウィンドウのアスペクト比が異なる場合、プレビューは歪んで表示されます。

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT：ビデオのアスペクト比が維持されます。ビデオとウィンドウのアスペクト比が異なる場合、プレビューに黒帯が表示されます。

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FILL：ビデオがウィンドウのアスペクト比に合わせてトリミングされます。アスペクト比が異なる場合、ビデオはトリミングされます。

以下のコードは一例です：

mAlivcLivePushConfig.setPreviewDisplayMode(AlivcPreviewDisplayMode.ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT);

画像ストリームのアップロード

SDKは、アプリがバックグラウンドにある場合やネットワークの状態が悪い場合に、プレースホルダーイメージを取り込むことができます。

アプリがバックグラウンドに入ると、ビデオのアップロードは一時停止しますが、音声は継続されます。視聴者に知らせるためにプレースホルダー画像を表示します：

mAlivcLivePushConfig.setPausePushImage("path/to/background.png"); // バックグラウンドアップストリーミング用の画像を設定します。

SDK は、ビットレートの低下を検出するとこの画像をアップロードし、ビデオのコマ落ちを減らします：

mAlivcLivePushConfig.setNetworkPoorPushImage("path/to/network_poor.png"); // ネットワーク状態が悪いときにアップロードする画像を設定します。

音声のみのアップストリーミング

mAlivcLivePushConfig.setAudioOnly(true);

外部の音声およびビデオストリームのアップロード

SDK は、ビデオファイルなどの外部ソースからの音声およびビデオのアップロードをサポートしています。

まず、カスタムの音声およびビデオ入力を有効にします：

/**
* 出力解像度、音声サンプルレート、チャンネル数などの他のパラメーターは、
* setResolution、setAudioSampleRate、setAudioChannels を使用して config オブジェクトで設定されます。
*/
mAlivcLivePushConfig.setExternMainStream(true,AlivcImageFormat.IMAGE_FORMAT_YUVNV12,AlivcSoundFormat.SOUND_FORMAT_S16);

カスタムオーディオ/ビデオ入力を有効にすると、外部ストリームを取り込むことができます。

/**
* この API はタイミングを制御しません。呼び出し元が入力音声フレームのタイミングを制御する必要があります。
*/
mAlivcLivePusher.inputStreamAudioData(byte[] data, int size, int sampleRate, int channels, long pts);

/**
* この API はタイミングを制御しません。呼び出し元が入力ビデオフレームのタイミングを制御する必要があります。
*/
mAlivcLivePusher.inputStreamVideoData(byte[] data, int width, int height, int stride, int size, long pts, int rotation);

ウォーターマークの設定

PNG 形式のウォーターマークを 1 つ以上追加します：

mAlivcLivePushConfig.addWaterMark(waterPath,0.1,0.2,0.3); // ウォーターマークを追加します。

ビデオ品質の設定

3 つのビデオ品質モードがサポートされています：解像度優先モード、流暢性優先モード、カスタムモード。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_RESOLUTION_FIRST); // 解像度を優先します。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_FLUENCY_FIRST); // 流暢性を優先します。

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_CUSTOM); // カスタムモード
mAlivcLivePushConfig.setTargetVideoBitrate(1000); // ターゲットビットレート：1,000 kbit/s
mAlivcLivePushConfig.setMinVideoBitrate(300); // 最小ビットレート：300 kbit/s
mAlivcLivePushConfig.setInitialVideoBitrate(800); // 初期ビットレート：800 kbit/s

解像度適応

解像度適応は、ネットワーク状態が悪い場合に自動的に解像度を下げて滑らかさを向上させます：

mAlivcLivePushConfig.setEnableAutoResolution(true); // 解像度適応を有効にします。デフォルトは false です。

BGM

SDK は、BGM の再生、ミキシング、ノイズ除去、インイヤーモニタリング、ミュートをサポートしています：

/* BGM の再生を開始します。*/
mAlivcLivePusher.startBGMAsync(mPath)；
/* BGM の再生を停止します。BGM がすでに再生中で曲を切り替える必要がある場合は、現在の BGM を停止する必要はなく、再度 BGM 開始 API を呼び出すだけです。*/
mAlivcLivePusher.stopBGMAsync();
/* BGM を一時停止します。これは BGM が再生を開始した後にのみ呼び出すことができます。*/
mAlivcLivePusher.pauseBGM();
/* BGM を再開します。これは BGM が一時停止している場合にのみ呼び出すことができます。*/
mAlivcLivePusher.resumeBGM();
/* BGM のループを有効にします。*/
mAlivcLivePusher.setBGMLoop(true);
/* ノイズ除去スイッチを設定します。有効にすると、キャプチャされた音声の非人間的な音がフィルタリングされます。これにより、人間の声がわずかに抑制される場合があります。ユーザーがこの機能を有効にするかどうかを選択できるようにすることを推奨します。デフォルトでは無効になっています。*/
mAlivcLivePusher.setAudioDenoise(true);
/* インイヤーモニタリングスイッチを設定します。この機能は主にカラオケシナリオで使用されます。ヘッドフォンを接続して有効にすると、ストリーマーは自分の声を聞くことができます。無効にすると、聞こえません。ヘッドフォンが接続されていない場合は効果がありません。*/
mAlivcLivePusher.setBGMEarsBack(true);
/* ミキシングを設定して、BGM とキャプチャされた音声の音量を調整します。*/
mAlivcLivePusher.setBGMVolume(50); // BGM の音量を設定します。
mAlivcLivePusher.setCaptureVolume(50); // キャプチャされた音声の音量を設定します。
/* 音声をミュートします。これにより、音楽と音声入力の両方がミュートされます。音楽または音声のみをミュートするには、ミキシング音量調整 API を使用します。*/
mAlivcLivePusher.setMute(true);

ストリームスナップショット

ローカルビデオストリームのスナップショットを撮ります：

// ビデオストリームのスナップショットを撮ります。パラメーター：キャプチャする画像の数、各キャプチャ間の間隔 (秒)、およびコールバックリスナー。
pusher.snapshot(1, 1, new AlivcSnapshotListener() {
    @Override
    public void onSnapshot(Bitmap bmp) {
        // スナップショットをローカルの PNG ファイルに保存できます。以下のコードは一例です。
        String dateFormat = new SimpleDateFormat("yyyy-MM-dd-hh-mm-ss-SS").format(new Date());
        File f = new File(context.getExternalFilesDir(Environment.DIRECTORY_PICTURES), "snapshot-" + dateFormat + ".png");
        if (f.exists()) {
            f.delete();
        }
        try {
            FileOutputStream out = new FileOutputStream(f);
            bmp.compress(Bitmap.CompressFormat.PNG, 90, out);
            out.flush();
            out.close();
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
});

バックグラウンド実行と画面ロック

• アプリがバックグラウンドに移動したり、画面がロックされたりした場合、AlivcLivePusher の pause() または resume() メソッドを呼び出して、アップストリーミングを一時停止または再開できます。

• システム以外の音声およびビデオ通話の場合、SDK は音声をキャプチャしてアップロードします。ビジネスニーズに応じて、mAlivcLivePusher.setMute(true or false) API を呼び出して、アプリがバックグラウンドにあるときや画面がロックされているときに音声をキャプチャするかどうかを決定できます。

コールバック

一般的なメソッドと API

/* カスタムモードでは、最小およびターゲットビットレートをリアルタイムで調整できます。*/
mAlivcLivePusher.setTargetVideoBitrate(800);
mAlivcLivePusher.setMinVideoBitrate(400);
/* カメラがオートフォーカスをサポートしているかどうかを確認します。*/
mAlivcLivePusher.isCameraSupportAutoFocus();
/* カメラがフラッシュをサポートしているかどうかを確認します。*/
mAlivcLivePusher.isCameraSupportFlash();
/* 現在のアップストリーミングステータスを取得します。*/
mAlivcLivePusher.isPushing(); 
/* アップストリーミング URL を取得します。*/
mAlivcLivePusher.getPushUrl();
/* アップストリーミングのパフォーマンスとデバッグ情報を取得します。パフォーマンスパラメーターの詳細については、API リファレンスまたはインターフェイスのコメントをご参照ください。*/
mAlivcLivePusher.getLivePushStatsInfo();
/* SDK のバージョン番号を取得します。*/
mAlivcLivePusher.getSDKVersion();
/* 必要に応じてデバッグ情報をフィルタリングするためにログレベルを設定します。*/
mAlivcLivePusher.setLogLevel(AlivcLivePushLogLevelAll);
/* SDK の現在のステータスを取得します。*/
mAlivcLivePusher.getCurrentStatus();
/* 最後のエラーコードを取得します。エラーがない場合は ALIVC_COMMON_RETURN_SUCCESS を返します。*/
mAlivcLivePusher.getLastError();

レタッチの統合

レタッチライブラリをインポートし、コールバックを設定してレタッチを有効にします。

1. Maven 経由でレタッチライブラリをインポートします。 build.gradle ファイルに以下を追加します。 SDK バージョンについては、最新のデモで確認してください。

   implementation "com.aliyun.maliang.android:queen:2.5.0-official-full"
   implementation("com.aliyun.maliang.android:queen_menu:2.5.0-official-full") {
       exclude group: 'com.aliyun.maliang.android', module: 'queen'
   }

   デモから LiveBeauty モジュールを統合することもできます：

   ファイルまたはフォルダ	説明
   live_beauty	レタッチの基本となる抽象クラスです。
   queen_beauty	レタッチ用の基本 UI コントロール。

2. LiveBeauty レタッチプラグインライブラリを取得します。

   1. clone コマンドを使用して、LiveBeauty パスから関連するプラグインライブラリコードをローカルマシンにダウンロードします。

      git clone https://github.com/MediaBox-Demos/amdemos-android-live.git

   2. Android Studio プロジェクトのルートディレクトリでコマンドラインを開きます。次のコードを実行し、File > New > Import Module  を使用して LiveBeauty モジュールを Android プロジェクトにインポートします。

      git submodule add https://github.com/MediaBox-Demos/amdemos-android-live.git ***/***/***

      説明

      サンプルコードでは、/*** は LiveBeauty モジュールへのパスのプレースホルダーです。

   3. プロジェクトの settings.gradle ファイルに、モジュールのパスを追加します：

      include ':app', ':LiveBeauty', ':LiveBeauty:live_queenbeauty'

      説明

      サンプルコードでは、「app」はメインモジュールです。

   4. また、プロジェクトのメインモジュールの build.gradle ファイルに、LiveBeauty モジュールへの依存関係を追加します：

      dependencies {
          implementation project(':LiveBeauty')
          implementation project(':LiveBeauty:live_queenbeauty')
      }

   5. File > Sync Project with Gradle Files をクリックします。Gradle の同期が完了すると、LiveBeauty モジュールを使用できます。

3. レタッチプラグインの UI モジュールを設定します。

   1. プロジェクトのレイアウト XML ファイルに QueenBeautyMenu コントロールを追加します。例：

      <com.aliyunsdk.queen.menu.QueenBeautyMenu
          android:id="@+id/beauty_beauty_menuPanel"
          android:layout_width="match_parent"
          android:layout_height="wrap_content"
          android:layout_alignParentBottom="true"
          android:layout_centerHorizontal="true" />

   2. Activity で QueenBeautyMenu を初期化します。例：

      // レタッチメニューパネルを初期化します。
      QueenMenuPanel beautyMenuPanel = QueenBeautyMenu.getPanel(context);
      beautyMenuPanel.onHideMenu(); 
      beautyMenuPanel.onHideValidFeatures(); 
      beautyMenuPanel.onHideCopyright(); 
      
      // レタッチメニューをレイアウトに追加します。
      QueenBeautyMenu beautyBeautyContainerView = findViewById(R.id.beauty_beauty_menuPanel);
      beautyBeautyContainerView.addView(beautyMenuPanel);

4. 顔認識とレタッチのコールバックを設定します。

   サードパーティのレタッチライブラリを統合する必要がある場合は、setCustomDetect および setCustomFilter コールバックを設定します。

   • customDetectProcess では、data パラメーターはサードパーティ処理用のキャプチャデータへのポインターです。

   • customFilterProcess では、inputTexture パラメーターは処理対象の画像テクスチャです。処理されたテクスチャ ID を返すか、変更されていない場合は元の inputTexture を返します。

   サンプルコード

   /**
    * 顔認識コールバック。
    */
   mAlivcLivePusher.setCustomDetect(new AlivcLivePushCustomDetect() {
       @Override
       public void customDetectCreate() {
   
       }
   
       @Override
       public long customDetectProcess(long dataPtr, int width, int height, int rotation, int format, long extra) {
           return 0;
       }
   
       @Override
       public void customDetectDestroy() {
   
       }
   });
   
   /**
    * レタッチコールバック。
    */
    
   /**
    * BeautyManager を初期化します。
    */
   mAlivcLivePusher.setCustomFilter(new AlivcLivePushCustomFilter() {
       @Override
       public void customFilterCreate() {
           initBeautyManager();
       }
   
   /**
    * アップロードされたビデオストリームを処理し、レタッチ効果を追加します。
    */
       @Override
       public int customFilterProcess(int inputTexture, int textureWidth, int textureHeight, long extra) {
           if (mBeautyManager == null) {
               return inputTexture;
           }
   
           return mBeautyManager.onTextureInput(inputTexture, textureWidth, textureHeight);
       }
   
       @Override
       public void customFilterDestroy() {
           destroyBeautyManager();
       }
   });