ApsaraVideo Live:Use o Push SDK for Android

Observe os seguintes limites antes de usar o Push SDK for Android:

• Configure a orientação da tela antes da ingestão de stream. Você não pode girar a tela durante a transmissão ao vivo.

• Desative a rotação automática de tela para a ingestão de stream no modo paisagem.

• No modo de codificação por hardware, o valor da resolução de saída deve ser um múltiplo de 16 para ser compatível com o codificador. Por exemplo, ao definir a resolução como 540p, a resolução de saída será 544 × 960. Dimensione o tamanho da tela do player com base na resolução de saída para evitar a exibição de barras pretas.

Registre o SDK

Para obter e configurar uma licença, integrate a Push SDK license.

Chame a API de registro de licença no início do ciclo de vida do seu aplicativo, antes de usar o Push SDK for Android.

AlivcLiveBase.setListener(new AlivcLiveBaseListener() {
  @Override
  public void onLicenceCheck(AlivcLivePushConstants.AlivcLiveLicenseCheckResultCode result, String reason) {
    Log.e(TAG, "onLicenceCheck: " + result + ", " + reason);
  }
});
AlivcLiveBase.registerSDK();

• Use a classe AlivcLiveBase para definir níveis de log, especificar caminhos locais de log e obter a versão do SDK.

• Chame o método registerSDK em AlivcLiveBase para registrar a licença do SDK.

• Implemente o callback onLicenceCheck na interface AlivcLiveBase#setListener para verificar de forma assíncrona a configuração da licença.

  Nota

  Este callback é acionado somente após a inicialização da instância do pusher.

Ingestão de stream da câmera

1. Inicialize.

   Chame o método init após configurar os parâmetros de ingestão de stream:

   AlivcLivePusher mAlivcLivePusher = new AlivcLivePusher();
   mAlivcLivePusher.init(mContext, mAlivcLivePushConfig);

   Nota

   O AlivcLivePusher não suporta múltiplas instâncias. Cada chamada de init deve ser pareada com uma chamada de destroy.

2. Registre os callbacks de visualização.

   Chame o método setLivePushInfoListener para registrar os callbacks de visualização:

   /**
    * Set a listener for stream ingest event notifications.
    *
    * @param infoListener The notification listener.
    */
   mAlivcLivePusher.setLivePushInfoListener(new AlivcLivePushInfoListener() {
       @Override
       public void onPreviewStarted(AlivcLivePusher pusher) {
           // Notification that the preview has started.
       }
       // Other override methods
       //....
       //....
   });

3. Inicie a visualização.

   Inicie a visualização passando o SurfaceView para a visualização da câmera:

   mAlivcLivePusher.startPreview(mSurfaceView); // Starts the preview. You can also call the asynchronous startPreviewAsync method based on your needs.

4. Inicie a ingestão de stream.

   Adicione o seguinte código dentro do método de callback onPreviewStarted.

   mAlivcLivePusher.startPush(mPushUrl);

   Nota

   • URLs de ingestão para RTMP e RTS (artc://) são suportadas. Para obter as URLs, consulte Generate ingest and streaming URLs.

   • O ApsaraVideo Live rejeita solicitações simultâneas de ingestão de stream para a mesma URL.

/* Call to pause a stream that is being ingested. After pausing, the video preview and video stream ingest are held on the last frame, while audio stream ingest continues. */
mAlivcLivePusher.pause();
/* Call to resume a paused stream. After resuming, the audio and video preview and stream ingest return to normal. */
mAlivcLivePusher.resume();
/* Call to stop a stream that is being ingested. After completion, stream ingest stops. */
mAlivcLivePusher.stopPush();
/* Call to stop the preview only when in the previewing state. Calling this while ingesting a stream has no effect. After the preview stops, the preview frame freezes on the last frame. */
mAlivcLivePusher.stopPreview();
/* Call to restart stream ingest when a stream is being ingested or after receiving any error-related callback. In an error state, you can only call this API, reconnectPushAsync, or destroy. Restarting reinitializes all internal resources of AlivcLivePusher, including preview and stream ingest. */
mAlivcLivePusher.restartPush();
/* Call to reconnect a stream when it is being ingested or after receiving an error callback related to AlivcLivePusherNetworkDelegate. In an error state, you can only call this API, restartPush, or destroy. Reconnecting re-establishes the RTMP connection for stream ingest. */
mAlivcLivePusher.reconnectPushAsync();
/* Call to dispose of the stream ingest instance. After disposal, stream ingest and preview stop, and the preview surface is removed. All resources related to AlivcLivePusher are released. */
mAlivcLivePusher.destroy();

/* Switch between the front and rear cameras. */
mAlivcLivePusher.switchCamera();
/* Turn the flash on or off. Turning on the flash has no effect when the front camera is active. */
mAlivcLivePusher.setFlash(true); 
/* Adjust the focal length to zoom the captured image. The zoom range is [0, getMaxZoom()]. */
mAlivcLivePusher.setZoom(5);
/* Manually focus the camera. This requires two parameters: 1. `point` (the coordinates of the point to focus on) and 2. `autoFocus` (whether to enable autofocus for this specific operation). Subsequent autofocus behavior follows the value set by the setAutoFocus API. */
mAlivcLivePusher.focusCameraAtAdjustedPoint(x, y, true);
/* Set whether to enable autofocus. */
mAlivcLivePusher.setAutoFocus(true);
/* Configure mirroring. There are two mirroring APIs: PushMirror for the ingested stream and PreviewMirror for the local preview. PushMirror affects only the playback display, while PreviewMirror affects only the preview display. They do not affect each other. */
mAlivcLivePusher.setPreviewMirror(false);
mAlivcLivePusher.setPushMirror(false);

Ingestão de stream de compartilhamento de tela

O compartilhamento de tela usa MediaProjection e requer permissão do usuário. Passe os dados do resultado da permissão para o SDK. A câmera é desativada por padrão durante o compartilhamento de tela.

// resultData is the screen sharing system intent.
mAlivcLivePushConfig.setMediaProjectionPermissionResultData(resultData);

mAlivcLivePusher.setScreenOrientation(0);

mAlivcLivePusher.pauseScreenCapture(); // Enable privacy protection.
mAlivcLivePusher.resumeScreenCapture(); // Disable privacy protection.

Ingestão de streams de câmera e compartilhamento de tela

Você pode ativar a ingestão da câmera durante o compartilhamento de tela. Há duas abordagens disponíveis:

1. O streamer tem uma visualização da câmera.

   Tanto o streamer quanto os espectadores podem ver o feed da câmera.

2. O streamer não tem uma visualização da câmera.

   Por exemplo, durante uma transmissão de jogos, o streamer pode não querer que a visualização da câmera obstrua o jogo. No entanto, os espectadores ainda podem ver o feed da câmera do streamer no stream final.

mAlivcLivePusher.startCamera(surfaceView); // Start the camera preview.
mAlivcLivePusher.stopCamera(); // Stop the camera preview.

mAlivcLivePusher.startCameraMix(x, y, w, h); // Enable camera stream mixing and set the x, y, w, and h layout for the mixed stream.
mAlivcLivePusher.stopCameraMix(); // Stop camera stream mixing.

Modo de exibição da visualização

Três modos de exibição de visualização estão disponíveis. O modo de exibição não afeta a ingestão de stream.

• ALIVC_LIVE_PUSHER_PREVIEW_SCALE_FILL: O vídeo preenche a janela de visualização. Se as proporções do vídeo e da janela forem diferentes, a visualização aparecerá distorcida.

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT: A proporção do vídeo é preservada. Se as proporções do vídeo e da janela forem diferentes, barras pretas aparecerão na visualização.

• ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FILL: O vídeo é cortado para caber na proporção da janela. Se as proporções forem diferentes, o vídeo será cortado.

O código a seguir fornece um exemplo:

mAlivcLivePushConfig.setPreviewDisplayMode(AlivcPreviewDisplayMode.ALIVC_LIVE_PUSHER_PREVIEW_ASPECT_FIT);

Ingestão de stream de imagem

O SDK pode ingerir uma imagem de espaço reservado quando o aplicativo está em segundo plano ou a rede está ruim.

Quando o aplicativo entra em segundo plano, a ingestão de vídeo pausa enquanto o áudio continua. Exiba uma imagem de espaço reservado para informar os espectadores:

mAlivcLivePushConfig.setPausePushImage("path/to/background.png"); // Set the image for background stream ingest.

O SDK ingere esta imagem ao detectar uma taxa de bits baixa, reduzindo os travamentos do vídeo:

mAlivcLivePushConfig.setNetworkPoorPushImage("path/to/network_poor.png"); // Set the image to ingest in poor network conditions.

Ingestão de stream apenas de áudio

mAlivcLivePushConfig.setAudioOnly(true);

Ingestão de streams externos de áudio e vídeo

O SDK suporta a ingestão de áudio e vídeo de fontes externas, como arquivos de vídeo.

Ative primeiro a entrada personalizada de áudio e vídeo:

/**
* Other parameters such as output resolution, audio sample rate, and number of channels are set in the config object
* using setResolution, setAudioSampleRate, and setAudioChannels.
*/
mAlivcLivePushConfig.setExternMainStream(true,AlivcImageFormat.IMAGE_FORMAT_YUVNV12,AlivcSoundFormat.SOUND_FORMAT_S16);

Após ativar a entrada personalizada de áudio e vídeo, você pode ingerir streams externos.

/**
* This API does not control timing. The caller must control the timing of the input audio frames.
*/
mAlivcLivePusher.inputStreamAudioData(byte[] data, int size, int sampleRate, int channels, long pts);

/**
* This API does not control timing. The caller must control the timing of the input video frames.
*/
mAlivcLivePusher.inputStreamVideoData(byte[] data, int width, int height, int stride, int size, long pts, int rotation);

Configure marcas d'água

Adicione uma ou mais marcas d'água no formato PNG:

mAlivcLivePushConfig.addWaterMark(waterPath,0.1,0.2,0.3); // Add a watermark.

Configure a qualidade do vídeo

Três modos de qualidade de vídeo são suportados: modo Prioridade de Resolução, modo Prioridade de Fluidez e modo Personalizado.

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_RESOLUTION_FIRST); // Prioritize resolution.

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_FLUENCY_FIRST); // Prioritize fluency.

mAlivcLivePushConfig.setQualityMode(AlivcQualityModeEnum.QM_CUSTOM); // Custom mode
mAlivcLivePushConfig.setTargetVideoBitrate(1000); // Target bitrate: 1,000 kbit/s
mAlivcLivePushConfig.setMinVideoBitrate(300); // Minimum bitrate: 300 kbit/s
mAlivcLivePushConfig.setInitialVideoBitrate(800); // Initial bitrate: 800 kbit/s

Resolução adaptativa

A resolução adaptativa reduz automaticamente a resolução em condições ruins de rede para melhorar a fluidez:

mAlivcLivePushConfig.setEnableAutoResolution(true); // Enable adaptive resolution. Default is false.

Música de fundo

O SDK suporta reprodução de música de fundo, mixagem, remoção de ruído, monitoramento in-ear e silenciamento:

/* Start playing background music. */
mAlivcLivePusher.startBGMAsync(mPath)；
/* Stop playing background music. If BGM is already playing and you need to switch songs, just call the start background music API again. You do not need to stop the current BGM. */
mAlivcLivePusher.stopBGMAsync();
/* Pause background music. This can only be called after BGM has started playing. */
mAlivcLivePusher.pauseBGM();
/* Resume background music. This can only be called when BGM is paused. */
mAlivcLivePusher.resumeBGM();
/* Enable looping for background music. */
mAlivcLivePusher.setBGMLoop(true);
/* Set the denoise switch. When enabled, non-human sounds in the captured audio are filtered. This may slightly suppress human voices. We recommend letting users choose whether to enable this feature. It is disabled by default. */
mAlivcLivePusher.setAudioDenoise(true);
/* Set the in-ear monitoring switch. This feature is mainly used in karaoke scenarios. When enabled with headphones plugged in, the streamer will hear their own voice. When disabled, they will not. This has no effect if headphones are not plugged in. */
mAlivcLivePusher.setBGMEarsBack(true);
/* Configure mixing to adjust the volume of background music and captured voice. */
mAlivcLivePusher.setBGMVolume(50); // Set background music volume.
mAlivcLivePusher.setCaptureVolume(50); // Set captured voice volume.
/* Mute the audio. This mutes both music and voice input. To mute only music or voice, use the mixing volume adjustment APIs. */
mAlivcLivePusher.setMute(true);

Snapshot de stream

Tire um snapshot do stream de vídeo local:

// Take a snapshot of the video stream. Parameters: number of images to capture, interval between each capture in seconds, and a callback listener.
pusher.snapshot(1, 1, new AlivcSnapshotListener() {
    @Override
    public void onSnapshot(Bitmap bmp) {
        // You can save the snapshot to a local PNG file. The following code is an example.
        String dateFormat = new SimpleDateFormat("yyyy-MM-dd-hh-mm-ss-SS").format(new Date());
        File f = new File(context.getExternalFilesDir(Environment.DIRECTORY_PICTURES), "snapshot-" + dateFormat + ".png");
        if (f.exists()) {
            f.delete();
        }
        try {
            FileOutputStream out = new FileOutputStream(f);
            bmp.compress(Bitmap.CompressFormat.PNG, 90, out);
            out.flush();
            out.close();
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
});

Execução em segundo plano e bloqueio de tela

• Quando seu aplicativo é movido para segundo plano ou a tela é bloqueada, chame os métodos pause() ou resume() do AlivcLivePusher para pausar ou retomar a ingestão de stream.

• Para chamadas de áudio e vídeo que não sejam do sistema, o SDK captura e ingere o som. Com base nas suas necessidades de negócios, chame a API mAlivcLivePusher.setMute(true or false) para determinar se o áudio deve ser capturado quando o aplicativo está em segundo plano ou a tela está bloqueada.

Callbacks

Métodos e APIs comuns

/* In Custom mode, you can adjust the minimum and target bitrates in real time. */
mAlivcLivePusher.setTargetVideoBitrate(800);
mAlivcLivePusher.setMinVideoBitrate(400);
/* Check if the camera supports autofocus. */
mAlivcLivePusher.isCameraSupportAutoFocus();
/* Check if the camera supports flash. */
mAlivcLivePusher.isCameraSupportFlash();
/* Get the current stream ingest status. */
mAlivcLivePusher.isPushing(); 
/* Get the ingest URL. */
mAlivcLivePusher.getPushUrl();
/* Get stream ingest performance and debugging information. For details on performance parameters, see the API reference or interface comments. */
mAlivcLivePusher.getLivePushStatsInfo();
/* Get the SDK version number. */
mAlivcLivePusher.getSDKVersion();
/* Set the log level to filter debugging information as needed. */
mAlivcLivePusher.setLogLevel(AlivcLivePushLogLevelAll);
/* Get the current status of the SDK. */
mAlivcLivePusher.getCurrentStatus();
/* Get the last error code. Returns ALIVC_COMMON_RETURN_SUCCESS if there are no errors. */
mAlivcLivePusher.getLastError();

Integre o retoque

Importe a biblioteca de retoque e configure os callbacks para ativar o retoque.

1. Importe a biblioteca de retoque via Maven. Adicione o seguinte ao seu arquivo build.gradle. Consulte o Demo mais recente para a versão do SDK.

   implementation "com.aliyun.maliang.android:queen:2.5.0-official-full"
   implementation("com.aliyun.maliang.android:queen_menu:2.5.0-official-full") {
       exclude group: 'com.aliyun.maliang.android', module: 'queen'
   }

   Você também pode integrar o módulo LiveBeauty da demonstração:

   Arquivo ou pasta	Descrição
   live_beauty	A classe abstrata base para retoque.
   queen_beauty	Controles de interface do usuário base para retoque.

2. Obtenha a biblioteca do plug-in de retoque LiveBeauty.

   1. Use o comando clone para baixar o código da biblioteca do plug-in relacionado do caminho LiveBeauty para sua máquina local.

      git clone https://github.com/MediaBox-Demos/amdemos-android-live.git

   2. Abra a linha de comando no diretório raiz do seu projeto do Android Studio. Execute o código a seguir e, em seguida, use File > New > Import Module  para importar o módulo LiveBeauty para o seu projeto Android.

      git submodule add https://github.com/MediaBox-Demos/amdemos-android-live.git ***/***/***

      Nota

      No código de exemplo, */**** é um espaço reservado para o caminho do módulo LiveBeauty.

   3. No arquivo settings.gradle do projeto, adicione o caminho do módulo:

      include ':app', ':LiveBeauty', ':LiveBeauty:live_queenbeauty'

      Nota

      No código de exemplo, "app" é o módulo principal.

   4. Além disso, no arquivo build.gradle do módulo principal do projeto, adicione uma dependência do módulo LiveBeauty:

      dependencies {
          implementation project(':LiveBeauty')
          implementation project(':LiveBeauty:live_queenbeauty')
      }

   5. Clique em File > Sync Project with Gradle Files. Após a conclusão da sincronização do Gradle, você pode usar o módulo LiveBeauty.

3. Configure o módulo de interface do usuário do plug-in de retoque.

   1. Adicione o controle QueenBeautyMenu ao arquivo XML de layout do seu projeto. Por exemplo:

      <com.aliyunsdk.queen.menu.QueenBeautyMenu
          android:id="@+id/beauty_beauty_menuPanel"
          android:layout_width="match_parent"
          android:layout_height="wrap_content"
          android:layout_alignParentBottom="true"
          android:layout_centerHorizontal="true" />

   2. Inicialize o QueenBeautyMenu na Activity. Por exemplo:

      // Initialize the retouching menu panel.
      QueenMenuPanel beautyMenuPanel = QueenBeautyMenu.getPanel(context);
      beautyMenuPanel.onHideMenu(); 
      beautyMenuPanel.onHideValidFeatures(); 
      beautyMenuPanel.onHideCopyright(); 
      
      // Add the retouching menu to the layout.
      QueenBeautyMenu beautyBeautyContainerView = findViewById(R.id.beauty_beauty_menuPanel);
      beautyBeautyContainerView.addView(beautyMenuPanel);

4. Defina os callbacks de reconhecimento facial e retoque.

   Se você precisar integrar uma biblioteca de retoque de terceiros, defina os callbacks setCustomDetect e setCustomFilter.

   • Em customDetectProcess, o parâmetro data é um ponteiro para os dados capturados para processamento de terceiros.

   • Em customFilterProcess, o parâmetro inputTexture é a textura da imagem para processamento. Retorne o ID da textura processada ou o inputTexture original se não houver modificações.

   Código de exemplo

   /**
    * Facial recognition callback.
    */
   mAlivcLivePusher.setCustomDetect(new AlivcLivePushCustomDetect() {
       @Override
       public void customDetectCreate() {
   
       }
   
       @Override
       public long customDetectProcess(long dataPtr, int width, int height, int rotation, int format, long extra) {
           return 0;
       }
   
       @Override
       public void customDetectDestroy() {
   
       }
   });
   
   /**
    * Retouching callback.
    */
    
   /**
    * Initialize BeautyManager.
    */
   mAlivcLivePusher.setCustomFilter(new AlivcLivePushCustomFilter() {
       @Override
       public void customFilterCreate() {
           initBeautyManager();
       }
   
   /**
    * Process the ingested video stream and add retouching effects.
    */
       @Override
       public int customFilterProcess(int inputTexture, int textureWidth, int textureHeight, long extra) {
           if (mBeautyManager == null) {
               return inputTexture;
           }
   
           return mBeautyManager.onTextureInput(inputTexture, textureWidth, textureHeight);
       }
   
       @Override
       public void customFilterDestroy() {
           destroyBeautyManager();
       }
   });