ApsaraVideo Live:カスタムビデオレンダリング

I420/cvPixelBuffer

/*
* AliRtcEngine::registerVideoSampleObserver が呼び出された後にトリガーされます。
*/

- (AliRtcVideoFormat)onGetVideoFormatPreference {
    return AliRtcVideoFormat_I420;
}

/**
 * @brief ローカルでキャプチャされたサブスクライブ済みのビデオデータのコールバック。
 * @param videoSource ビデオストリームのタイプ。
 * @param videoSample RAW ビデオデータ。
 * @return
 * - YES: サンプルを SDK に書き戻す必要があります。これは、iOS および macOS の I420 および CVPixelBuffer フォーマットでのみ有効です。
 * - NO: サンプルを SDK に書き戻す必要はありません。
*/

- (BOOL)onCaptureVideoSample:(AliRtcVideoSource)videoSource videoSample:(AliRtcVideoDataSample *_Nonnull)videoSample {
  /*
   * 処理....
   */
   return FALSE ;
}

textureID

• OpenGL コンテキスト作成後のコールバック

  /**
   * @brief OpenGL コンテキスト作成のコールバック。
   * @param context OpenGL コンテキスト。
   * @note このコールバックは、SDK 内で OpenGL コンテキストが作成されたときにトリガーされます。
   */
  - (void)onTextureCreate:(void *_Nullable)context {
      [[renderEngine_ shared] create:context];
  }

• OpenGL テクスチャ更新のコールバック

  /**
   * @brief OpenGL テクスチャ更新のコールバック。
   * @param textureId OpenGL テクスチャ ID。
   * @param width OpenGL テクスチャの幅。
   * @param height OpenGL テクスチャの高さ。
   * @param videoSample ビデオフレームデータ。詳細については、{@link AliRtcVideoDataSample} をご参照ください。
   * @return OpenGL テクスチャ ID。
   * @note
   * - このコールバックは、各ビデオフレームが OpenGL テクスチャにアップロードされた後にトリガーされます。OpenGL テクスチャデータの外部オブザーバーが登録されている場合、このコールバックでテクスチャを処理し、処理されたテクスチャ ID を返すことができます。
   * - 戻り値は有効なテクスチャ ID である必要があります。処理が実行されない場合は、元の textureId パラメーターを返す必要があります。
   * 返される TextureID のフォーマットは AliRtcVideoFormat_Texture2D です。
   */
  - (int)onTextureUpdate:(int)textureId width:(int)width height:(int)height videoSample:(AliRtcVideoDataSample *_Nonnull)videoSample {
      
      if ( [[renderEngine_ shared] enabled] == NO) {
          return textureId;
      }
      
      int texId = [[renderEngine_ shared] processTextureToTexture:textureId Width:width Height:height];
      
      if(texId<0) {
         texId = textureId;
      }
      return texId;
  }

• OpenGL コンテキスト削除のコールバック

  - (void)onTextureDestory
  {
      if (self.settingModel.chnnelType == ChannelTypePrimary) {
          [[renderEngine_ shared] destroy];
      }
      
  }

I420/cvPixelBuffer

/**
 * @brief ローカルでキャプチャされたサブスクライブ済みのビデオデータのコールバック。
 * @param videoSource ビデオストリームのタイプ。
 * @param videoSample RAW ビデオデータ。
 * @return
 * - true: サンプルを SDK に書き戻す必要があります。これは、iOS および macOS の I420 および CVPixelBuffer フォーマットでのみ有効です。
 * - false: サンプルを SDK に書き戻す必要はありません。
*/
public int onGetVideoAlignment(){
  return AliRtcVideoObserAlignment.AliRtcAlignmentDefault.getValue();
}

@Override
public boolean onLocalVideoSample(AliRtcEngine.AliRtcVideoSourceType sourceType, AliRtcEngine.AliRtcVideoSample videoSample) {
  boolean ret = false;
  /*
  * ローカルでキャプチャされたビデオデータをレンダリングのために処理します。
  */
  local_renderEngine.draw(videoSample);
    
  return ret;
}

@Override
public boolean onRemoteVideoSample(String userId, AliRtcEngine.AliRtcVideoSourceType sourceType, AliRtcEngine.AliRtcVideoSample videoSample) {
  /*
  * リモートデータをレンダリングのために処理します。
  */
  remote_renderEngine.draw(userId, videoSample);
  
  return false;
}

textureID

• OpenGL コンテキスト作成後のコールバック

  @Override
  public void onTextureCreate(long context) {
        context_ = context ;
        render.bind(context);
        Log.d(TAG, "texture context: "+context_+" create!") ;
  }
  

• OpenGL テクスチャ更新のコールバック

  /**
  @Override
  public int onTextureUpdate(int textureId, int width, int height, AliRtcEngine.AliRtcVideoSample videoSample) {
      /*
      *  テクスチャ ID を処理します。
      */
      render.drawTexture(textureId);
       return textureId;
  }    
  
  

• OpenGL コンテキスト削除のコールバック

  @Override
  public void onTextureDestroy() {
       render.free(context_);
       Log.d(TAG, "texture context: "+context_+" destory!") ;
  }

4. 終了

/* I420/cvPixelBuffer */
_engine.unregisterVideoSampleObserver();

/* textureID */
_engine.unRegisterLocalVideoTextureObserver();