ApsaraVideo Live:カスタムビデオレンダリング

フレームの処理

バッファーコールバックの処理：

- (bool)handleBeautyProcessBuffer:(CVPixelBufferRef)pixelBufferRef {
    if (!self.beautyEngine) {
        [self initBeautyEngine];
    }
    if (self.beautyEngine && pixelBufferRef)
    {
        QEPixelBufferData *bufferData = [QEPixelBufferData new];
        bufferData.bufferIn = pixelBufferRef;
        bufferData.bufferOut = pixelBufferRef;
        // pixelBuffer で画像編集を行い、処理後のバッファーを出力します。
        kQueenResultCode resultCode = [self.beautyEngine processPixelBuffer:bufferData]; // このメソッドを実行するスレッドは常に同じである必要があります。
        if (resultCode == kQueenResultCodeOK && bufferData.bufferOut)
        {
            return YES;
        }
    }
    return NO;
}

テクスチャコールバックの処理:

- (bool)handleBeautyProcessTexture:(int)textureID withWidth:(int)width withHeight:(int)height {
    // 純粋なテクスチャ処理モードについては、以下のセクションをご参照ください。
}

3. レタッチプロセッサの作成

- (void)initBeautyEngine:(BOOL)processBuffer
{
    if (self.beautyEngine != nil) {
        return;
    }
    // エンジン構成オブジェクトを初期化します。
    QueenEngineConfigInfo *configInfo = [QueenEngineConfigInfo new];

    // イメージの回転角度を自動的に設定するかどうかを指定します。 デバイスの画面がロックされていて、デフォルトのイメージがカメラからキャプチャされる場合は、YES に設定します。
    configInfo.autoSettingImgAngle = YES;
    
    configInfo.runOnCustomThread = processBuffer ? NO : YES; // テクスチャの呼び出しには YES を、バッファーの呼び出しには NO を設定します。 NO に設定した場合、プロセスは現在の呼び出し元スレッドでは実行されません。 内部で新しいスレッドが作成されます。
    configInfo.withContext = processBuffer ? YES : NO;        // テクスチャの呼び出しには NO を、バッファーの呼び出しには YES を設定します。 YES に設定した場合、内部で glContext が作成されます。
    
    // レタッチ SDK のログ機能を有効にするためのデバッグ API です。
    // configInfo.enableDebugLog = YES;

    // エンジンを初期化します。
    self.beautyEngine = [[QueenEngine alloc] initWithConfigInfo:configInfo];
    
    ...
    // 残りのコードは変更ありません。
}

4. フレームの処理

- (int)handleBeautyProcessTexture:(int)textureID withWidth:(int)width withHeight:(int)height {
    if (!self.beautyEngine) {
        [self initBeautyEngine:NO];
    }

    // 高度なレタッチ機能には顔検出アルゴリズムが必要なため、bufData を渡す必要があります。
    // 基本的なレタッチのみを有効にする場合は、updateInputDataAndRunAlg メソッドを呼び出さないでください。
    uint8_t* bufData = [self extractI420DataFromPixelBuffer:videoSample.pixelBuffer];
    [self.beautyEngine updateInputDataAndRunAlg:bufData
                                            withImgFormat:kQueenImageFormatNV12
                                            withWidth:width
                                            withHeight:height
                                             withStride:0
                                         withInputAngle:0
                                        withOutputAngle:0
                                           withFlipAxis:0];
    free(bufData);
    
    QETextureData* textureData = [[QETextureData alloc] init];
    textureData.inputTextureID = textureID;
    textureData.width = width;
    textureData.height = height;
    kQueenResultCode result = [self.beautyEngine processTexture:textureData];
    if (result != kQueenResultCodeOK)
    {
        return textureID;
    }
    return textureData.outputTextureID;
}

テクスチャモードで処理する場合、アプリケーション層はバッファーを抽出し、それをレタッチ SDK に渡して API を呼び出す必要があります。このメソッドは、テクスチャからのバッファーデータの再抽出を回避することで、全体のパフォーマンスを向上させます。

次のコードは、バッファーを抽出する方法を示しています：

-(uint8_t *)extractI420DataFromPixelBuffer:(CVPixelBufferRef) pixelBuffer {
    uint8_t *bufData = nil;
    // フォーマット情報を取得します。
    OSType pixelFormat = CVPixelBufferGetPixelFormatType(pixelBuffer);
    size_t bufWidth = CVPixelBufferGetWidth(pixelBuffer);
    size_t bufHeight = CVPixelBufferGetHeight(pixelBuffer);
        
    // バッファーをロックします。
    CVPixelBufferLockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);
    
    if (CVPixelBufferIsPlanar(pixelBuffer)) {
        if (pixelFormat == kCVPixelFormatType_420YpCbCr8BiPlanarFullRange) {
            uint8_t *yPlane = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0);
            uint8_t *uvPlane = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 1);

            size_t yStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 0);
            size_t uvStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 1);

            size_t width = CVPixelBufferGetWidth(pixelBuffer);
            size_t height = CVPixelBufferGetHeight(pixelBuffer);
            // 標準の NV12 サイズを割り当てます (パディングなし)。
            size_t bufDataSize = width * height * 3 / 2;
            bufData = (uint8_t *)malloc(bufDataSize);
            // Y プレーンを行ごとにコピーします (ストライドのパディングを削除)。
            for (size_t i = 0; i < height; i++) {
                memcpy(bufData + i * width, yPlane + i * yStride, width);
            }
            // UV プレーンを行ごとにコピーします。
            for (size_t i = 0; i < height / 2; i++) {
                memcpy(bufData + width * height + i * width,
                       uvPlane + i * uvStride,
                       width);
            }
        }
        
    } else {
        // BGRA などのパック形式。
        void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
        size_t dataSize = CVPixelBufferGetDataSize(pixelBuffer);
        // baseAddress を処理します。
        bufData = (uint8_t *)malloc(dataSize);
        memcpy(bufData, baseAddress, dataSize);
    }
    CVPixelBufferUnlockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);

    return bufData;
}