ApsaraVideo Live:Rendering video kustom

Proses frame

Proses callback buffer:

- (bool)handleBeautyProcessBuffer:(CVPixelBufferRef)pixelBufferRef {
    if (!self.beautyEngine) {
        [self initBeautyEngine];
    }
    if (self.beautyEngine && pixelBufferRef)
    {
        QEPixelBufferData *bufferData = [QEPixelBufferData new];
        bufferData.bufferIn = pixelBufferRef;
        bufferData.bufferOut = pixelBufferRef;
        // Lakukan pengeditan gambar pada pixelBuffer dan keluarkan buffer yang telah diproses.
        kQueenResultCode resultCode = [self.beautyEngine processPixelBuffer:bufferData]; // Thread yang mengeksekusi metode ini harus selalu sama.
        if (resultCode == kQueenResultCodeOK && bufferData.bufferOut)
        {
            return YES;
        }
    }
    return NO;
}

Proses callback tekstur:

- (bool)handleBeautyProcessTexture:(int)textureID withWidth:(int)width withHeight:(int)height {
    // Lihat bagian mode pemrosesan texture murni di bawah.
}

3. Buat prosesor retouching

- (void)initBeautyEngine:(BOOL)processBuffer
{
    if (self.beautyEngine != nil) {
        return;
    }
    // Inisialisasi objek konfigurasi engine.
    QueenEngineConfigInfo *configInfo = [QueenEngineConfigInfo new];

    // Tentukan apakah akan mengatur sudut rotasi gambar secara otomatis. Atur ke YES jika layar perangkat terkunci dan gambar default ditangkap dari kamera.
    configInfo.autoSettingImgAngle = YES;
    
    configInfo.runOnCustomThread = processBuffer ? NO : YES; // Atur ke YES untuk panggilan texture dan NO untuk panggilan buffer. Jika diatur ke NO, proses tidak dijalankan pada thread pemanggil saat ini. Thread baru dibuat secara internal.
    configInfo.withContext = processBuffer ? YES : NO;        // Atur ke NO untuk panggilan texture dan YES untuk panggilan buffer. Jika diatur ke YES, glContext internal dibuat.
    
    // API debugging untuk mengaktifkan fitur log SDK retouching.
    // configInfo.enableDebugLog = YES;

    // Inisialisasi engine.
    self.beautyEngine = [[QueenEngine alloc] initWithConfigInfo:configInfo];
    
    ...
    // Sisa kode tetap sama.
}

4. Proses frame

- (int)handleBeautyProcessTexture:(int)textureID withWidth:(int)width withHeight:(int)height {
    if (!self.beautyEngine) {
        [self initBeautyEngine:NO];
    }

    // Fitur retouching tingkat lanjut memerlukan algoritma deteksi wajah, sehingga Anda harus meneruskan bufData.
    // Jika Anda hanya mengaktifkan retouching dasar, jangan panggil metode updateInputDataAndRunAlg.
    uint8_t* bufData = [self extractI420DataFromPixelBuffer:videoSample.pixelBuffer];
    [self.beautyEngine updateInputDataAndRunAlg:bufData
                                            withImgFormat:kQueenImageFormatNV12
                                            withWidth:width
                                            withHeight:height
                                             withStride:0
                                         withInputAngle:0
                                        withOutputAngle:0
                                           withFlipAxis:0];
    free(bufData);
    
    QETextureData* textureData = [[QETextureData alloc] init];
    textureData.inputTextureID = textureID;
    textureData.width = width;
    textureData.height = height;
    kQueenResultCode result = [self.beautyEngine processTexture:textureData];
    if (result != kQueenResultCodeOK)
    {
        return textureID;
    }
    return textureData.outputTextureID;
}

Saat memproses dalam mode texture, lapisan aplikasi harus mengekstraksi buffer dan meneruskannya ke SDK retouching untuk memanggil API. Metode ini meningkatkan kinerja keseluruhan dengan menghindari ekstraksi ulang data buffer dari texture.

Kode berikut menunjukkan cara mengekstraksi buffer:

-(uint8_t *)extractI420DataFromPixelBuffer:(CVPixelBufferRef) pixelBuffer {
    uint8_t *bufData = nil;
    // Dapatkan informasi format.
    OSType pixelFormat = CVPixelBufferGetPixelFormatType(pixelBuffer);
    size_t bufWidth = CVPixelBufferGetWidth(pixelBuffer);
    size_t bufHeight = CVPixelBufferGetHeight(pixelBuffer);
        
    // Kunci buffer.
    CVPixelBufferLockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);
    
    if (CVPixelBufferIsPlanar(pixelBuffer)) {
        if (pixelFormat == kCVPixelFormatType_420YpCbCr8BiPlanarFullRange) {
            uint8_t *yPlane = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 0);
            uint8_t *uvPlane = (uint8_t *)CVPixelBufferGetBaseAddressOfPlane(pixelBuffer, 1);

            size_t yStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 0);
            size_t uvStride = CVPixelBufferGetBytesPerRowOfPlane(pixelBuffer, 1);

            size_t width = CVPixelBufferGetWidth(pixelBuffer);
            size_t height = CVPixelBufferGetHeight(pixelBuffer);
            // Alokasikan ukuran NV12 standar (tanpa padding).
            size_t bufDataSize = width * height * 3 / 2;
            bufData = (uint8_t *)malloc(bufDataSize);
            // Salin bidang Y baris demi baris (hapus padding stride).
            for (size_t i = 0; i < height; i++) {
                memcpy(bufData + i * width, yPlane + i * yStride, width);
            }
            // Salin bidang UV baris demi baris.
            for (size_t i = 0; i < height / 2; i++) {
                memcpy(bufData + width * height + i * width,
                       uvPlane + i * uvStride,
                       width);
            }
        }
        
    } else {
        // Format packed, seperti BGRA.
        void *baseAddress = CVPixelBufferGetBaseAddress(pixelBuffer);
        size_t dataSize = CVPixelBufferGetDataSize(pixelBuffer);
        // Proses baseAddress.
        bufData = (uint8_t *)malloc(dataSize);
        memcpy(bufData, baseAddress, dataSize);
    }
    CVPixelBufferUnlockBaseAddress(pixelBuffer, kCVPixelBufferLock_ReadOnly);

    return bufData;
}