ApsaraVideo VOD:デュエット録音

サポートされているエディション

用語

このセクションでは、デュエットレコーディング機能をよりよく理解するのに役立つ用語について説明します。 詳細については、「デュエット録音」、「トラック」、および「トラックレイアウト」をご参照ください。

関連クラス

デュエット録音プロセス

デュエット録画を設定する手順は、ビデオ録画を設定する手順と同様です。 主な違いは、設定する必要がある入出力パラメータとプレビュー設定にあります。

AliyunIMixRecorderクラスの初期化とパラメーターの設定

AliyunIMixRecorderクラスを初期化し、録音インスタンスを作成し、録音パラメーターを設定します。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Create a recording instance.
AliyunIMixRecorder recorder = AliyunMixRecorderCreator.createAlivcMixRecorderInstance(context);

// Destroy the recording instance.
// Destroy the recording instance if you no longer need to use the SDK, or before you exit the program. Do not destroy the recording instance during usage.
AliyunIMixRecorder.release();

// Configure the quality of a recorded video.
AliyunIMixRecorder.setVideoQuality(quality);

// Configure the bitrate of the recorded video.
AliyunIMixRecorder.setVideoBitrate(int bitrate);// Unit: Kbit/s.

// Configure output parameters for the recorded video.
// inputMediaInfo indicates the parameters of the produced video, including track arrangement and output video. outputInfo indicates the information about the output video.
AliyunIMixRecorder.setMixMediaInfo(AliyunMixMediaInfoParam inputMediaInfo, MediaInfo outputInfo);// For more information, see AliyunMixMediaInfoParam and MediaInfo in the SDK references.

// Configure the output path of the recorded video.
AliyunIMixRecorder.setOutputPath(String path);

// Set the output group of pictures (GOP) of the recorded video.
AliyunIMixRecorder.setGop(int gop);// Unit: frames.

コールバックの設定

コールバックを設定して、オーディオとビデオの処理の進行状況とステータスをタイムリーに取得できます。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Configure the recording callback.
AliyunIMixRecorder.setRecordCallBack(RecordCallback callBack);

// Configure the callback for video frame collection.
AliyunIMixRecorder.setOnFrameCallback(OnFrameCallBack callback);

// Configure the audio collection callback.
AliyunIMixRecorder.setOnAudioCallback(OnAudioCallBack callback);

プレビューの有効化

プレビュー中に、SurfaceViewを設定する必要があります。 同時に、Activity/FragmentのonResume() でstartPreviewを行い、onPause() でstopPreviewを行います。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Configure the preview View.
// The cameraView parameter is the view of the camera, and the videoView parameter is the view of the local video.
AliyunIMixRecorder.setDisplayView(SurfaceView cameraView, Surface videoView);

// Start the preview.
AliyunIMixRecorder.startPreview();

// Stop the preview.
// Perform stopPreview in onPause() of Activity/Fragment.
AliyunIMixRecorder.stopPreview();

録音を開始

実際の録画プロセスでは、必要な完全なビデオを録画するまで、ビデオを停止、キャンセル、再録画する必要があります。 録画を停止すると、ビデオクリップが生成されます。 ただし、録画をキャンセルした場合、現在のビデオクリップは保持されません。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Start recording.
AliyunIMixRecorder.startRecording();

// Start recording.
AliyunIMixRecorder.startRecording();

// Stop recording. A video clip is generated.
AliyunIMixRecorder.stopRecording();
AliyunIMixRecorder.startRecording();
// Cancel recording. The current video clip is not saved.
AliyunIMixRecorder.cancelRecording();

// Continue to record the next video clip.
AliyunIMixRecorder.startRecording();
AliyunIMixRecorder.stopRecording();

録音を停止する

録画を停止すると、録画されたビデオクリップがビデオにマージされるか、録画されたビデオクリップに関する設定情報が生成されます。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Stop recording and merge the recorded video clips into one video.
AliyunIMixRecorder.finishRecording();

// Stop recording and generate the configuration information about the recorded video clips without merging the video clips.
AliyunIMixRecorder.finishRecordingForEdit();

カメラの設定とビデオクリップの管理

このセクションでは、カメラ制御およびビデオクリップ管理のパラメーターを設定する方法について説明します。 カメラ制御のパラメータには、カメラタイプとフラッシュモードがあります。 ビデオクリップ管理のパラメータには、最大または最小の録画時間、ビデオクリップを削除する方法、ビデオクリップの数を照会する方法が含まれます。 ビジネス要件に基づいてこれらのパラメーターを設定します。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// Obtain the number of cameras.
AliyunIMixRecorder.getCameraCount();

// Configure the camera type.
AliyunIMixRecorder.setCamera(cameraType);

// Specify whether to mute the audio during recording.
AliyunIMixRecorder.setMute(boolean isMute);

// Configure the angle of the sensor.
// This configuration is very important. We recommend that you read the SDK references. 
AliyunIMixRecorder.setRotation(int rotation);

// Configure the angle at which a video is recorded.
// This configuration is very important. We recommend that you read the SDK references. 
AliyunIMixRecorder.setRecordRotation(int rotation);

// Configure the camera parameters during preview, including the flash mode, focus mode, zoom factor, and exposure level. You can also configure the preview parameters separately by using the following methods:
AliyunIMixRecorder.setCameraParam(CameraParam cameraParam);

// Switch between the front and rear cameras.
AliyunIMixRecorder.switchCamera();

// Configure the flash mode.
AliyunIMixRecorder.setLight(FlashType flashType);

// Configure the zoom factor. 
AliyunIMixRecorder.setZoom(float rate);

// Configure the exposure level. 
AliyunIMixRecorder.setExposureCompensationRatio(float value);

// Configure the focus mode. 
AliyunIMixRecorder.setFocusMode(int mode);

// Configure manual focus. 
AliyunIMixRecorder.setFocus(float xRatio, float yRatio);

// Obtain the clip manager.
AliyunIClipManager manager = AliyunIRecorder.getClipManager();

// Configure the maximum recording duration, which is the total duration of all video clips instead of a single video clip.
manager.setMaxDuration(int maxDurationMs);

// Configure the minimum recording duration, which is the total duration of all video clips instead of a single video clip.
manager.setMinDuration(int minDurationMs);

// Delete the last video clip.
manager.deletePart();

// Delete the specified video clip.
manager.deletePart(int index);

// Delete all video clips.
manager.deleteAllPart();

// Obtain the total duration of video clips.
manager.getDuration();

// Obtain the total number of video clips.
manager.getPartCount();

// Obtain the paths of video clips.
manager.getVideoPathList();

エフェクトの設定

このセクションでは、レタッチやフィルターなどの記録効果を設定する方法について説明します。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

フィルター

カスタムフィルターを作成できます。 詳細については、「フィルターとトランジション」をご参照ください。

// Apply a filter.
AliyunIMixRecorder.applyFilter(effectFilter);

// Remove a filter.
// If the setting is the same as the following, the filter effect is removed.
AliyunIMixRecorder.applyFilter(new EffectFilter(null));

// Apply an animated filter.
AliyunIMixRecorder.applyAnimationFilter(effectFilter);

// Remove an animated filter.
AliyunIMixRecorder.removeAnimationFilter(effctFilter);

// Configure the recording speed.
AliyunIMixRecorder.setRate(float rate);

// Add a static watermark or a static sticker.
AliyunIMixRecorder.addImage(effctImage);

// Remove a static watermark or a static sticker.
AliyunIMixRecorder.removeImage(effctImage);

// Update the position of a static watermark or a static sticker.
AliyunIMixRecorder.setEffectView(float xRatio,float yRatio,float widthRatio,float heightRatio,EffectBase effectBase);

アニメーションステッカー

// Add an animated sticker.
AliyunIMixRecorder.addPaster(effectPaster,float sx,float sy,float sw,float sh,float rotation,boolean flip);

// Remove an animated sticker.
AliyunIMixRecorder.removePaster(effectPaster);

// Update the position of an animated sticker.
AliyunIMixRecorder.setEffectView(float xRatio,float yRatio,float widthRatio,float heightRatio,effectBase);

高度なレタッチ

その他の機能の設定

写真撮影と顔認識は、ビデオ録画中にサポートされます。 コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

写真撮影

// Take a photo with effects enabled.
AliyunIMixRecorder.takePhoto(boolean needBitmap);

// Take a photo by using the default camera settings. The default camera settings do not support effects.
AliyunIMixRecorder.takePicture(boolean needBitmap);

// Configure the size of a photo. This method is supported only if you take a photo by using the default camera settings.
AliyunIMixRecorder.setPictureSize(Camera.Size size);

顔認識

// Specify whether to enable facial recognition.
AliyunIMixRecorder.needFaceTrackInternal(boolean need);

// Configure the path of the facial recognition model file.
AliyunIMixRecorder.setFaceTrackInternalModelPath(String path);

// Configure the angle at which facial recognition is performed.
// This configuration is very important. We recommend that you read the SDK references. 
AliyunIMixRecorder.setFaceDetectRotation(int rotation);

// Configure the maximum number of faces that can be recognized at the same time.
// Configure the maximum number of faces that can be recognized at the same time. Maximum value: 3.
AliyunIMixRecorder.setFaceTrackInternalMaxFaceCount(int maxFaceCount);

// Add an animated face sticker.
AliyunIMixRecorder.addPaster(EffectPaster effectPaster);

デュエット录音のサンプルコード

import android.graphics.Bitmap
import android.os.Bundle
import android.util.Log
import android.view.SurfaceView
import android.widget.ImageView
import android.widget.Toast
import androidx.appcompat.app.AppCompatActivity
import com.aliyun.svideosdk.common.struct.common.VideoDisplayMode
import com.aliyun.svideosdk.common.struct.encoder.VideoCodecs
import com.aliyun.svideosdk.common.struct.recorder.MediaInfo
import com.aliyun.svideosdk.mixrecorder.AliyunIMixRecorder
import com.aliyun.svideosdk.mixrecorder.AliyunMixMediaInfoParam
import com.aliyun.svideosdk.mixrecorder.AliyunMixRecorderDisplayParam
import com.aliyun.svideosdk.mixrecorder.AliyunMixTrackLayoutParam
import com.aliyun.svideosdk.mixrecorder.impl.AliyunMixRecorderCreator
import com.aliyun.svideosdk.recorder.RecordCallback


/**
 * Sample code for video recording
 */
class MixRecordActivity : AppCompatActivity() {

    enum class RecordStatus {
        Idle,
        Recording
    }

    private lateinit var mAliyunRecord : AliyunIMixRecorder
    private lateinit var mVideoPreviewView : SurfaceView
    private lateinit var mCameraPreviewView : SurfaceView
    private lateinit var mRecordBtn : ImageView
    private var mRecordStatus = RecordStatus.Idle

    companion object {
        const val TAG = "MixRecordActivity"
    }

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_mixrecord)

        mVideoPreviewView = findViewById(R.id.videoPreviewView)
        mCameraPreviewView = findViewById(R.id.cameraPreviewView)
        mRecordBtn = findViewById(R.id.btnRecordControl)
        // Start recording.
        mRecordBtn.setOnClickListener {
            if(mRecordStatus == RecordStatus.Recording) {
                mAliyunRecord.finishRecording()
                Toast.makeText(this@MixRecordActivity, "Stop recording", Toast.LENGTH_SHORT).show()
                updateRecordStatus(RecordStatus.Idle)
            } else {
                val curTime = System.currentTimeMillis()
                mAliyunRecord.setOutputPath("/storage/emulated/0/DCIM/Camera/svideo_mixrecord_video_$curTime.mp4")
                mAliyunRecord.startRecording()
                Toast.makeText(this@MixRecordActivity, "Start recording", Toast.LENGTH_SHORT).show()
                updateRecordStatus(RecordStatus.Recording)
            }

        }

        mAliyunRecord = AliyunMixRecorderCreator.createAlivcMixRecorderInstance(this)


        val videoDisplayParam = AliyunMixRecorderDisplayParam.Builder()
                .displayMode(VideoDisplayMode.FILL)
                .layoutParam(
                        AliyunMixTrackLayoutParam.Builder()
                                .centerX(0.25f)
                                .centerY(0.5f)
                                .widthRatio(0.5f)
                                .heightRatio(1.0f)
                                .build()
                )
                .build()

        val cameraDisplayParam = AliyunMixRecorderDisplayParam.Builder()
                .displayMode(VideoDisplayMode.FILL)
                .layoutParam(AliyunMixTrackLayoutParam.Builder()
                        .centerX(0.75f)
                        .centerY(0.5f)
                        .widthRatio(0.5f)
                        .heightRatio(1.0f)
                        .build())
                .build()

        val mixMediaParam = AliyunMixMediaInfoParam.Builder()
                .streamStartTimeMills(0L)
                .streamEndTimeMills(0L) // If you set streamStartTimeMills and streamEndTimeMills to 0L, the duration of the video is automatically used.
                .mixVideoFilePath("/storage/emulated/0/DCIM/Camera/VID_20210317_174802.mp4")
                .mixDisplayParam(videoDisplayParam)
                .recordDisplayParam(cameraDisplayParam)
                .build()

        val mediaInfo = MediaInfo()
        mediaInfo.fps = 30
        mediaInfo.crf = 6
        mediaInfo.videoWidth = 720
        mediaInfo.videoHeight = 1080
        mediaInfo.videoCodec = VideoCodecs.H264_SOFT_OPENH264

        mAliyunRecord.setMixMediaInfo(mixMediaParam, mediaInfo)
        mAliyunRecord.setDisplayView(mCameraPreviewView, mVideoPreviewView)

        mAliyunRecord.setRecordCallback(object : RecordCallback {
            override fun onComplete(validClip: Boolean, clipDuration: Long) {
                Log.i(TAG, "onComplete")
            }

            override fun onFinish(outputPath: String?) {
                Log.i(TAG, "onFinish path : $outputPath")
                mAliyunRecord.clipManager.deleteAllPart()
            }

            override fun onProgress(progress: Long) {
                Log.i(TAG, "onProgress  : $progress")
            }

            override fun onMaxDuration() {
                Log.i(TAG, "onMaxDuration")
            }

            override fun onError(errorCode: Int) {
                Log.i(TAG, "onError : $errorCode")
            }

            override fun onInitReady() {
                Log.i(TAG, "onInitReady")
            }

            override fun onDrawReady() {
                Log.i(TAG, "onDrawReady")
            }

            override fun onPictureBack(bitmap: Bitmap?) {
                Log.i(TAG, "onPictureBack")
            }

            override fun onPictureDataBack(p0: ByteArray?) {
                Log.i(TAG, "onPictureDataBack")
            }

        })

    }

    private fun updateRecordStatus(recordStatus: RecordStatus)
    {
        mRecordStatus = recordStatus
        when(recordStatus) {
            RecordStatus.Idle -> {
                mRecordBtn.setImageResource(R.mipmap.alivc_svideo_bg_record_start)
            }
            RecordStatus.Recording -> {
                mRecordBtn.setImageResource(R.mipmap.alivc_svideo_bg_record_storp)
            }
        }
    }

    override fun onResume() {
        super.onResume()
        mAliyunRecord.startPreview()
    }

    override fun onPause() {
        super.onPause()
        mAliyunRecord.stopPreview()
    }

    override fun onDestroy() {
        super.onDestroy()
        mAliyunRecord.release()
    }
}

XMLでの構成例

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <androidx.constraintlayout.widget.Guideline
        android:id="@+id/guideline3"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:orientation="vertical"
        app:layout_constraintGuide_percent="0.5" />


    <SurfaceView
        android:id="@+id/videoPreviewView"
        android:layout_width="0dp"
        android:layout_height="400dp"
        app:layout_constraintTop_toTopOf="parent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintEnd_toStartOf="@+id/guideline3"
        app:layout_constraintHorizontal_bias="0.0"
        app:layout_constraintStart_toStartOf="parent"
        tools:layout_editor_absoluteY="0dp" />

    <SurfaceView
        android:id="@+id/cameraPreviewView"
        android:layout_width="0dp"
        android:layout_height="400dp"
        app:layout_constraintTop_toTopOf="parent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintStart_toStartOf="@+id/guideline3"
        app:layout_constraintEnd_toEndOf="parent" />

    <ImageView
        android:id="@+id/btnRecordControl"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerInParent="true"
        android:layout_marginBottom="50dp"
        android:src="@mipmap/alivc_svideo_bg_record_start"
        android:visibility="visible"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent">

    </ImageView>

</androidx.constraintlayout.widget.ConstraintLayout>