ApsaraVideo VOD:デュエット録音

サポートされるエディション

基本概念

この機能をより深く理解するために、デュエット録音、トラック、トラックレイアウトの定義をご確認ください。

関連クラス

操作手順

デュエット録音の操作手順は、基本録画と似ています。主な違いは、入出力パラメーターとプレビュービューの設定にあります。

パラメーターの初期化と設定

AliyunIMixRecorder クラスを初期化し、録画インスタンスを作成して、録画パラメーターを設定します。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// 録画インスタンスを作成します。
AliyunIMixRecorder recorder = AliyunMixRecorderCreator.createAlivcMixRecorderInstance(context);

// 録画インスタンスを解放します。
// インスタンスが不要になったとき、またはアプリケーションを終了する前に、必ずインスタンスを解放してください。
// 使用中に解放しないでください。
AliyunIMixRecorder.release();

// 録画ビデオの品質を設定します。
AliyunIMixRecorder.setVideoQuality(quality);

// 録画ビデオのビットレートを設定します。
AliyunIMixRecorder.setVideoBitrate(int bitrate); // 単位：kbps

// 録画ビデオの出力パラメーターを設定します。
// `inputMediaInfo` は、トラックレイアウトや出力ビデオなど、合成ビデオのパラメーターを指定します。
// `outputInfo` は、出力ビデオに関する情報を指定します。
AliyunIMixRecorder.setMixMediaInfo(AliyunMixMediaInfoParam inputMediaInfo, MediaInfo outputInfo); // パラメーターの詳細については、AliyunMixMediaInfoParam および MediaInfo の API リファレンスをご参照ください。

// 録画ビデオの出力パスを設定します。
AliyunIMixRecorder.setOutputPath(String path);

// 出力ビデオの Group of Pictures (GOP) サイズを設定します。
AliyunIMixRecorder.setGop(int gop); // 単位：フレーム数

コールバックの設定

音声およびビデオ処理の進捗とステータスに関するリアルタイムの更新を受け取るために、コールバックを設定します。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// 録画コールバックを設定します。
AliyunIMixRecorder.setRecordCallBack(RecordCallback callBack);

// キャプチャされたビデオフレームのコールバックを設定します。
AliyunIMixRecorder.setOnFrameCallback(OnFrameCallBack callback);

// キャプチャされた音声データのコールバックを設定します。
AliyunIMixRecorder.setOnAudioCallback(OnAudioCallBack callback);

プレビューの有効化

プレビューを有効にするには、SurfaceView コンテナを提供する必要があります。ご利用の Activity/Fragment の onResume() メソッドで startPreview() を呼び出し、onPause() メソッドで stopPreview() を呼び出します。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// プレビュービューを設定します。
// `cameraView` はカメラフィード用のビュー、`videoView` はローカルビデオ用のビューです。
AliyunIMixRecorder.setDisplayView(SurfaceView cameraView, Surface videoView);

// プレビューを開始します。
AliyunIMixRecorder.startPreview();

// プレビューを停止します。
// ご利用の Activity/Fragment の onPause() メソッドで stopPreview() を呼び出します。
AliyunIMixRecorder.stopPreview();

録画の開始

最終的なビデオを作成するには、多くの場合、録画の開始、停止、再開を複数回行う必要があります。録画を停止するとビデオクリップが生成され、録画をキャンセルすると現在のクリップが破棄されます。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// 録画を開始します。
AliyunIMixRecorder.startRecording();

// 最初のクリップの録画を開始します。
AliyunIMixRecorder.startRecording();

// 録画を停止してビデオクリップを生成します。
AliyunIMixRecorder.stopRecording();

// 別のクリップの録画を開始します。
AliyunIMixRecorder.startRecording();
// 録画をキャンセルし、現在のクリップを破棄します。
AliyunIMixRecorder.cancelRecording();

// 次のビデオクリップの録画を続行します。
AliyunIMixRecorder.startRecording();
AliyunIMixRecorder.stopRecording();

録画の完了

録画が完了したら、すべてのクリップを 1 つのビデオファイルにマージするか、クリップに関する情報を含む設定ファイルを生成することができます。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// 録画を完了し、録画されたすべてのクリップを 1 つのビデオファイルにマージします。
AliyunIMixRecorder.finishRecording();

// 録画を完了し、クリップをマージせずにクリップの設定ファイルを生成します。
AliyunIMixRecorder.finishRecordingForEdit();

録画の制御とクリップの管理

このセクションでは、カメラ制御 (カメラタイプやフラッシュモードなど) とビデオクリップ管理 (録画時間の設定、クリップの削除、クリップ数の取得など) のオプションパラメーターを設定する方法について説明します。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

// 利用可能なカメラの数を取得します。
AliyunIMixRecorder.getCameraCount();

// カメラタイプを設定します。
AliyunIMixRecorder.setCamera(cameraType);

// 録画をミュートします。
AliyunIMixRecorder.setMute(boolean isMute);

// センサーの回転角度を設定します。
// 重要：このパラメーターについては、API ドキュメントをよくお読みください。
AliyunIMixRecorder.setRotation(int rotation);

// 録画の回転角度を設定します。
// 重要：このパラメーターについては、API ドキュメントをよくお読みください。
AliyunIMixRecorder.setRecordRotation(int rotation);

// フラッシュ、フォーカスモード、ズーム、露出などのカメラプレビューパラメーターを設定します。
// これらのパラメーターは、以下のメソッドを使用して個別に設定することもできます。
AliyunIMixRecorder.setCameraParam(CameraParam cameraParam);

// フロントカメラとリアカメラを切り替えます。
AliyunIMixRecorder.switchCamera();

// フラッシュモードを設定します。
AliyunIMixRecorder.setLight(FlashType flashType);

// ズームレベルを設定します。
AliyunIMixRecorder.setZoom(float rate);

// 露出補正率を設定します。
AliyunIMixRecorder.setExposureCompensationRatio(float value);

// フォーカスモードを設定します。
AliyunIMixRecorder.setFocusMode(int mode);

// 特定のポイントで手動フォーカスをトリガーします。
AliyunIMixRecorder.setFocus(float xRatio, float yRatio);

// クリップマネージャーインスタンスを取得します。
AliyunIClipManager manager = AliyunIRecorder.getClipManager();

// 録画の最大合計時間をミリ秒単位で設定します (単一クリップ用ではありません)。
manager.setMaxDuration(int maxDurationMs);

// 録画の最小合計時間をミリ秒単位で設定します (単一クリップ用ではありません)。
manager.setMinDuration(int minDurationMs);

// 最後に録画したクリップを削除します。
manager.deletePart();

// 特定のインデックスのクリップを削除します。
manager.deletePart(int index);

// 録画されたすべてのクリップを削除します。
manager.deleteAllPart();

// すべてのクリップの合計時間を取得します。
manager.getDuration();

// クリップの総数を取得します。
manager.getPartCount();

// すべてのクリップのファイルパスのリストを取得します。
manager.getVideoPathList();

エフェクトの設定

このセクションでは、美顔やフィルターなどのオプションの録画エフェクトを設定する方法について説明します。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

フィルター

カスタムフィルターを作成できます。詳細については、「フィルターとトランジション」をご参照ください。

// フィルターを適用します。
AliyunIMixRecorder.applyFilter(effectFilter);

// フィルターを削除します。
// フィルターを削除するには、パスが null の新しい EffectFilter を渡します。
AliyunIMixRecorder.applyFilter(new EffectFilter(null));

// アニメーションフィルターを適用します。
AliyunIMixRecorder.applyAnimationFilter(effectFilter);

// アニメーションフィルターを削除します。
AliyunIMixRecorder.removeAnimationFilter(effctFilter);

// 録画速度を設定します。
AliyunIMixRecorder.setRate(float rate);

// 静的ステッカーまたはウォーターマークを追加します。
AliyunIMixRecorder.addImage(effctImage);

// 静的ステッカーまたはウォーターマークを削除します。
AliyunIMixRecorder.removeImage(effctImage);

// 静的ステッカーまたはウォーターマークの位置を更新します。
AliyunIMixRecorder.setEffectView(float xRatio,float yRatio,float widthRatio,float heightRatio,EffectBase effectBase);

動的ステッカー

// 動的ステッカーを追加します。
AliyunIMixRecorder.addPaster(effectPaster,float sx,float sy,float sw,float sh,float rotation,boolean flip);

// 動的ステッカーを削除します。
AliyunIMixRecorder.removePaster(effectPaster);

// 動的ステッカーの位置を更新します。
AliyunIMixRecorder.setEffectView(float xRatio,float yRatio,float widthRatio,float heightRatio,effectBase);

高度なレタッチ

その他の機能

SDK は、ビデオ録画中の写真撮影と顔認識をサポートしています。コードで使用されるパラメーターの詳細については、「関連クラス」をご参照ください。

写真撮影

// エフェクトを適用して写真を撮ります。
AliyunIMixRecorder.takePhoto(boolean needBitmap);

// システムカメラを使用して写真を撮ります (エフェクトなし)。
AliyunIMixRecorder.takePicture(boolean needBitmap);

// システム写真の写真サイズを設定します。これはエフェクト付きの写真ではサポートされていません。
AliyunIMixRecorder.setPictureSize(Camera.Size size);

顔認識

// 顔認識を有効または無効にします。
AliyunIMixRecorder.needFaceTrackInternal(boolean need);

// 顔認識モデルファイルへのパスを設定します。
AliyunIMixRecorder.setFaceTrackInternalModelPath(String path);

// 顔検出の回転角度を設定します。
// 重要：このパラメーターについては、API ドキュメントをよくお読みください。
AliyunIMixRecorder.setFaceDetectRotation(int rotation);

// 検出する顔の最大数を設定します。
// 内蔵の顔追跡の最大値は 3 です。
AliyunIMixRecorder.setFaceTrackInternalMaxFaceCount(int maxFaceCount);

// 顔を追跡する動的ステッカーを追加します。
AliyunIMixRecorder.addPaster(EffectPaster effectPaster);

デュエット録音のサンプルコード

import android.graphics.Bitmap
import android.os.Bundle
import android.util.Log
import android.view.SurfaceView
import android.widget.ImageView
import android.widget.Toast
import androidx.appcompat.app.AppCompatActivity
import com.aliyun.svideosdk.common.struct.common.VideoDisplayMode
import com.aliyun.svideosdk.common.struct.encoder.VideoCodecs
import com.aliyun.svideosdk.common.struct.recorder.MediaInfo
import com.aliyun.svideosdk.mixrecorder.AliyunIMixRecorder
import com.aliyun.svideosdk.mixrecorder.AliyunMixMediaInfoParam
import com.aliyun.svideosdk.mixrecorder.AliyunMixRecorderDisplayParam
import com.aliyun.svideosdk.mixrecorder.AliyunMixTrackLayoutParam
import com.aliyun.svideosdk.mixrecorder.impl.AliyunMixRecorderCreator
import com.aliyun.svideosdk.recorder.RecordCallback


/**
 * ビデオ録画の例
 */
class MixRecordActivity : AppCompatActivity() {

    enum class RecordStatus {
        Idle,
        Recording
    }

    private lateinit var mAliyunRecord : AliyunIMixRecorder
    private lateinit var mVideoPreviewView : SurfaceView
    private lateinit var mCameraPreviewView : SurfaceView
    private lateinit var mRecordBtn : ImageView
    private var mRecordStatus = RecordStatus.Idle

    companion object {
        const val TAG = "MixRecordActivity"
    }

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_mixrecord)

        mVideoPreviewView = findViewById(R.id.videoPreviewView)
        mCameraPreviewView = findViewById(R.id.cameraPreviewView)
        mRecordBtn = findViewById(R.id.btnRecordControl)
        // 録画ボタン
        mRecordBtn.setOnClickListener {
            if(mRecordStatus == RecordStatus.Recording) {
                mAliyunRecord.finishRecording()
                Toast.makeText(this@MixRecordActivity, "Stop recording", Toast.LENGTH_SHORT).show()
                updateRecordStatus(RecordStatus.Idle)
            } else {
                val curTime = System.currentTimeMillis()
                mAliyunRecord.setOutputPath("/storage/emulated/0/DCIM/Camera/svideo_mixrecord_video_$curTime.mp4")
                mAliyunRecord.startRecording()
                Toast.makeText(this@MixRecordActivity, "Start recording", Toast.LENGTH_SHORT).show()
                updateRecordStatus(RecordStatus.Recording)
            }

        }

        mAliyunRecord = AliyunMixRecorderCreator.createAlivcMixRecorderInstance(this)


        val videoDisplayParam = AliyunMixRecorderDisplayParam.Builder()
                .displayMode(VideoDisplayMode.FILL)
                .layoutParam(
                        AliyunMixTrackLayoutParam.Builder()
                                .centerX(0.25f)
                                .centerY(0.5f)
                                .widthRatio(0.5f)
                                .heightRatio(1.0f)
                                .build()
                )
                .build()

        val cameraDisplayParam = AliyunMixRecorderDisplayParam.Builder()
                .displayMode(VideoDisplayMode.FILL)
                .layoutParam(AliyunMixTrackLayoutParam.Builder()
                        .centerX(0.75f)
                        .centerY(0.5f)
                        .widthRatio(0.5f)
                        .heightRatio(1.0f)
                        .build())
                .build()

        val mixMediaParam = AliyunMixMediaInfoParam.Builder()
                .streamStartTimeMills(0L)
                .streamEndTimeMills(0L) // 0L に設定すると、ビデオの全時間が自動的に使用されます。
                .mixVideoFilePath("/storage/emulated/0/DCIM/Camera/VID_20210317_174802.mp4")
                .mixDisplayParam(videoDisplayParam)
                .recordDisplayParam(cameraDisplayParam)
                .build()

        val mediaInfo = MediaInfo()
        mediaInfo.fps = 30
        mediaInfo.crf = 6
        mediaInfo.videoWidth = 720
        mediaInfo.videoHeight = 1080
        mediaInfo.videoCodec = VideoCodecs.H264_SOFT_OPENH264

        mAliyunRecord.setMixMediaInfo(mixMediaParam, mediaInfo)
        mAliyunRecord.setDisplayView(mCameraPreviewView, mVideoPreviewView)

        mAliyunRecord.setRecordCallback(object : RecordCallback {
            override fun onComplete(validClip: Boolean, clipDuration: Long) {
                Log.i(TAG, "onComplete")
            }

            override fun onFinish(outputPath: String?) {
                Log.i(TAG, "onFinish path : $outputPath")
                mAliyunRecord.clipManager.deleteAllPart()
            }

            override fun onProgress(progress: Long) {
                Log.i(TAG, "onProgress  : $progress")
            }

            override fun onMaxDuration() {
                Log.i(TAG, "onMaxDuration")
            }

            override fun onError(errorCode: Int) {
                Log.i(TAG, "onError : $errorCode")
            }

            override fun onInitReady() {
                Log.i(TAG, "onInitReady")
            }

            override fun onDrawReady() {
                Log.i(TAG, "onDrawReady")
            }

            override fun onPictureBack(bitmap: Bitmap?) {
                Log.i(TAG, "onPictureBack")
            }

            override fun onPictureDataBack(p0: ByteArray?) {
                Log.i(TAG, "onPictureDataBack")
            }

        })

    }

    private fun updateRecordStatus(recordStatus: RecordStatus)
    {
        mRecordStatus = recordStatus
        when(recordStatus) {
            RecordStatus.Idle -> {
                mRecordBtn.setImageResource(R.mipmap.alivc_svideo_bg_record_start)
            }
            RecordStatus.Recording -> {
                mRecordBtn.setImageResource(R.mipmap.alivc_svideo_bg_record_storp)
            }
        }
    }

    override fun onResume() {
        super.onResume()
        mAliyunRecord.startPreview()
    }

    override fun onPause() {
        super.onPause()
        mAliyunRecord.stopPreview()
    }

    override fun onDestroy() {
        super.onDestroy()
        mAliyunRecord.release()
    }
}

XML 設定例

<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context=".MainActivity">

    <androidx.constraintlayout.widget.Guideline
        android:id="@+id/guideline3"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:orientation="vertical"
        app:layout_constraintGuide_percent="0.5" />


    <SurfaceView
        android:id="@+id/videoPreviewView"
        android:layout_width="0dp"
        android:layout_height="400dp"
        app:layout_constraintTop_toTopOf="parent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintEnd_toStartOf="@+id/guideline3"
        app:layout_constraintHorizontal_bias="0.0"
        app:layout_constraintStart_toStartOf="parent"
        tools:layout_editor_absoluteY="0dp" />

    <SurfaceView
        android:id="@+id/cameraPreviewView"
        android:layout_width="0dp"
        android:layout_height="400dp"
        app:layout_constraintTop_toTopOf="parent"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintStart_toStartOf="@+id/guideline3"
        app:layout_constraintEnd_toEndOf="parent" />

    <ImageView
        android:id="@+id/btnRecordControl"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerInParent="true"
        android:layout_marginBottom="50dp"
        android:src="@mipmap/alivc_svideo_bg_record_start"
        android:visibility="visible"
        app:layout_constraintBottom_toBottomOf="parent"
        app:layout_constraintEnd_toEndOf="parent"
        app:layout_constraintStart_toStartOf="parent">

    </ImageView>

</androidx.constraintlayout.widget.ConstraintLayout>