Cara Kerja Ekstraksi Sorotan Cerdas IMS & Konsep Inti-Intelligent Media Services-Alibaba Cloud

Topik ini menjelaskan parameter permintaan untuk operasi SubmitHighlightExtractionJob dan parameter respons yang dikembalikan oleh operasi GetSmartHandleJob.

Penting

Catatan: Dalam operasi ini, wilayah URL Object Storage Service (OSS) untuk semua aset media harus sama dengan wilayah titik akhir OpenAPI yang Anda panggil.
Wilayah yang didukung: Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shenzhen), AS (Barat), dan Singapura. Fitur pengenalan tag aksi, yang sesuai dengan parameter Strategy.EnableActionRecog dan Strategy.CustomActions, saat ini hanya tersedia di wilayah Tiongkok (Shanghai).
Saat ini, materi video yang tidak memiliki teks atau suara manusia tidak didukung. Pastikan materi video Anda memenuhi persyaratan ini.

Instruksi penggunaan

Anda dapat memanggil operasi SubmitHighlightExtractionJob untuk mengekstraksi klip sorotan dari beberapa materi video. Untuk informasi selengkapnya mengenai parameter API utama, lihat bagian Deskripsi parameter InputConfig dan Deskripsi parameter OutputConfig.
Anda dapat memanggil operasi GetSmartHandleJob untuk mengkueri detail tugas ekstraksi sorotan. Untuk informasi selengkapnya mengenai parameter utama dalam hasil tugas, lihat bagian Deskripsi parameter AiResult.

Deskripsi parameter InputConfig

Anda dapat mengonfigurasi InputConfig untuk menentukan parameter, seperti materi video dan konfigurasi pemisahan sorotan.

Parameter

Tipe

Deskripsi

Diperlukan

MediaArray

List<Media>

Hanya format video yang didukung untuk materi film dan televisi. Anda dapat mengunggah materi dengan menyediakan daftar ID aset media atau URL OSS. Durasi total video dapat mencapai dua jam, dan jumlah maksimum video adalah 30.
Untuk informasi selengkapnya mengenai format yang didukung, lihat Format video.

Penting

Materi video yang tidak mengandung teks atau suara manusia tidak didukung.

Strategy

Pengaturan kebijakan ekstraksi klip sorotan:

Count: Jumlah klip sorotan yang akan diekstraksi dari setiap materi. Nilai yang valid: [1,10]. Nilai default: 5.
ClipDuration: Durasi yang diharapkan untuk setiap klip sorotan dalam detik. Nilai yang valid: [3,60]. Nilai default: 15. Durasi aktual setiap klip sorotan mungkin sedikit berbeda dari nilai ini.
EnableActionRecog: Menentukan apakah akan mengaktifkan pengenalan aksi. Nilai default: false.
CustomActions: Tag aksi kustom. Sistem memprioritaskan pemetaan berdasarkan tag yang disediakan. Contoh: ["Fight","Cry"]. Array mendukung maksimal 50 tag. Setiap tag dapat memiliki maksimal 5 karakter.

Tidak

Deskripsi parameter Strategy

Parameter	Tipe	Deskripsi	Wajib
Count	Integer	Jumlah klip sorotan yang akan diekstraksi dari satu materi. Nilai harus berada dalam rentang [1, 10]. Nilai default adalah 5.	Tidak
ClipDuration	Float	Durasi yang diharapkan untuk setiap klip sorotan dalam detik. Nilai harus berada dalam rentang [3, 60]. Nilai default adalah 15. Durasi aktual setiap klip sorotan mungkin berfluktuasi di sekitar nilai ini.	Tidak
EnableActionRecog	Boolean	Menentukan apakah akan mengaktifkan pengenalan aksi. Nilai default adalah false. Catatan Pengenalan aksi hanya didukung di wilayah Tiongkok (Shanghai).	Tidak
CustomActions	List<String>	Tag aksi kustom. Sistem memprioritaskan pemetaan berdasarkan nama tag yang disediakan. Contoh: ["Fight", "Cry"]. Array dapat berisi hingga 50 tag. Setiap tag dapat berisi hingga 5 karakter. Catatan Pengenalan aksi hanya didukung di wilayah Tiongkok (Shanghai).	Tidak
HighlightDescription	String	Deskripsi kebijakan ekstraksi sorotan. Parameter ini hanya berlaku ketika ThemeConfig.ThemeType diatur ke SmoothHighlight. Contoh: Utamakan adegan yang menampilkan ekspresi emosional kuat, kontras tinggi, konflik plot terkonsentrasi, dan sorotan dramatis. Contohnya termasuk adegan di mana tokoh utama pria XXX menunjukkan emosi intens seperti kemarahan atau sikap protektif, di mana ketegangan diciptakan melalui identitas dan perilaku yang kontras, di mana cerita berpusat pada konflik inti seperti permusuhan keluarga, serta di mana dialog tidak biasa atau plot twist terjadi untuk meningkatkan imersi penonton dan menciptakan buzz.	Tidak
FaceInfo	FaceInfo	Atur informasi wajah untuk membantu mengidentifikasi karakter. Konfigurasikan parameter ini jika Anda ingin menampilkan karakter tertentu lebih menonjol dalam sorotan.	Tidak

Deskripsi parameter FaceInfo

Parameter	Tipe	Deskripsi	Wajib
ImageInfoList	List<ImageInfo>	Daftar foto karakter (wajah). Daftar ini dapat berisi hingga 200 foto.	Tidak

Deskripsi parameter ImageInfo

Parameter	Tipe	Deskripsi	Contoh	Wajib
Name	String	Nama karakter (wajah).	Daniel	Ya
ImageURL	String	Alamat penyimpanan foto karakter (wajah). Alamat tersebut harus berupa URL yang dapat diakses publik. Pastikan citra wajah hanya berisi satu orang dan wajahnya jelas, tanpa halangan signifikan atau bagian yang hilang.	http://[your-cdn-domain]/[your-file-path]/face1.png	Ya, salah satu wajib diisi.
ImageId	String	ID aset media citra.	**9d46c886b45481030f6e**	Ya, salah satu wajib diisi.

Deskripsi parameter Media

Parameter

Tipe

Deskripsi

Diperlukan

MediaId

String

ID dari aset media.

Anda harus menentukan salah satu dari keduanya.

Jika Anda menentukan keduanya, MediaId memiliki prioritas lebih tinggi.

MediaURL

String

URL aset media di OSS. Hanya bucket OSS milik Anda sendiri yang didukung.

Contoh parameter

{
  "MediaArray": [
    {
      "MediaId": "1cb94770da*******75e6e6c5486302"
    }
  ],
  "Strategy": {
    "Count": 5,
    "ClipDuration": 15,
    "EnableActionRecog": true,
    "CustomActions":  ["Fight","Cry"],
    "HighlightDescription":"Prioritize scenes that feature strong emotional expression, high contrast, concentrated plot conflicts, and dramatic highlights. Examples include scenes where the male lead XXX expresses intense emotions like anger or protectiveness, where tension is created by contrasting identities and behaviors, where the story revolves around core conflicts like family feuds, and where unusual dialogue or plot twists occur to enhance viewer immersion and create buzz.",
    "FaceInfo":{"ImageInfoList":[{"Name":"Ning X","ImageURL":"http://[your-cdn-domain]/[your-file-path]/face1.png"}]}
  }
}

Deskripsi parameter OutputConfig

Anda dapat mengonfigurasi OutputConfig untuk menentukan parameter sintesis, seperti lokasi output dan aturan penamaan untuk video akhir.

Parameter	Tipe	Deskripsi	Diperlukan	Contoh
NeedExport	Boolean	Menentukan apakah akan langsung mengekspor klip. Nilai valid: Jika diatur ke `true`, hasil akan dikembalikan. false: Hanya rentang waktu klip sorotan yang dikembalikan. Klip tidak dipisahkan.	Tidak. Nilai default adalah false.	false
OutputMediaTarget	String	Wajib saat NeedExport = true. Tipe target file output. oss-object: objek OSS di bucket OSS Alibaba Cloud Anda.	Tidak. Nilai default adalah oss-object.	oss-object
Endpoint	String	Titik akhir yang kompatibel dengan S3. Wilayah titik akhir OSS harus sama dengan wilayah tempat layanan dipanggil. Nilai default adalah titik akhir OSS di wilayah yang sama.	Tidak	https://oss-cn-shanghai.aliyuncs.com
Bucket	String	Wajib saat NeedExport = true. Bucket penyimpanan yang kompatibel dengan S3. Bucket penyimpanan OSS milik Anda sendiri.	Tidak	bucket Anda
ObjectKey	String	Wajib saat NeedExport = true. Nama objek yang kompatibel dengan S3. Placeholder yang didukung: {index}: Placeholder ini harus disertakan dalam path file.	Tidak	dir/to/testOutput_{index}.mp4
ExportAsNewMedia	Boolean	Opsional saat NeedExport = true. Menentukan apakah akan mengekspor output sebagai aset media baru. Parameter ini hanya didukung saat OutputMediaTarget diatur ke oss-object.	Tidak. Nilai default adalah false.	false
Width	Integer	Opsional saat NeedExport = true. Lebar video output dalam piksel. Jika Anda tidak menentukan parameter ini, lebar video output sama dengan lebar video sumber.	Tidak	1280
Height	Integer	Opsional saat NeedExport = true. Tinggi video output dalam piksel. Jika Anda tidak menentukan parameter ini, tinggi video output sama dengan tinggi video sumber.	Tidak	720
Video	JSONObject	Opsional saat NeedExport = true. Konfigurasi aliran video output, seperti Crf dan Codec.	Tidak	{ "Bitrate": 3000 }

Contoh parameter

 {
    "NeedExport": true,
    "OutputMediaTarget": "oss-object",
    "Endpoint": "https://oss-cn-shanghai.aliyuncs.com"
    "Bucket": "your-bucket",
    "ObjectKey": "dir/to/testOutput_{index}.mp4",
    "ExportAsNewMedia": false,
    "Width": 1280,
    "Height": 720,
    "Video": {
      "Bitrate": 3000
    }
  }

GetSmartHandleJob

Panggil operasi GetSmartHandleJob untuk mengambil hasil tugas ekstraksi sorotan. Bagian berikut menjelaskan parameter dalam AiResult.

Deskripsi parameter AiResult

{
  "HighlightResults": [
    {
      "Media": "MediaId1", // Jika URL ditentukan dalam InputConfig, URL juga akan dikembalikan di sini.
      "TimeRanges": [
        {
          "In": 20,
          "Out": 30,
          "Tags": ["Fight","Cry"], // Tag aksi yang terdeteksi.
          "OutputURL": "http://your bucket.oss-cn-shanghai.aliyuncs.com/output_0.mp4", // Hanya dikembalikan saat needExport diatur ke true.
          "MediaId": "MediaId11", // Hanya dikembalikan saat ExportAsNewMedia diatur ke true.
        }
      ]
    },
    {
      "Media": "MediaId2", // Jika URL ditentukan dalam InputConfig, URL juga akan dikembalikan di sini.
      "TimeRanges": [
        {
          "In": 2,
          "Out": 10,
          "Tags": ["Run","Shout"],
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_1.mp4" // Hanya dikembalikan saat needExport diatur ke true.
        },
        {
          "In": 40,
          "Out": 50,
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_2.mp4" // Hanya dikembalikan saat needExport diatur ke true.
        }
      ]
    }
  ]
}