Metode pencarian tradisional mencocokkan dan memfilter aset media berdasarkan judul atau metadata. Pencarian aset media cerdas menggunakan algoritma AI untuk menganalisis konten audio dan video, memungkinkan Anda mencari aset media berdasarkan dimensi seperti semantik visual dan kesamaan wajah.
Deskripsi fitur
Pencarian aset media cerdas juga dikenal sebagai pencarian cerdas dan pencarian multimodal. Anda dapat menggunakan algoritma AI untuk menganalisis konten dari aset media. Anda dapat langsung mencari konten yang muncul dalam file audio dan video tanpa perlu memberi label pada aset media tersebut.
Jika Anda memiliki pertanyaan tentang cara menggunakan fitur pencarian cerdas di Intelligent Media Services (IMS), hubungi dukungan teknis di grup DingTalk (ID 30415005038).
Fitur pencarian cerdas menyediakan kemampuan berikut:
Pencarian video lintas-modal, mendukung pencarian multimodal berdasarkan informasi visual, audio, dan teks.
Aset media yang didukung: video, file audio, dan gambar.
Metode pencarian yang didukung: pencarian kata kunci, pencarian bahasa alami, pencarian gambar.
Mendukung hingga ratusan ribu jam video dengan respons dalam hitungan detik.
Tipe aset | Fitur | Deskripsi |
Gambar | Wajah | Pengenalan lebih dari 500.000 selebriti, politisi, dan figur sensitif Cari figur berdasarkan gambar wajah |
Logo | Pengenalan lebih dari 500 logo stasiun TV, termasuk CCTV Pengenalan lebih dari 200 logo mobil Tiongkok dan Inggris utama Pengenalan tanda lalu lintas umum Pengenalan lebih dari 200.000 merek | |
Subjudul | Pengenalan bahasa Tiongkok dan Inggris Subjudul dinamis | |
Semantik gambar | Ekstraksi semantik visual dan pencarian berdasarkan model representasi multimodal besar | |
Audio | Audio | Pencarian hasil Pengenalan Ucapan Otomatis (ASR) |
Teks | Judul dan deskripsi | Pencarian judul dan deskripsi |
Pencarian cerdas menyediakan tiga kemampuan pencarian yang berbeda dalam skenario penggunaan, biaya, dan tarif.
Kemampuan pencarian | Formulir kueri | Prinsip | Skenario | Biaya |
Pencarian penuh | Kata kunci | Gunakan algoritma AI untuk secara otomatis mengekstrak informasi teks seperti tag dan kata kunci dari konten aset media, lalu gunakan informasi teks untuk mencari aset media. Anda dapat mencari nama dan subjudul yang muncul di aset media. | Pencarian konten situs web video Pencarian materi video | Ditagih berdasarkan jumlah aset media yang disimpan dan jumlah pencarian |
Pencarian berbasis LLM | Bahasa alami | Gunakan model AIGC besar untuk secara otomatis melakukan analisis semantik vektor pada konten aset media untuk menemukan konten yang paling dekat dengan semantik pernyataan kueri. | Pencarian konten situs web video Pencarian drive cloud pribadi Pencarian materi video | Ditagih berdasarkan durasi aset media yang disimpan dan jumlah pencarian |
Pencarian wajah serupa | Gambar wajah | Secara otomatis ekstrak semua fitur wajah yang muncul di aset media, bandingkan dan temukan wajah yang mirip dengan gambar wajah yang diberikan, dan kembalikan aset media dan segmen yang sesuai. | Pencarian drive cloud pribadi Pencarian perpustakaan gambar wajah Pencarian figur | Ditagih berdasarkan jumlah fitur wajah yang disimpan dan jumlah pencarian |
Istilah
Untuk menggunakan pencarian cerdas, Anda perlu memahami istilah-istilah berikut:
Istilah | Deskripsi | Catatan |
Aset Media | Rekaman media spesifik. | File audio, video, dan gambar didukung. |
Perpustakaan Aset Media | Database yang menyimpan aset media. | Secara default, setiap pengguna IMS hanya memiliki satu perpustakaan aset media. Video yang diunggah di konsol IMS disimpan di perpustakaan aset media ini. |
Perpustakaan Pencarian | Perpustakaan aset media yang digunakan untuk mencari aset media. |
|
Indeks Pencarian | Kemampuan pencarian perpustakaan pencarian. | Digunakan untuk mengelola dan mengatur data aset media di perpustakaan pencarian. Anda dapat mengaktifkan indeks berikut:
|
Gunakan pencarian cerdas di konsol IMS
Persiapan: Aktifkan analisis aset media cerdas
Masuk ke konsol IMS. Di panel navigasi sisi kiri, klik Pencarian Cerdas.
Klik Konfigurasi Pencarian Cerdas di pojok kanan atas untuk masuk ke halaman konfigurasi.
Jika Anda ingin menggunakan pencarian penuh, aktifkan Analisis Otomatis.
Jika Anda ingin menggunakan pencarian berbasis LLM, aktifkan Pencarian Model Dasar.
Unggah aset media
Masuk ke konsol IMS. Di panel navigasi sisi kiri, pilih Perpustakaan Media - Audio/Video.
Klik Unggah Audio/Video. Untuk informasi lebih lanjut tentang cara mengunggah aset media, lihat Unggah Aset Media Menggunakan Konsol IMS.
Setelah aset media diunggah, aset media akan dianalisis secara otomatis. Anda dapat mencari aset media setelah analisis selesai. Jika Anda ingin memeriksa apakah analisis otomatis selesai, klik Kelola di daftar aset media untuk masuk ke halaman detail dan lihat Status Penyimpanan dan Pencarian Konten dari aset media.
Cari aset media
Masuk ke konsol IMS. Di panel navigasi sisi kiri, klik Pencarian Cerdas.
Pilih Pencarian Penuh atau Pencarian Model Besar dari daftar drop-down:
Untuk menggunakan pencarian penuh, kami sarankan Anda memasukkan kata atau frasa, seperti nama, tempat, dan kata kunci.
Untuk menggunakan pencarian berbasis LLM, kami sarankan Anda menggunakan bahasa alami, seperti "matahari terbit di tepi laut" dan "mobil lalu lalang di jalan".
Klik ikon Tipe Media di header untuk mencari file audio, video, atau gambar.
Gunakan perpustakaan pencarian yang dikelola sendiri
Di konsol IMS, Anda hanya dapat mencari konten di perpustakaan aset media default. Jika perpustakaan aset media Anda tidak ada di IMS dan Anda ingin menggunakan pencarian cerdas, Anda dapat memanggil operasi API untuk membuat perpustakaan pencarian yang dikelola sendiri.
Prosedur: Buat perpustakaan pencarian - Buat indeks pencarian - Tambahkan aset media ke perpustakaan pencarian - Cari aset media
Setelah Anda membuat indeks, indeks tersebut hanya berlaku untuk aset media baru yang ditambahkan ke perpustakaan pencarian. Indeks tidak berlaku untuk aset media yang sudah ada.
Untuk memeriksa apakah aset media diindeks, panggil operasi QueryMediaIndexJob.
Anda hanya dapat mencari aset media yang diindeks.
Berikut ini adalah langkah-langkahnya:
Pencarian penuh
Buat perpustakaan pencarian dengan nama. Untuk informasi lebih lanjut, lihat CreateSearchLib.
Buat indeks di perpustakaan pencarian. Untuk informasi lebih lanjut, lihat CreateSearchIndex. Untuk melakukan pencarian penuh, atur IndexType ke
aiLabel.Panggil operasi InsertMediaToSearchLib untuk menambahkan informasi aset media ke perpustakaan pencarian.
Panggil operasi SearchMediaByAILabel untuk mencari aset media dalam dua langkah:
Pada pemanggilan pertama, mode pencarian kabur dipilih. Sebagai hasilnya, daftar aset media yang cocok dikembalikan.
Pada pemanggilan kedua, mode pencarian tepat dipilih. Sebagai hasilnya, daftar klip yang cocok dalam aset media tertentu dikembalikan.
Pencarian berbasis LLM
Buat perpustakaan pencarian dengan nama. Untuk informasi lebih lanjut, lihat CreateSearchLib.
Buat indeks di perpustakaan pencarian. Untuk informasi lebih lanjut, lihat CreateSearchIndex. Untuk melakukan pencarian berbasis LLM, Anda harus mengatur IndexType ke
mm.Panggil operasi InsertMediaToSearchLib untuk menambahkan informasi aset media ke perpustakaan pencarian.
Panggil operasi SearchMediaByMultimodal untuk mencari aset media. Aset media yang cocok dan klip yang cocok di setiap aset media dikembalikan.
Pencarian wajah serupa
Buat perpustakaan pencarian dengan nama. Untuk informasi lebih lanjut, lihat CreateSearchLib.
Buat indeks di perpustakaan pencarian. Untuk informasi lebih lanjut, lihat CreateSearchIndex. Untuk melakukan pencarian wajah serupa, atur IndexType ke
face.Panggil operasi InsertMediaToSearchLib untuk menambahkan informasi aset media ke perpustakaan pencarian.
Panggil operasi SearchMediaByFace untuk mencari aset media. Daftar aset media yang cocok dikembalikan.
Panggil operasi SearchMediaClipByFace untuk mencari klip yang sesuai di aset media yang cocok. Daftar klip dan informasi tentang wajah dikembalikan.