Milvus AI Function encapsule les appels de modèles sous forme de Collection Function et d'interfaces REST. Cette fonctionnalité permet de traiter du texte, des images, des vidéos et de l'audio lors de l'ingestion des données, de la récupération ou des workflows métier, sans maintenir de pipelines d'appels de modèles distincts. AI Function couvre les scénarios d'IA courants tels que l'embedding, le reranking, la compréhension et la génération de contenu, la production multimédia, le traitement par lots et la détection de sécurité.
Scénarios courants
Récupération multimodale et RAG — Générez des embeddings pour le texte, les images et les vidéos, puis reclassez les candidats rappelés.
Compréhension et traitement du contenu — Produisez des titres, des traductions, des résumés, des classifications, des analyses de sentiment, des mots-clés, des entités et des tags structurés.
Production multimédia — Transcrivez des enregistrements de service client, retouchez des images produits, ou créez et interrogez des tâches de génération vidéo.
Traitement par lots et gouvernance de la sécurité — Lancez des inférences par lots asynchrones sur des ressources historiques et activez la détection de sécurité à l'entrée ou à la sortie des appels de modèles.
Architecture
Les données d'entrée et les services de modèles alimentent la couche de capacités de Milvus AI Function. Selon le type de fonction, cette couche renvoie des embeddings, des informations structurées, du texte généré ou des URL de médias, exploitables par les systèmes de recherche, de production de contenu et les applications métier.
AI Functions prises en charge
Le tableau suivant répertorie toutes les AI Functions. La colonne relative aux modèles indique les types de modèles ainsi que des exemples représentatifs. Les modèles disponibles dépendent de la configuration du Provider côté serveur.
| AI Function | Description | Modalité d'entrée | Types de modèles pris en charge / Modèles représentatifs |
| AI_EMBEDDING | Convertit le contenu en vecteurs denses pour la recherche sémantique, le RAG, le clustering, les recommandations et la récupération image-texte. | Texte, image, vidéo | Embedding de texte : text-embedding-v4 ; Embedding multimodal : qwen3-vl-embedding, tongyi-embedding-vision-plus. |
| AI_EMBEDDING_CACHE | Réutilise les vecteurs issus du cache de correspondance exacte Redis pour les textes répétés, réduisant ainsi la latence d'embedding et l'utilisation du modèle. | Texte | Embedding de texte : text-embedding-v4, text-embedding-v3. |
| AI_RERANK | Évalue et reclasse une requête par rapport aux textes, images ou vidéos candidats rappelés. | Texte, image, vidéo | Reranking de texte : qwen3-rerank ; Reranking multimodal : qwen3-vl-rerank. |
| AI_TEXT_TRANSFORM | Génère ligne par ligne des titres, du texte promotionnel, des tags ou des résultats de complétion de champs à partir d'un prompt. | Texte | Modèles de texte : qwen3.7-max, deepseek-v4-pro, deepseek-v4-flash. |
| AI_TRANSLATE | Traduit du texte vers la langue cible spécifiée. | Texte | Modèles de texte : qwen3.7-max, deepseek-v4-pro, deepseek-v4-flash. |
| AI_SIMILARITY | Compare la similarité sémantique de paires de textes et retourne un score compris entre 0 et 1. | Texte | Modèles de texte : qwen3.7-max, deepseek-v4-pro, deepseek-v4-flash. |
| AI_PII_MASK | Identifie et masque les informations personnelles sensibles dans le texte. | Texte | Modèles de texte : qwen3.7-max, deepseek-v4-pro, glm-5.2. |
| AI_SUMMARIZATION | Condense du texte, des images ou des vidéos en résumés concis. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_EXTRACTION | Extrait des champs structurés du contenu selon des libellés donnés et renvoie du JSON. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_ENTITY | Extrait des entités nommées telles que des noms, organisations, lieux, dates et montants, puis retourne du JSON. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_KEYWORD | Extrait des mots-clés représentatifs du contenu et renvoie du JSON. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_CLASSIFICATION | Sélectionne parmi les libellés candidats la catégorie correspondant le mieux au contenu. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_SENTIMENT | Détermine la catégorie de sentiment parmi les candidates qui correspond le mieux au contenu. | Texte, image, vidéo | Modèles de texte : qwen3.7-max ; Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6. |
| AI_MULTIMODAL_GENERATION | Génère des résultats textuels à partir de texte, d'images, de vidéos ou d'audio. | Texte, image, vidéo, audio | Modèles multimodaux : qwen3.7-plus, qwen3.6-plus, kimi-k2.6 ; Reconnaissance vocale : qwen3-asr-flash. |
| AI_TRANSCRIPTION | Transcrit une URL audio en texte interrogeable. | Audio | Modèle de reconnaissance vocale : qwen3-asr-flash. |
| AI_IMAGE_EDIT | Génère l'URL d'une image modifiée à partir d'une image source et d'un prompt. | Texte, image | Modèles de génération d'images : wan2.7-image-pro, wan2.7-image. |
| AI_VIDEO_EDIT | Soumet des tâches de conversion texte-en-vidéo, image-en-vidéo ou de montage vidéo, et récupère de manière asynchrone l'URL de la vidéo résultante. | Texte, image, vidéo | Modèles vidéo : happyhorse-1.1-t2v, happyhorse-1.1-i2v, happyhorse-1.0-video-edit. |
| AI_BATCH | Soumet des requêtes Chat Completions au format JSONL sous forme de tâches par lots asynchrones, interroge leur statut, puis télécharge les fichiers de sortie ou d'erreur. | Texte, image, vidéo, audio | Modèles de texte : qwen3.7-max ; Modèles de vision : qwen3-vl-plus ; Modèles omni-modaux : qwen3.5-omni-plus. |
| AI_DATA_INSPECTION | Vérifie la présence de contenu non sécurisé à l'entrée, à la sortie, ou aux deux stades d'un appel de modèle. | Texte | Utilise le modèle de texte de l'appel TextTransform en cours, tel que qwen3.7-max, deepseek-v4-pro. |
Utilisation
Collection Function — Configurez des fonctions dans le schéma de la collection pour une exécution automatique lors des phases d'écriture, de récupération ou de recherche.
Interface REST — Appelez les fonctions à la demande depuis vos services métier. Chaque page de fonction fournit des exemples cURL et Python.
Tâches asynchrones —
AI_BATCHetAI_VIDEO_EDITrenvoient des identifiants de tâche. Interrogez régulièrement le statut jusqu'à ce que la tâche atteigne un état terminal avant de lire la sortie ou de télécharger les résultats.
Guide de sélection
Récupération — Privilégiez d'abord
AI_EMBEDDING, puis utilisezAI_RERANKsi nécessaire. ActivezAI_EMBEDDING_CACHEpour les textes répétitifs.
Compréhension du contenu — Choisissez la fonction de résumé, d'extraction, d'entité, de mot-clé, de classification, d'analyse de sentiment ou de génération multimodale selon votre objectif.
Génération de médias — Recourez à
AI_IMAGE_EDITpour les images et àAI_VIDEO_EDITpour les vidéos. Pour le traitement hors ligne à grande échelle, optez pourAI_BATCH.
Gestion du contenu sensible — Activez
data_inspectiondans la requête TextTransform ou dans les paramètres de la fonction.