Solução de integração com UI - Intelligent Media Services: Central de Documentação do Alibaba Cloud

Visão geral

Desenvolvida com base no AICallKit SDK, esta solução fornece componentes de UI para aplicações de áudio e vídeo. Reutilize os módulos funcionais dos AUI Kits para construir rapidamente aplicações de IA interativas em tempo real, reduzindo o tempo e os custos de desenvolvimento sem comprometer a qualidade e a estabilidade do aplicativo. Para integrar os AUI Kits para IA Conversacional em Tempo Real, consulte os seguintes tópicos:

Para desenvolvimento no lado do servidor, consulte Integração do lado do servidor e Referências de API.

Recursos

Recurso	Descrição
Fluxo de trabalho em tempo real	Crie fluxos de trabalho de agentes de IA usando uma interface visual de arrastar e soltar. Fala para texto: Capacidade integrada do Tongyi Qwen. Texto para fala: Capacidade integrada do Tongyi Qwen. Conecte seu módulo personalizado de texto para fala usando protocolos padrão. Integre os recursos de fala do MiniMax como um plugin de terceiros. Modelo de linguagem grande (texto para texto): Capacidade integrada do Tongyi Qwen. Selecione modelos de IA no Model Hub ou no Application Center do Alibaba Cloud Model Studio. Integre seu modelo de linguagem grande personalizado usando os padrões da OpenAI. Humano digital Integre as capacidades de humano digital da Xiangxin como um plugin de terceiros. Extração de quadros de vídeo Modelo de linguagem grande multimodal: Capacidade integrada do Tongyi Qwen. Integre seu modelo de linguagem grande multimodal personalizado usando os padrões da OpenAI.
Personalização da aparência do agente de IA	Faça upload de uma imagem para representar seu agente de IA durante chamadas de voz.
Reconhecimento de emoções pelo agente de IA	O agente de IA detecta a emoção atual do usuário e responde com contexto emocional.
Mensagem de boas-vindas	Defina uma mensagem de boas-vindas no console. O agente de IA a reproduzirá quando uma conversa for iniciada.
Anúncios proativos	Seu servidor de negócios usa a OpenAPI para acionar a saída de áudio e vídeo do agente de IA.
Legendas em tempo real	Exiba o texto da conversa em tempo real na interface do usuário final.
Redução inteligente de ruído	O agente de IA filtra o ruído de fundo do lado do usuário. Quando várias pessoas falam ao mesmo tempo, ele captura primeiro a voz mais alta.
Detecção inteligente de interrupção	O agente de IA detecta quando um usuário tenta interromper durante uma conversa.
Segmentação inteligente de sentenças	O agente de IA divide automaticamente frases longas ou complexas para melhorar a legibilidade.
Callbacks de áudio por sentença	Configure callbacks de áudio no console para armazenar dados de áudio em tempo real no OSS.
Modo walkie-talkie	Ative o modo walkie-talkie na inicialização ou durante uma chamada. Pressione um botão para falar com o agente de IA.
Hotwords de ASR	Defina hotwords específicas do negócio para melhorar a precisão do reconhecimento de fala.
Redução de ruído por impressão vocal	Em conversas em grupo, o agente de IA identifica e preserva a impressão vocal do falante principal enquanto reduz ruídos irrelevantes.
Assunção por atendente humano	Quando o agente de IA não consegue lidar com uma solicitação ou uma decisão importante é necessária, transfira a conversa para um atendente humano.
Encerramento gracioso	Quando seu servidor de negócios parar um agente de IA, permita que ele termine sua resposta atual antes de encerrar para evitar interrupções abruptas.
Arquivamento de dados	Converta conversas do agente de IA em texto e recupere-as por meio de APIs. Armazene gravações de áudio e vídeo no OSS ou no ApsaraVideo VOD.