Intelligent Media Services:Visão geral da IA Conversacional em Tempo Real

SessionId

Identificador exclusivo definido pelo desenvolvedor para registros de chat. Exemplos:

• Associação de usuário: Vincule sessões ao longo do tempo em dispositivos móveis ou PC usando o sessionId.

• Isolamento de sessão: Utilize o sessionId para separar múltiplas sessões do mesmo usuário.

Mensagens de chat

Os usuários interagem com o agente de IA por voz ou texto em uma caixa de diálogo de chat para fazer perguntas ou obter informações.

Chamadas de voz

Os usuários conversam com o assistente de IA para obter informações oportunas e suporte.

Chamadas com humano digital 3D

Humanos digitais 3D simulam personagens virtuais com interação por voz, linguagem corporal e expressões faciais para maior realismo e engajamento.

Chamadas com compreensão visual

Combina feeds de câmera ao vivo e comandos de voz por meio de interação multimodal para fornecer feedback preciso, intuitivo e personalizado, indo além da comunicação apenas por voz ou texto.

Chamadas de vídeo

As chamadas de vídeo combinam humanos digitais e compreensão visual. Ambas as partes aparecem na tela, e o humano digital compreende e responde ao feed de vídeo do usuário.

Mensagens interativas

Mensagens interativas melhoram a comunicação entre usuários e aumentam o engajamento durante transmissões ao vivo.

Real-Time Communication (ARTC)

O ARTC da Alibaba Cloud utiliza WebRTC e mais de 3.200 nós globais para oferecer chamadas de áudio e vídeo de alta disponibilidade, alta qualidade e latência ultrabaixa entre usuários e agentes de IA. Visão geral da Real-Time Communication.

Fluxo de trabalho em tempo real

Parte central de um agente de IA, construída arrastando e soltando componentes de IA, como conversão de fala em texto, modelos de linguagem grandes, conversão de texto em fala e banco de dados vetorial da Alibaba Cloud. O agente de IA executa cada etapa do fluxo de trabalho em ordem.

Agente de IA

Usuário baseado em nuvem altamente realista, pré-construído ou criado sob medida, que interage com usuários finais por meio de áudio e vídeo.

Recurso

Descrição

Fluxo de trabalho em tempo real

Crie fluxos de trabalho de agentes de IA usando uma interface visual de arrastar e soltar.

• Conversão de fala em texto:

  • Capacidade integrada do Tongyi Qwen.

• Conversão de texto em fala:

  • Capacidade integrada do Tongyi Qwen.

  • Conecte seu módulo personalizado de conversão de texto em fala usando protocolos padrão.

  • Integre as capacidades de fala do MiniMax como um plugin de terceiros.

• Modelo de linguagem grande (texto para texto):

  • Capacidade integrada do Tongyi Qwen.

  • Selecione modelos de IA no Model Hub ou Application Center no Alibaba Cloud Model Studio.

  • Integre seu modelo de linguagem grande personalizado usando padrões OpenAI.

• Humano digital

  • Integre as capacidades de humano digital da Xiangxin como um plugin de terceiros.

• Extração de quadros de vídeo

• Modelo de linguagem grande multimodal:

  • Capacidade integrada do Tongyi Qwen.

  • Integre seu modelo de linguagem grande multimodal personalizado usando padrões OpenAI.

Aparência personalizada do agente de IA

Faça upload de uma imagem para representar seu agente de IA durante chamadas de voz.

Reconhecimento de emoções pelo agente de IA

O agente de IA detecta a emoção atual do usuário e responde com contexto emocional.

Mensagem de boas-vindas

Defina uma mensagem de boas-vindas no console. O agente de IA a pronuncia quando uma conversa começa.

Anúncios proativos

Seu servidor de negócios usa a OpenAPI para acionar a saída de áudio e vídeo do agente de IA.

Legendas em tempo real

Exiba o texto da conversa em tempo real na interface do usuário final.

Redução inteligente de ruído

O agente de IA filtra o ruído de fundo do lado do usuário. Quando várias pessoas falam ao mesmo tempo, ele captura primeiro a voz mais alta.

Detecção inteligente de interrupções

O agente de IA detecta quando um usuário tenta interromper durante uma conversa.

Segmentação Inteligente de Sentenças

O agente de IA divide sentenças longas ou complexas automaticamente para melhorar a legibilidade.

Callbacks de áudio por sentença

Configure callbacks de áudio no console para armazenar dados de áudio em tempo real no OSS.

Modo walkie-talkie

Ative o modo walkie-talkie na inicialização ou durante uma chamada. Pressione um botão para falar com o agente de IA.

Palavras-chave ASR

Defina palavras-chave específicas do negócio para melhorar a precisão do reconhecimento de fala.

Redução de ruído por impressão de voz

Em conversas em grupo, o agente de IA identifica e preserva a impressão de voz do falante principal enquanto reduz ruídos irrelevantes.

Transferência para atendente humano

Quando o agente de IA não consegue lidar com uma solicitação ou uma decisão importante é necessária, transfira a conversa para um atendente humano.

Desligamento graceful

Quando seu servidor de negócios parar um agente de IA, permita que ele termine sua resposta atual antes de desligar para evitar interrupções abruptas.

Arquivamento de dados

Converta conversas do agente de IA em texto e recupere-as por meio de APIs. Armazene gravações de áudio e vídeo no OSS ou ApsaraVideo VOD.