Desenvolvimento de fluxos de aplicação - Platform For AI: Central de Documentação do Alibaba Cloud

Início rápido

Métodos de criação

Criar a partir de modelo: Construa rapidamente aplicações de IA usando modelos pré-definidos para diversos cenários.
Criar por tipo:
- Standard: Destinado ao desenvolvimento de aplicações de uso geral. Combine LLMs, código Python personalizado e outras ferramentas para construir seu fluxo de aplicação.
- Conversational: Focado no desenvolvimento de aplicações conversacionais. Estende o tipo Standard com gerenciamento de histórico de conversas, entradas e saídas, além de uma interface de teste estilo diálogo.
Importar do OSS: Selecione o pacote ZIP ou o caminho do OSS do fluxo de aplicação a ser importado. Esse caminho deve conter diretamente o arquivo flow.dag.yaml do fluxo de aplicação e outros arquivos de código.
- Exporte um fluxo de aplicação usando o recurso Export na coluna Actions da lista de fluxos de aplicação no LangStudio e compartilhe-o para importação.
- Converta um arquivo Dify DSL para o formato de fluxo de aplicação do LangStudio e importe-o usando este método.

Configurar variáveis de ambiente

Adicione variáveis de ambiente necessárias durante a execução do fluxo de aplicação. O sistema carrega essas variáveis automaticamente antes da execução, disponibilizando-as para nós Python, chamadas de ferramentas ou lógica personalizada.

Casos de uso

Gerenciamento de informações sensíveis: Armazene chaves de API, tokens de autenticação e outros segredos em vez de codificá-los diretamente.
Parametrização de configurações: Defina parâmetros de tempo de execução de forma flexível, como endpoints de modelos e timeouts.

Configuração e uso

No editor de fluxo de aplicação, clique em Settings no canto superior direito para adicionar variáveis de ambiente.
Em um nó Python, acesse as variáveis de ambiente configuradas usando o módulo padrão do Python os.environ:
```
import os

# Example: Get an API key
api_key = os.environ["OPENAI_API_KEY"]
```

Configurar interação por voz

No editor de fluxo de aplicação, clique em Settings no canto superior direito e configure a interação por voz na aba Global Settings.

Speech-to-Text (STT)

O recurso STT converte a entrada de voz do usuário em texto e preenche o campo " Chat Input " no nó Start.

Parâmetro	Descrição
Model settings	Selecione uma conexão de serviço de modelo configurada e um modelo ASR. Atualmente, há suporte para modelos da série Paraformer.
Recognition language	Defina o idioma para reconhecimento de fala. No momento, apenas o modelo paraformer-v2 permite especificar o idioma de reconhecimento.

Text-to-speech (TTS)

O recurso TTS converte automaticamente a saída conversacional de um fluxo de aplicação em fala.

Parâmetro	Descrição
Model settings	Selecione uma conexão de serviço de modelo configurada e um modelo TTS. Atualmente, há suporte para modelos da série CosyVoice.
Voice settings	Escolha a voz para a fala sintetizada. Várias vozes predefinidas estão disponíveis.
Autoplay	Quando ativado, a fala sintetizada é reproduzida automaticamente durante a conversa.

Implantação e chamadas de API

Após implantar o fluxo de aplicação no PAI-EAS, ative a interação por voz por meio de chamadas de API. Para uso geral da API, consulte Implantar um fluxo de aplicação. Esta seção aborda as alterações específicas da API para interação por voz.

Entrada de voz

No corpo da requisição, adicione o campo system.audio_input com a URL do arquivo de áudio (para a estrutura de dados do arquivo, consulte Entrada e Saída do Tipo Arquivo). O sistema converte automaticamente o áudio em texto e preenche o campo de entrada do diálogo.

{
  "question": "",
  "system": {
    "audio_input": {
      "source_uri": "oss://your-bucket.oss-cn-hangzhou.aliyuncs.com/audio/input.wav"
    }
  }
}

Saída de voz

Para recuperar os dados de áudio sintetizados pelo TTS, chame o endpoint <Endpoint>/run. O modo simples não retorna dados de áudio.

Campo	Descrição
audio_data	Fragmento de dados de áudio codificado em Base64. O cliente deve decodificar e concatenar os fragmentos para reprodução.
tts_metadata	Metadados do áudio, incluindo formato (pcm), taxa de amostragem (22050 Hz), número de canais (1) e profundidade de bits (16-bit).

Resposta em streaming

O áudio TTS é retornado por meio do evento TTSOutput no fluxo de eventos SSE:

{
  "event": "TTSOutput",
  "audio_data": "<base64-encoded audio data>",
  "tts_metadata": {
    "format": "pcm",
    "sample_rate": 22050,
    "channels": 1,
    "bit_depth": 16
  }
}

Resposta sem streaming

O áudio TTS é retornado na resposta JSON no campo output.tts_audio:

{
  "output": {
    "answer": "xxx",
    "tts_audio": {
      "audio_data": "<base64-encoded full audio data>",
      "tts_metadata": {
        "format": "pcm",
        "sample_rate": 22050,
        "channels": 1,
        "bit_depth": 16
      }
    }
  }
}

Componentes pré-construídos

Para mais informações, consulte Referência de nós de fluxo de aplicação.

Próximos passos

Após desenvolver e depurar seu fluxo de aplicação, avalie o fluxo de aplicação. Quando ele atender aos seus requisitos de negócios, implante o fluxo de aplicação no PAI-EAS para uso em produção.