Use Timeline to produce a video after intelligent processing - Intelligent Media Services: Central de Documentação do Alibaba Cloud

Modifique o parâmetro Timeline da operação SubmitMediaProducingJob para gerar um vídeo com resultados de processamento inteligente, como conversão de fala em texto, síntese de voz e recorte de fundo.

Observações de uso

A produção inteligente oferece suporte a edição, composição, renderização de efeitos e modelos para transmissões ao vivo, arquivos VOD e materiais do Object Storage Service (OSS). Para mais informações, consulte Visão geral da produção inteligente.
Produza vídeos a partir de um ou mais arquivos de vídeo, áudio, imagem e legendas configurando os parâmetros da Timeline e chamando a operação SubmitMediaProducingJob.
Ao adicionar materiais e configurar efeitos para criar um vídeo, o sistema gera uma timeline composta por faixas, materiais e efeitos. Para mais detalhes, consulte Configurações da Timeline.
Para editar arquivos de áudio e vídeo com o IMS SDK, consulte Primeiros passos.

Uso do AI_ASR para converter fala em texto e integrar legendas ao vídeo

Defina "Type" como "AI_ASR" para converter a fala de áudios ou vídeos em texto. Também é possível personalizar estilos de legenda, como fonte e cor.

Nota

O serviço de conversão de fala em texto está disponível apenas nas regiões China (Shanghai), China (Beijing), China (Hangzhou) e China (Shenzhen).

Efeito

Exemplo de Timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h5.mp4",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 910,
        "Outline": 10,
        "OutlineColour": "#ffffff",
        "FontSize": 60,
        "FontColor": "#000079",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }]
    }]
  }]
}

Conversão de texto em fala com AI_TTS e integração ao vídeo

Defina "Type" como "AI_TTS" para sintetizar voz a partir de texto. Esse recurso pode ser combinado com o AI_ASR. O parâmetro Content especifica o texto a converter, e você pode configurar propriedades da fala como Voice, SpeechRate, PitchRate e Format.

Nota

Os serviços de conversão de texto em fala e de fala em texto estão disponíveis apenas nas regiões China (Shanghai), China (Beijing) e China (Hangzhou).
Por padrão, o AI_TTS segmenta frases com base na pontuação chinesa, como vírgulas e pontos finais. Desenvolvedores podem controlar o estilo das legendas e o modo de quebra de linha de cada segmento.

Efeito

Exemplo de Timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h3.mp4",
      "Effects": [{
        "Type":"Volume",
        "Gain":0
      }]
    }]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Content": "Do you not see the Yellow River come from the sky, rushing into the sea and never come back? Do you not see the mirrors bright in chambers high, grieve over your snow-white hair though once it was silk-black?",
      "Voice": "sicheng",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 900,
        "FontSize": 80,
        "FontColor": "#ffffff",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      },{
        "Type":"Volume",
        "Gain":2
      }]
    }]
  }]
}

Controle de ritmo e pronúncia via SSML no AI_TTS

O campo Content no AI_TTS aceita a Linguagem de Marcação de Síntese de Fala (SSML). Use SSML para corrigir a pronúncia de termos técnicos, inserir pausas e adicionar efeitos sonoros emocionais .

Efeito

Exemplo de Timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image1.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image2.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }, {
      "Type": "Image",
      "MediaURL": "https://your-bucket***.oss-cn-shanghai.aliyuncs.com/your-image3.jpg",
      "Duration": 3,
      "Effects": [{
          "Radius": 0,1,
          "Type": "Background",
          "SubType": "Blur"
        },
        {
          "Type": "Transition",
          "SubType": "windowslice",
          "Duration": 0,3
        }
      ]
    }]
  }],
  "AudioTracks": [{
    "MainTrack": true,
    "AudioTrackClips": [{
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "PU line, short for Polyurethane line, is a molding made from synthetic PU materials. PU stands for polyurethane, and the molding is made from rigid PU foam.",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }, {
      "Type": "AI_TTS",
      "Voice": "zhichu",
      "Content": "<speak><sub alias=\"Pee You\">PU</sub> line, short for Polyurethane line, is a molding made from synthetic <sub alias=\"Pee You\">PU</sub> materials. PU stands for polyurethane, and the molding is made from rigid <sub alias=\"Pee You\">PU</sub> foam.</speak>",
      "Effects": [{
        "Type": "AI_ASR",
        "Font": "AlibabaPuHuiTi",
        "Alignment": "TopCenter",
        "Y": 1000,
        "FontSize": 50,
        "FontColor": "#ffffff",
        "AdaptMode": "AutoWrap",
        "Outline": 1,
        "OutlineColour": "#0e0100",
        "FontFace": {
          "Bold": true,
          "Italic": false,
          "Underline": false
        }
      }, {
        "Type": "Volume",
        "Gain": 1
      }]
    }]
  }],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "Standard AI_TTS: The pronunciation of the technical term \"PU\" is inaccurate.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#990000",
      "AaiMotionLoopEffect1": "slingshot_in",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 0,
      "TimelineOut": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }, {
      "Type": "Text",
      "X": 0,
      "Y": 200,
      "Font": "AlibabaPuHuiTi",
      "Content": "AI_TTS with SSML tags: The pronunciation of the technical term \"PU\" is corrected.",
      "Alignment": "TopCenter",
      "FontSize": 70,
      "FontColorOpacity": 1,
      "FontColor": "#006633",
      "Outline": 1,
      "OutlineColour": "#ffffff",
      "TimelineIn": 13,
      "AdaptMode": "AutoWrap",
      "FontFace": {
        "Bold": true,
        "Italic": false,
        "Underline": false
      }
    }]
  }]
}

AI_Matting: Recorte de tela verde

Defina "Type" como "AI_Matting" para extrair um objeto de um fundo verde e sobrepô-lo a um vídeo ou imagem de fundo específico.

Nota

O serviço de recorte de tela verde está disponível apenas nas regiões China (Hangzhou), China (Shanghai) e China (Beijing).

Efeito

Exemplo de Timeline

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/background_v2.jpg",
      "Type": "GlobalImage",
      "Width": 1,
      "Height": 1,
      "AdaptMode": "Cover"
    }]
  }, {
    "VideoTrackClips": [{
      "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/green-matting-1.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "green",
        "Auto": 1,
        "Thres": 10
      }]
    }]
  }]
}

AI_RealMatting: Substituição de fundo

Defina "Type" como "AI_RealMatting" para extrair uma pessoa de qualquer cenário real e sobrepô-la a um vídeo ou imagem de fundo personalizado.

Nota

O serviço de substituição de fundo está disponível apenas nas regiões China (Hangzhou), China (Shanghai) e China (Beijing).

Efeito

Exemplo de Timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/image/03.jpg",
          "Type": "GlobalImage",
          "Width": 0,5,
          "Height": 1,
          "X": 0,5,
          "Y": 0,
          "AdaptMode": "Cover"
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0,5,
          "Height": 1,
          "AdaptMode": "Cover",
          "X": 0,5,
          "Effects": [
            {
              "Type": "AI_RealMatting",
              "Thres": 8
            },
            {
              "Type": "Crop",
              "X": 0,25,
              "Height": 1,
              "Width": 0,5
            },
            {
              "Type": "Text"
            }
          ]
        }
      ]
    },
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h6.mov",
          "In": 0,
          "Out": 10,
          "Width": 0,5,
          "Height": 1,
          "AdaptMode": "Cover",
          "Effects": [
            {
              "Type": "Crop",
              "X": 0,25,
              "Height": 1,
              "Width": 0,5
            },
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ]
}

Destaque automático de conteúdo relevante em legendas com AI_ASR

Defina "NeedHighlighting": true no Effect do AI_ASR e configure o estilo de destaque para enfatizar automaticamente trechos importantes nas legendas reconhecidas.

Efeito

Exemplo de Timeline

{
  "VideoTracks": [
    {
      "VideoTrackClips": [
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h4.mp4",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 60,
              "FontColor": "#FFFFFF",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              },
              "SubtitleEffects": [
                {
                  "Type": "Box",
                  "Color": "000000",
                  "Opacity": "0.9",
                  "XBord": 30,
                  "YBord": 20
                }
              ]
            }
          ]
        },
        {
          "MediaURL": "https://ice-document-materials.oss-cn-shanghai.aliyuncs.com/test_media/h1.png",
          "Type": "Image",
          "Duration": 12,31,
          "ClipId": "image",
          "Effects": [
            {
              "Type": "Volume",
              "Gain": 0
            }
          ]
        }
      ]
    }
  ],
  "AudioTracks": [
    {
      "AudioTrackClips": [
        {
          "Type": "AI_TTS",
          "Content": "Alibaba Cloud Intelligent Media Services (IMS) is a one-stop service for live streaming and video-on-demand scenarios. It provides capabilities for media ingestion, asset management, content production, and distribution.",
          "ReferenceClipId": "image",
          "Voice": "sicheng",
          "Effects": [
            {
              "Type": "AI_ASR",
              "Font": "AlibabaPuHuiTi",
              "Alignment": "TopCenter",
              "Y": 820,
              "FontSize": 80,
              "FontColor": "#ffffff",
              "FontFace": {
                "Bold": true,
                "Italic": false,
                "Underline": false
              },
              "TextWidth": "0.8",
              "AdaptMode": "AutoWrap",
              "NeedHighlighting": true,
              "HighlightingStyle": {
                "FontColor": "F6DD14",
                "OutlineColour": "873600",
                "Outline": 4
              }
            },
            {
              "Type": "Volume",
              "Gain": 2
            }
          ]
        }
      ]
    }
  ]
}

Intelligent Media Services:Produce a video after intelligent data processing

Observações de uso

Uso do AI_ASR para converter fala em texto e integrar legendas ao vídeo

Conversão de texto em fala com AI_TTS e integração ao vídeo

Controle de ritmo e pronúncia via SSML no AI_TTS

AI_Matting: Recorte de tela verde

AI_RealMatting: Substituição de fundo

Destaque automático de conteúdo relevante em legendas com AI_ASR

Referências