Extração inteligente de destaques - Intelligent Media Services: Central de Documentação do Alibaba Cloud

Envie trabalhos de extração de destaques com SubmitHighlightExtractionJob e recupere os resultados com GetSmartHandleJob.

Importante

Nesta API, a região especificada na URL do OSS de todos os ativos de mídia deve ser a mesma do endpoint do serviço OpenAPI.
Regiões com suporte: China (Xangai), China (Pequim), China (Hangzhou), China (Shenzhen), EUA (Vale do Silício), Singapura. A funcionalidade de detecção de ações (correspondente a Strategy.EnableActionRecog e Strategy.CustomActions) está disponível apenas na região China (Xangai).
Os vídeos devem conter legendas ou vozes humanas. Materiais sem nenhum dos dois não são suportados.

APIs relacionadas

Para enviar um trabalho de extração de destaques, consulte SubmitHighlightExtractionJob. Os principais parâmetros (InputConfig e OutputConfig) são descritos abaixo.
Para obter detalhes sobre um trabalho de extração de destaques, consulte GetSmartHandleJob. Os parâmetros de resultado (AiResult) são descritos abaixo.

InputConfig

Configure o InputConfig para especificar os materiais de vídeo e a estratégia de extração de destaques.

Parâmetro	Tipo	Descrição	Obrigatório
MediaArray	List<Media>	Os materiais de vídeo. Especifique uma lista de IDs de ativos de mídia ou URLs do OSS. A duração total do vídeo pode ser de até duas horas, e o número máximo de vídeos é 30. Para os formatos com suporte, consulte Formatos de vídeo.	Sim
Strategy	Strategy	A estratégia de extração de destaques.	Não

Strategy

Parâmetro	Tipo	Descrição	Obrigatório
Count	Integer	O número de clipes de destaque a extrair de um único ativo. Valor válido: [1, 10]. Valor padrão: 5.	Não
ClipDuration	Float	Duração esperada de cada clipe de destaque em segundos. Valores válidos: [3, 60]. Valor padrão: 15. A duração real de cada destaque pode variar ligeiramente em relação a esse valor.	Não
EnableActionRecog	Boolean	Especifica se a detecção de ações deve ser ativada. Valor padrão: false. Nota A detecção de ações é suportada apenas na região China (Xangai).	Não
CustomActions	List<String>	Tags de ações personalizadas, mapeadas de acordo com os nomes de tags de entrada. Por exemplo: ["Fight","Cry"]. O número máximo de tags é 50, com cada uma contendo no máximo 5 caracteres. Nota A detecção de ações é suportada apenas na região China (Xangai).	Não
HighlightDescription	String	Uma descrição da estratégia de extração de destaques. Entra em vigor somente quando ThemeConfig.ThemeType está definido como SmoothHighlight. Exemplo: Priorize cenas com forte expressão emocional, alto contraste, conflito de enredo concentrado e tensão dramática, como o protagonista expressando raiva por meio de ações, criando tensão por meio do contraste de identidade/comportamento, focando em conflitos centrais e incluindo diálogos ou reviravoltas bizarras para aumentar o engajamento e gerar repercussão.	Não
FaceInfo	FaceInfo	Identifica personagens por reconhecimento facial para destacar pessoas específicas com maior proeminência nos clipes de destaque.	Não

FaceInfo

Parâmetro	Tipo	Descrição	Obrigatório
ImageInfoList	List<ImageInfo>	Uma lista de fotos de personagens (rostos). Máximo de 200 imagens.	Não

ImageInfo

Parâmetro	Tipo	Descrição	Exemplo	Obrigatório
Name	String	O nome do personagem (rosto).	Daniel	Sim
ImageURL	String	A URL da foto do personagem, que deve ser acessível publicamente. Certifique-se de que cada imagem contenha apenas um indivíduo e que o rosto esteja nítido, sem oclusão significativa ou partes ausentes.	http://[your-cdn-domain]/[your-file-path]/face1.png	Sim (escolha um: ImageURL ou ImageId).
ImageId	String	O ID do ativo de imagem.	**9d46c886b45481030f6e**	Sim (escolha um: ImageURL ou ImageId).

Media

Parâmetro	Tipo	Descrição	Obrigatório
MediaId	String	O ID do ativo de mídia.	Sim (escolha um: MediaId ou MediaURL). MediaId tem prioridade se ambos forem fornecidos.
MediaURL	String	A URL do OSS para o arquivo de mídia.

Exemplo de parâmetro

{
  "MediaArray": [
    {
      "MediaId": "1cb94770da*******75e6e6c5486302"
    }
  ],
  "Strategy": {
    "Count": 5,
    "ClipDuration": 15,
    "EnableActionRecog": true,
    "CustomActions":  ["Fight","Cry"],
    "HighlightDescription":"Prioritize scenes with strong emotional expression, high contrast, concentrated plot conflict, and dramatic tension, such as the male lead expressing anger through actions, creating tension through identity/behavior contrast, focusing on core conflicts, and including bizarre dialogue or plot twists to enhance engagement and create buzz.",
    "FaceInfo":{"ImageInfoList":[{"Name":"Daniel","ImageURL":"http://[your-cdn-domain]/[your-file-path]/face1.png"}]}
  }
}

OutputConfig

Configure o OutputConfig para especificar as configurações de saída, como o local de armazenamento e a nomenclatura dos vídeos de saída.

Parâmetro	Tipo	Descrição	Obrigatório	Exemplo
NeedExport	Boolean	Especifica se os clipes devem ser exportados diretamente. Valores válidos: true: retorna os clipes de destaque extraídos. false (padrão): apenas os intervalos de tempo dos clipes de destaque são retornados.	Não	false
OutputMediaTarget	String	Obrigatório quando NeedExport está definido como true. Valor válido: oss-object (padrão): salva as saídas como objetos em buckets do OSS.	Não.	oss-object
Endpoint	String	O endpoint compatível com o protocolo S3. Para o OSS, a região deve corresponder à região do serviço. O padrão é o endpoint do OSS na mesma região.	Não	https://oss-cn-shanghai.aliyuncs.com
Bucket	String	Obrigatório quando NeedExport está definido como true. Especifique seu bucket do OSS, compatível com o protocolo S3.	Não	your bucket
ObjectKey	String	Obrigatório quando NeedExport está definido como true. A nomenclatura para os objetos do OSS. Placeholder com suporte: {index}: deve ser incluído no caminho do objeto.	Não	dir/to/testOutput_{index}.mp4
ExportAsNewMedia	Boolean	Opcional quando NeedExport está definido como true. Especifica se a saída deve ser como novos ativos de mídia. Com suporte somente quando OutputMediaTarget está definido como oss-object.	Não. Valor padrão: false.	false
Width	Integer	Opcional quando NeedExport está definido como true. A largura do vídeo de saída em pixels. Se não for especificada, será a mesma do vídeo de origem.	Não	1280
Height	Integer	Opcional quando NeedExport está definido como true. A altura do vídeo de saída em pixels. Se não for especificada, será a mesma do vídeo de origem.	Não	720
Video	JSONObject	Opcional quando NeedExport está definido como true. A configuração de stream do vídeo de saída, como CRF e codec.	Não	{ "Bitrate": 3000 }

Exemplo de parâmetro

 {
    "NeedExport": true,
    "OutputMediaTarget": "oss-object",
    "Endpoint": "https://oss-cn-shanghai.aliyuncs.com"
    "Bucket": "your-bucket",
    "ObjectKey": "dir/to/testOutput_{index}.mp4",
    "ExportAsNewMedia": false,
    "Width": 1280,
    "Height": 720,
    "Video": {
      "Bitrate": 3000
    }
  }

GetSmartHandleJob

Recupere os resultados de extração de destaques com GetSmartHandleJob. Os parâmetros de resposta AiResult estão listados abaixo.

AiResult

{
  "HighlightResults": [
    {
      "Media": "MediaId1", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 20,
          "Out": 30,
          "Tags": ["Fight","Cry"], // Detected action tags.
          "OutputURL": "http://your bucket.oss-cn-shanghai.aliyuncs.com/output_0.mp4", // Only returned when needExport is set to true.
          "MediaId": "MediaId11", // Only returned when ExportAsNewMedia is set to true.
        }
      ]
    },
    {
      "Media": "MediaId2", //If URL was specified in InputConfig, then URL will be returned here.
      "TimeRanges": [
        {
          "In": 2,
          "Out": 10,
          "Tags": ["Run","Shout"],
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_1.mp4" // Only returned when needExport is set to true.
        },
        {
          "In": 40,
          "Out": 50,
          "OutputURL": "http://your bucket.oss-cn-******.aliyuncs.com/output_2.mp4" // Only returned when needExport is set to true.
        }
      ]
    }
  ]
}