Todos os produtos
Search

Este produto

    DataWorks:AI content processing for batch synchronization tasks

    Central de documentação

    DataWorks:AI content processing for batch synchronization tasks

    Última atualização: Sep 17, 2026

    Integre o processamento de modelos de IA ao pipeline do DataWorks Data Integration para analisar, processar e enriquecer dados em tempo real durante a transferência da source para o destino, revelando o valor oculto em dados não estruturados.

    Recursos

    • Público-alvo: Usuários corporativos que necessitam de análise e processamento orientados por IA durante a sincronização de dados para melhorar a qualidade e extrair valor das informações.

    • Integração transparente: O processamento com IA é uma etapa nativa do Data Integration que se conecta perfeitamente à leitura da source e à escrita no destino.

    • Suporte a diversas tarefas de PLN: Execute múltiplas tarefas de processamento de linguagem natural (PLN) em dados textuais durante a sincronização, como análise de sentimentos, geração de resumos, extração de palavras-chave e tradução de textos.

    Casos de uso

    Setor

    Aplicação típica

    Atendimento ao cliente / E-commerce

    Análise em tempo real do sentimento em comentários de usuários e chamados de suporte. Extração automática de problemas centrais e pontos principais de feedback.

    Compliance / Jurídico / Pesquisa científica

    Geração automática de resumos e extração de informações essenciais de documentos de políticas, contratos jurídicos e artigos científicos durante a sincronização.

    Manufatura / Cadeia de suprimentos / Saúde

    Análise inteligente de logs de dispositivos, feedback da cadeia de suprimentos ou registros de comunicação médico-paciente para viabilizar alertas de risco e otimização da qualidade do service.

    Colaboração multilíngue

    Tradução automática de comentários em redes sociais, notícias ou documentos comerciais globais para um único idioma durante a sincronização, facilitando a análise centralizada.

    Pré-requisitos

    • Crie um workspace que utilize o Data Studio (new version).

    • Prepare o service de modelo grande necessário para o processamento de conteúdo com IA. As etapas de preparação variam conforme o provedor do modelo selecionado:

    • Para tarefas de sincronização em lote, configure os detalhes da fonte de dados manualmente ou utilize fontes de dados existentes.

    • Verifique se o workspace está vinculado a um grupo de recursos e se o grupo consegue se conectar às fontes de dados.

    Faturamento

    Além dos custos padrão do Data Integration, as tarefas de processamento de conteúdo com IA geram despesas pela invocação do modelo grande:

    Exemplo

    Este exemplo sincroniza dados entre duas tabelas Hologres, traduzindo a coluna feedback_info para inglês e gravando o resultado na tabela de destino.

    Preparar dados da tabela de source

    CREATE TABLE customer_feedback (
    id BIGINT PRIMARY KEY,
    device STRING,
    feedback_info STRING,
    pt INT
)
PARTITIONED BY (pt)
DISTRIBUTED BY HASH(id)
WITH (table_type='Duplication');
INSERT INTO customer_feedback (id, device, feedback_info, pt)
VALUES
(8, 'Huawei MateBook D14', 'Affordable, suitable for students, performance is adequate', 2020),
(1, 'iphone', 'This product is okay, I have used it for 1 year', 2013),
(10, 'Bose QuietComfort 35 II', 'A classic among noise-canceling headphones, maximum comfort', 2021);

    Etapa 1: Criar uma tarefa de sincronização em lote

    1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace correspondente e escolha Shortcuts > Data Studio na coluna Actions.

    2. No painel de navegação à esquerda, clique em image para acessar a página de desenvolvimento de dados. À direita de Project Directory, clique em image e escolha Create Node > Data Integration > Batch Synchronization. A caixa de diálogo Create Node será exibida.

    3. Defina o Path, o Data source destination e o Name do nó. Em seguida, clique em OK para criar o nó de sincronização em lote.

      Este tópico utiliza uma tarefa de sincronização Hologres-para-Hologres como exemplo para demonstrar o recurso de processamento de conteúdo com IA em tarefas de sincronização em lote.

    Etapa 2: Configurar a tarefa de sincronização

    Após criar o nó de sincronização em lote, o editor de tarefas será aberto. Configure os seguintes parâmetros:

    1. Fonte de dados

    Configure as fontes de dados de source e de destino.

    • Type: Os tipos de fonte de dados de source e de destino são selecionados na etapa Criar uma tarefa de sincronização em lote. Esses tipos não podem ser alterados. Para utilizar tipos diferentes, crie uma nova tarefa de sincronização em lote.

    • Data Source: Selecione a fonte de dados Hologres vinculada ao workspace ou escolha Add Data Source na lista suspensa.

    2. Recurso de execução

    1. Selecione o Resource Group para a tarefa de sincronização. Caso utilize um grupo de recursos serverless, também é possível especificar o Resource Usage (CU) da tarefa.

    2. Ao selecionar um Resource Group, o Data Integration testa automaticamente a conectividade entre o grupo de recursos e as fontes de dados de source e de destino. Também é possível clicar em Connectivity Check para realizar o teste manualmente.

    3. Source

    Configure os detalhes da tabela de source para sincronização, incluindo Schema, Tables, Partition e condições de Data Filtering. Clique em Data Preview para visualizar os dados específicos a serem sincronizados.

    Neste exemplo, selecione public para Schema e customer_feedback para Table.

    4. Processamento de dados

    1. Na seção Data processing, Enable o recurso de processamento de dados. Esse recurso exige recursos computacionais adicionais e aumenta o consumo de recursos da tarefa.

    2. Clique em Add Node e selecione AI content processing.

    3. Configure os parâmetros de processamento de conteúdo com IA.

      Os principais parâmetros estão descritos abaixo.

      Parâmetro

      Descrição

      Model Provider

      Fornecido pelo Alibaba Cloud Bailian Model Service.

      Model Name

      Modelo responsável pelo processamento inteligente dos dados. Escolha o modelo conforme sua necessidade. Nota: Modelos diferentes geram custos distintos. Para mais detalhes, consulte: Data Agent fees.

      Processing Description

      Descreva a operação sobre o campo de source em linguagem natural. Referencie o nome do campo usando o formato #{column_name}. Por exemplo, neste caso, insira Please translate '#{feedback_info}' into English.

      Output Field

      Insira o nome do campo onde o resultado será armazenado. Se o campo não existir, um novo campo será criado.
      Nota

      Conforme configurado neste exemplo, o campo feedback_info da tabela de source é traduzido para inglês e armazenado no campo feedback_processed.

    4. Clique em Output Preview no canto superior direito da seção de processamento de conteúdo com IA para visualizar os dados finais de saída.

    5. (Opcional) Configure várias etapas de processamento de dados para execução sequencial.

      Abaixo da lista de processamento de dados, clique no botão + para adicionar uma nova etapa.

    5. Destino

    1. Configure as informações da tabela de destino, como Schema, Table Name e Partition.

      • Clique em Generate Target Table Schema para criar rapidamente a tabela de destino.

      • Caso já exista uma tabela para receber os dados no destino, selecione-a diretamente.

    2. Configure o Write Mode e a Write Conflict Policy.

      Selecione public para Schema e customer_feedback_after_translate para Table. Defina o write mode como SQL(INSERT INTO), a write conflict strategy como Ignore e a opção Clear Hologres table before synchronization como Do not clear destination table (false). Defina o maximum connections como 9.

    3. Configure se os dados existentes na tabela Hologres devem ser limpos antes da sincronização.

    4. (Opcional) Configure as Maximum Connections.

      A configuração de Maximum Connections só tem efeito quando o modo de escrita é SQL(INSERT INTO). Ao iniciar a tarefa, verifique se a instância Hologres possui conexões ociosas suficientes. Uma única tarefa pode utilizar até nove conexões.

    6. Mapeamento de campos de destino

    Após configurar a fonte de dados, o processamento de dados e o destino, esta seção exibe o mapeamento de campos. Por padrão, o Data Integration mapeia os campos por nome e posição. Para ajustar um mapeamento (por exemplo, mapear feedback_processed para translate_feedback), clique nos campos correspondentes para conectá-los.

    Nota

    Neste exemplo, além dos mapeamentos por nome dos campos existentes na tabela de source (id, device, feedback_info e pt), você deve mapear manualmente o campo feedback_processed, que armazena o resultado traduzido, ao campo translate_feedback na tabela de destino.

    Etapa 3: Depurar a tarefa

    1. No painel direito do editor de tarefas, clique em Run Configuration. Configure o Resource Group e os Script Parameters relacionados para depurar este nó.

    2. Na barra de ferramentas superior do nó, clique em Save e depois em Running. Aguarde a conclusão da tarefa e verifique se a execução foi bem-sucedida. Acesse o banco de dados de destino para confirmar se os dados da tabela estão conforme o esperado.

    Etapa 4: Configurar agendamento

    Para executar o nó de sincronização em lote periodicamente, configure a Scheduling Policy no painel Scheduling Settings à direita. Para mais informações, consulte Configure node scheduling properties.

    Etapa 5: Publicar o nó

    Clique no ícone Publish na barra de ferramentas do nó para iniciar o processo de publicação e publicar a tarefa no ambiente de produção. A tarefa só será executada conforme o agendamento após a publicação.

    Próximas etapas: O&M da tarefa

    Após publicar o nó, clique em Backfill Data ou Perform O&M na caixa de diálogo de publicação.

    • Backfill Data: Esta opção suporta backfill de dados apenas para o nó atual. Para operações de backfill mais complexas, acesse o Operation Center. Para mais informações, consulte Manage data backfill instances.

    • Perform O&M: Após a publicação de uma tarefa, o Operation Center passa a gerenciá-la automaticamente. No Operation Center, visualize o status de execução da tarefa ou acione-a manualmente. Para mais informações, consulte Operation Center.