O recurso de processamento de dados nas tarefas de sincronização em lote do DataWorks limpa, processa com IA e vetoriza dados diretamente no pipeline de sincronização, o que simplifica sua arquitetura de ETL.
Limitações
Disponível apenas em workspaces com a nova versão do Data Studio ativada.
Apenas grupos de recursos serverless são compatíveis.
Atualmente, o recurso está ativado apenas para alguns canais de sincronização em lote de tabela única.
Ativar o processamento de dados consome recursos de computação adicionais (CUs). Monitore sua cota de recursos.
Acesso à configuração
Na página de configuração de uma tarefa de sincronização em lote, role para baixo até a seção de processamento de dados.
Por padrão, este recurso está desativado, portanto, ative a chave para ativar o módulo de processamento de dados.
Recursos
Depois de ativar o processamento de dados, adicione uma ou mais das seguintes regras de processamento.
1. Substituição de string
Defina regras de substituição para diferentes colunas para padronizar ou limpar seus valores.
Configure no modo assistente
Na Data Processing List, clique em +Add Node e selecione Replace String para adicionar uma regra de substituição. A tabela a seguir descreve os parâmetros.
|
Parâmetro |
Descrição |
|
Name |
Um nome personalizado para a regra de substituição. |
|
Description |
(Opcional) Uma descrição da finalidade da regra. |
|
Column Name |
Clique em +Add Rule para adicionar uma regra de coluna. Selecione uma coluna na lista suspensa de colunas da tabela source para aplicar essa regra. |
|
String to Replace |
Insira a string original a ser substituída. |
|
Replace With |
A nova string de substituição. |
|
|
Ative expressões regulares para o padrão da string a ser substituída. |
|
|
Controla se a substituição diferencia maiúsculas de minúsculas. Por padrão, a pesquisa não diferencia maiúsculas de minúsculas. |
Adicione várias regras para diferentes colunas. Por exemplo, crie uma regra para substituir 'Male' por '1' na coluna gender e outra para substituir 'active' por 'valid' na coluna status.
Visualização de dados de saída
Depois de configurar as regras, clique em Output Data Preview no canto superior direito da seção de processamento de dados.
-
Na caixa de diálogo exibida, configure Input Data. Os dois métodos a seguir são compatíveis:
Auto-fetch: O sistema busca automaticamente os dados da saída do nó upstream. Clique em Re-fetch Upstream Output para atualizar os dados.
Manual construction: Clique em +Manually Construct Data e insira valores personalizados para cada coluna nas linhas de dados, ou teste condições de limite específicas (como
NULLou strings vazias).
Clique em Preview na seção Preview Results.
O sistema executa todas as regras de processamento configuradas e exibe os resultados. Compare-os com suas expectativas e verifique as regras.
Os resultados da visualização servem apenas para depuração e referência. Os resultados finais dependem da execução real da tarefa.
Configure no modo de script
Ative o processamento de dados no modo de script: adicione um JSONObject com "category": "map", "stepType": "stringreplace" ao módulo steps no script JSON. Para saber mais sobre o processo geral de configuração do modo de script, consulte Script mode configuration.
{ "category": "map", "stepType": "stringreplace", "parameter": { "condition": [ { "name": "<Column name to process>", "replaceString": "<String to replace>", "replaceByString": "<New replacement string>", "useRegex": false, "caseSensitive": false } ] }, "displayName": "<Rule name>", "description": "<Rule description>" }
2. Processamento assistido por IA
Use um modelo de linguagem grande (LLM) integrado para processar e enriquecer o conteúdo da coluna.
Principais casos de uso:
Resumo de conteúdo: extraia resumos principais de grandes blocos de texto, como avaliações de product ou artigos de notícias.
Extração de informações: extraia informações essenciais de texto não estruturado, como nomes, endereços e detalhes de contato.
Tradução de texto: traduza o conteúdo da coluna para um idioma especificado.
Análise de sentimento: determine o sentimento do texto (como positivo, negativo ou neutro).
Configure e use: Clique em Add Node e selecione o processamento assistido por IA. Para obter instruções detalhadas de configuração e casos de uso típicos, consulte AI Content Processing.
3. Vetorização de dados
Converta texto ou outros dados em vetores de alta dimensão usando um modelo de embedding. Esses vetores capturam informações semânticas para aplicações de IA, como Geração Aumentada por Recuperação (RAG), pesquisa semântica e sistemas de recomendação.
Principais casos de uso:
Criação de bases de conhecimento: vetorize dados de texto, como documentos, chamados e manuais de product, e armazene-os em um banco de dados vetorial para servir como base de conhecimento externa para LLMs.
Recomendações personalizadas: calcule a similaridade com base em representações vetoriais de usuários e itens para permitir recomendações precisas.
Configure e use: Clique em Add Node, selecione Data Vectorization e, em seguida, selecione as colunas a serem processadas e o modelo de embedding a ser usado. Consulte Vectorization para obter instruções detalhadas de configuração e exemplos práticos.