Sincronizar tabela do OSS para o MaxCompute | Integração de dados em lote do DataWorks - DataWorks: Central de Documentação do Alibaba Cloud

Este tópico orienta a configuração da fonte de dados, a conectividade de rede e a criação da tarefa de sincronização em lote para carregar dados de uma única tabela do OSS no MaxCompute.

Visão geral do OSS

O Alibaba Cloud OSS oferece durabilidade de dados de 99,9999999999% (doze noves) e disponibilidade de 99,995%, com múltiplas classes de armazenamento para otimização de custos. O Data Integration permite sincronizar dados entre o OSS e outras fontes ou destinos.

Obter informações do bucket do OSS

No console do OSS, localize o bucket de destino e anote os endpoints público e interno na página de visão geral do bucket.

O endpoint público permite acesso pela internet. O tráfego de entrada (escritas) é gratuito; já o tráfego de saída (leituras) gera cobranças.
O endpoint interno conecta produtos da Alibaba Cloud na mesma região sem cobrança de tráfego. Utilize o endpoint interno quando o bucket do OSS e o grupo de recursos do Data Integration estiverem na mesma região; caso contrário, use o endpoint público.
Regions and Endpoints.

Pré-requisitos

Você adquiriu um serverless resource group.
As fontes de dados OSS e MaxCompute estão configuradas. Configure a data source.
A conectividade de rede entre o grupo de recursos e as fontes de dados está estabelecida. Network connectivity configuration.

Limitações

Não há suporte para sincronização de dados de source para tabelas externas do MaxCompute.

Procedimento

Nota

Este tutorial utiliza a interface do usuário do Data Studio (new version).

Etapa 1: Criar um nó e uma tarefa

Crie um nó de sincronização em lote seguindo Codeless UI configuration.

Etapa 2: Configurar a fonte e o destino

Configurar a fonte (OSS)

Configure os seguintes parâmetros da fonte OSS.

Parâmetro	Descrição
File Type	Selecione o tipo de arquivo a ser sincronizado. A interface Codeless suporta leitura de arquivos nos formatos `csv`, `text`, `orc` e `parquet`.
File Path	Insira o caminho do arquivo de source. Um único caminho de objeto utiliza uma thread para extração. Vários caminhos de objetos utilizam múltiplas threads. Ajuste a concorrência conforme necessário. Caracteres curinga correspondem a vários objetos. Por exemplo, `abc*[0-9]` corresponde a `abc0`, `abc1`, `abc2` e `abc3`. Já `abc?.txt` corresponde a arquivos que começam com `abc`, terminam com `.txt` e possuem um caractere entre eles.
Field Delimiter	Delimitador de coluna utilizado no arquivo.
Encoding	Codificação de caracteres para leitura do arquivo de source.
Null String	Não processar: os valores da fonte permanecem inalterados. Caracteres visíveis: insira uma string que represente nulo. Um campo vazio é tratado como uma string vazia. Caracteres invisíveis: insira um código Unicode (`\u001b`, `\u007c`) ou caractere de escape (`\t`). Obrigatório.
Compression Format	Formato de compressão. Suportados: `Gzip`, `Bzip2`, `Zip` ou sem compressão.
Skip Header	Define se a linha de cabeçalho deve ser ignorada em arquivos do tipo CSV. Padrão: cabeçalho incluído. Nota Não há suporte para ignorar o cabeçalho em arquivos compactados.
Table Data Structure	Após configurar os parâmetros da fonte de dados, clique em Confirm Data Structure para verificar o formato dos dados.

Configurar o destino (MaxCompute)

Defina os seguintes parâmetros de destino do MaxCompute.

Nota

Os parâmetros não listados abaixo podem usar os valores padrão.

Parâmetro	Descrição
Tunnel Resource Group	Recurso de transferência de dados do MaxCompute (Tunnel Quota). O padrão é a cota pública gratuita. Se uma Tunnel Quota exclusiva ficar indisponível devido a pagamentos atrasados ou expiração, a tarefa retornará à cota pública.
Table	Selecione a tabela de destino no MaxCompute. Em um workspace padrão, garanta que exista uma tabela com o mesmo nome e esquema tanto nos ambientes de desenvolvimento quanto de produção. Alternativamente, clique em Generate Destination Table Schema para criar automaticamente uma tabela de destino e ajustar o DDL conforme necessário. Nota Considere o seguinte: Se a tabela não existir no ambiente de desenvolvimento, ela não aparecerá na lista de tabelas de destino. Caso a tabela não exista no ambiente de produção, a tarefa publicada falhará. Esquemas inconsistentes entre desenvolvimento e produção podem causar incompatibilidades no mapeamento de colunas e gravações incorretas de dados em tempo de execução.
Partition Information	Valores das colunas de partição para tabelas de destino particionadas. Valor fixo, como `ds=20220101`. Parâmetro de agendamento, como `ds=${bizdate}`, substituído pelos valores reais durante a execução.
Write Method	Limpa os dados existentes ou anexa novos dados à tabela de destino.

Etapa 3: Configurar o mapeamento de campos

Mapeie as colunas entre a fonte e o destino usando Map Fields with the Same Name, Map Fields in the Same Line, Delete All Mappings ou Edit Field Mappings.

Etapa 4: Configurar definições avançadas

Configure opções avançadas como Expected Maximum Concurrency e Policy for Dirty Data Records. Para este tutorial, defina a Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha os padrões para as demais configurações. Codeless UI configuration.

Etapa 5: Configurar e executar a tarefa de depuração

Clique em Run Configuration, defina o Resource Group e os Script Parameters para a execução de depuração e, em seguida, clique em Run para testar a tarefa.
No painel de navegação à esquerda, clique em e depois clique no novo ícone ao lado de Personal Directory para criar um arquivo SQL. Execute a consulta a seguir para verificar os dados da tabela de destino.
Nota
- Antes de executar esta consulta, bind the destination MaxCompute project as a compute engine for DataWorks.
- No editor de arquivos .sql, clique em Run Configuration no lado direito. Especifique o Type da fonte de dados, os Computing Resources e o Resource Group e, então, clique em Run na barra de ferramentas superior.
```
SELECT * FROM <your_maxcompute_table_name> WHERE pt=<your_partition> LIMIT 20;
```

Etapa 6: Configurar o agendamento e publicar a tarefa

No painel direito, clique em Scheduling Settings para definir os parâmetros de scheduling. Em seguida, clique em Publish para publish a tarefa.