MaxCompute:Importar dados com o DataWorks

Procedimento

1. Certifique-se de ter crie um projeto MaxCompute e crie uma tabela para armazenar os dados importados.

2. Verifique se você já crie um workspace do DataWorks e associated a MaxCompute compute resource.

3. Importe os dados.

   Importar arquivos locais

   1. Faça login no console do DataWorks e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Data Integration > Data Upload and Download.

   3. Na barra de navegação à esquerda, clique no ícone de upload e clique em Data Upload.

   4. Siga as instruções na tela para fazer o upload dos dados.

      É possível importar arquivos CSV, XLS, XLSX e JSON para o MaxCompute usando Local File ou OSS. Limites:

      • Local File: O tamanho máximo de um arquivo CSV é 5 GB. Para outros tipos de arquivo, o limite é 100 MB.

      • OSS: Só é possível fazer upload de dados de um bucket localizado na mesma região do projeto MaxCompute.

   Upload data.

   Para workspaces mais antigos, faça o upload de arquivos CSV locais ou de texto personalizado por meio do recurso Upload data.

   Importar de outras fontes de dados

   1. Faça login no console do DataWorks e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Data Development and O&M > Data Development.

   3. Em Select Workspace, clique em Acesse o Data Studio.

   4. No lado esquerdo do DataStudio, clique em e selecione Create Node > Data Integration > Batch Synchronization ou Real-time synchronization.

      • Nó de sincronização em lote : Define o MaxCompute como destino dos dados e outras fontes como source.

      • Nó de sincronização em tempo real : Define o MaxCompute como saída e outras fontes de dados como entrada.

      Configure a synchronization node in wizard mode, Configure a synchronization node in script mode e Configure a real-time synchronization task (obsolete).

   5. Retorne ao console do DataWorks.

      No painel de navegação à esquerda, escolha Data Integration > Data Integration.

   6. No painel de navegação à esquerda, selecione Sync Task e clique em Crie uma tarefa de sincronização. Na caixa de diálogo Create Sync Task, configure as informações da fonte de dados.

      Configure a real-time synchronization task for an entire database.

Capacidades de sincronização

O Data Integration sincroniza dados de diversas fontes, como bancos de dados RDS, para o MaxCompute. As capacidades variam conforme o cenário de sincronização.

• A sincronização em lote utiliza plugins Reader e Writer para ler e gravar nas fontes de dados.

  • Cada nó de sincronização em lote pode importar dados de uma ou mais tabelas de source para uma única tabela do MaxCompute.

• A sincronização em tempo real combina múltiplas fontes de dados de entrada e saída em um link de sincronização para replicação incremental em tempo real de uma única tabela ou de um banco de dados inteiro.

• As soluções de sincronização abrangem cenários como sincronização em lote de banco de dados completo e sincronização em tempo real completa e incremental.

A tabela a seguir lista as capacidades suportadas quando o MaxCompute é usado como destino.

Para obter mais informações sobre as capacidades de sincronização do MaxCompute, consulte MaxCompute data source.

Faturamento

O Data Integration requer grupos de recursos para integração e agendamento de dados. Estão disponíveis grupos de recursos compartilhados e exclusivos. Transferências de dados pela rede pública podem gerar taxas de transferência de dados pela internet.

• Grupos de recursos do Data Integration: Billing of subscription exclusive resource groups for Data Integration e Pay-as-you-go shared resource groups for Data Integration (for debugging).

• Transferência de dados pela internet: Internet data transfer billing.

• Grupos de recursos de agendamento: Billing of subscription exclusive resource groups for scheduling e Billing of shared resource groups for scheduling.

Melhores práticas