MaxCompute:Importar dados com o DataWorks

Procedimento

1. Você já criou um projeto do MaxCompute e criou uma tabela para armazenar os dados importados.

2. Você já criou um workspace do DataWorks e associou um recurso de computação do MaxCompute.

3. Importe os dados.

   Importar arquivos locais

   1. Faça login no console do DataWorks e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Data Integration > Data Upload and Download.

   3. Na barra de navegação à esquerda, clique no ícone de upload e clique em Data Upload.

   4. Siga as instruções na tela para carregar seus dados.

      É possível importar arquivos nos formatos CSV, XLS, XLSX e JSON para o MaxCompute usando Local File ou OSS. Limites:

      • Local File: O tamanho máximo de um arquivo CSV é 5 GB. Para outros tipos de arquivo, o limite é 100 MB.

      • OSS: Só é possível carregar dados de um bucket localizado na mesma região do projeto do MaxCompute.

   Carregar dados.

   Para workspaces mais antigos, carregue arquivos CSV locais ou arquivos de texto personalizados por meio do recurso Carregar dados.

   Importar de outras fontes de dados

   1. Faça login no console do DataWorks e selecione uma região no canto superior esquerdo.

   2. No painel de navegação à esquerda, escolha Data Development and O&M > Data Development.

   3. Em Select Workspace, clique em Go to Data Studio.

   4. No lado esquerdo do DataStudio, clique em e selecione Create Node > Data Integration > Batch Synchronization ou Real-time synchronization.

      • Nó de sincronização em lote : Define o MaxCompute como destino dos dados e outras fontes como source.

      • Nó de sincronização em tempo real : Define o MaxCompute como saída e outras fontes como entrada de dados.

      Configurar um nó de sincronização no modo assistente, Configurar um nó de sincronização no modo script e Configurar uma tarefa de sincronização em tempo real (obsoleto).

   5. Retorne ao console do DataWorks.

      No painel de navegação à esquerda, escolha Data Integration > Data Integration.

   6. No painel de navegação à esquerda, selecione Sync Task e clique em Create Synchronization Task. Na caixa de diálogo Create Sync Task exibida, configure as informações da fonte de dados.

      Configurar uma tarefa de sincronização em tempo real para um banco de dados inteiro.

Capacidades de sincronização

O Data Integration sincroniza dados de fontes como bancos de dados RDS para o MaxCompute. As capacidades suportadas variam conforme o cenário.

• A sincronização em lote utiliza plugins Reader e Writer para ler e gravar nas fontes de dados.

  • Cada nó de sincronização em lote pode importar dados de uma ou mais tabelas de source para uma única tabela do MaxCompute.

• A sincronização em tempo real combina múltiplas fontes de dados de entrada e saída em um link de sincronização para replicação incremental em tempo real de uma única tabela ou de um banco de dados inteiro.

• As soluções de sincronização abrangem cenários como sincronização em lote de banco de dados completo e sincronização em tempo real completa e incremental.

A tabela a seguir lista as capacidades suportadas quando o MaxCompute é o destino.

Para obter detalhes sobre as capacidades de sincronização do MaxCompute, consulte Fonte de dados do MaxCompute.

Faturamento

O Data Integration exige grupos de recursos tanto para integração quanto para agendamento. É possível utilizar grupos de recursos compartilhados ou exclusivos. Transferências de dados pela rede pública podem gerar taxas de transferência de dados pela internet.

• Grupos de recursos do Data Integration: Faturamento de grupos de recursos exclusivos por assinatura para o Data Integration e Grupos de recursos compartilhados com pagamento conforme o uso para o Data Integration (para depuração).

• Transferência de dados pela internet: Faturamento de transferência de dados pela internet.

• Grupos de recursos de agendamento: Faturamento de grupos de recursos exclusivos por assinatura para agendamento e Faturamento de grupos de recursos compartilhados para agendamento.

Melhores práticas