O console do MaxCompute oferece o recurso Data Upload para carregamento offline (não em tempo real) de dados de arquivos locais ou do Alibaba Cloud OSS para o MaxCompute. Esse recurso permite analisar, processar e gerenciar seus dados no ambiente do MaxCompute.
Limitações
-
É possível carregar dados apenas de um arquivo local ou do Alibaba Cloud OSS.
-
Arquivo local: Carregue dados de arquivos CSV ou XLSX.
Formato CSV: O tamanho máximo do arquivo é de 5 GB.
Formato XLSX: O tamanho máximo do arquivo é de 100 MB.
Alibaba Cloud OSS: Aceita apenas arquivos CSV para upload. O tamanho máximo do arquivo é de 5 GB. O bucket de origem deve estar na mesma região do seu projeto do MaxCompute.
-
Não é permitido carregar dados em tabelas (existentes ou novas) com esquema personalizado. Para mais informações sobre esquemas personalizados, consulte Schema operations.
Pré-requisitos
-
Crie um projeto do MaxCompute para armazenar os dados carregados e obtenha as permissões necessárias. Por exemplo:
Para carregar dados em uma tabela existente, são necessárias permissões de gravação nessa tabela.
Para carregar dados em uma nova tabela, são necessárias permissões para criar tabelas no projeto.
Para mais informações sobre como criar um projeto do MaxCompute, consulte Project management. Para detalhes sobre como conceder permissões, consulte Permissions overview.
-
Para uploads a partir do Alibaba Cloud OSS, aplique os seguintes requisitos:
Ative o Alibaba Cloud OSS, crie um bucket e carregue seus dados nele. Para mais informações, consulte Create buckets e Upload files.
A conta Alibaba Cloud usada para o upload deve ter as permissões necessárias para acessar o bucket de destino. Para mais informações, consulte Overview of permissions and access control.
Procedimento
Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, selecione Data Transfer > Data Upload para acessar a página Data Upload.
-
Na página Data Upload, configure os parâmetros conforme descrito na Tabela 1. Parâmetros de upload.
Tabela 1. Parâmetros de upload de dados
Seção
Parâmetro
Descrição
Fonte de dados
Arquivo local
Carrega dados de um arquivo na máquina local.
É possível carregar apenas um arquivo CSV ou XLSX por vez.
Arquivo CSV: Tamanho máximo de 5 GB. Os dados devem ser separados por vírgulas (,).
Arquivo XLSX: Tamanho máximo de 100 MB. Por padrão, apenas os dados da primeira planilha são carregados. Dados em outras planilhas são ignorados.
Alibaba Cloud OSS
Carrega dados de um arquivo CSV armazenado em um bucket do Alibaba Cloud OSS.
Selecione apenas um arquivo CSV em um bucket localizado na região atual. O tamanho máximo para um único upload é de 5 GB. Se não houver nenhum bucket acessível, crie um. Para mais informações, consulte Create buckets.
NotaSe seus dados excederem 5 GB, divida-os em arquivos menores antes do upload. Caso contrário, o upload falhará.
Especificar dados para upload
Selecionar bucket
Se você definir Data Source como Alibaba Cloud OSS, selecione o bucket do OSS que contém o arquivo de origem.
Selecionar arquivo
Escolha o arquivo CSV ou XLSX de origem.
Remover dados inconsistentes
Define se dados inconsistentes devem ser filtrados durante o upload. Dados inconsistentes referem-se a registros cujo tipo de dado não corresponde ao tipo da coluna correspondente na tabela de destino do MaxCompute.
NotaPor exemplo, um registro é considerado inconsistente se uma coluna de origem contiver uma string com letras, mas a coluna correspondente na tabela de destino for do tipo BIGINT. Se você optar por remover dados inconsistentes, esse registro não será carregado.
-
Yes: Remove registros com incompatibilidade de tipos de dados.
-
No: Tenta carregar todos os dados. Ao selecionar esta opção, incompatibilidades de tipo podem causar falha no upload.
Configurar tabela de destino
Nome do projeto MaxCompute
Projeto do MaxCompute de destino.
Tabela de destino
Indique se o upload será feito para uma tabela existente ou nova.
-
Existing Table: Para detalhes dos parâmetros, consulte a Tabela 2. Upload de dados para uma tabela existente.
-
Create Table: Para detalhes dos parâmetros, consulte a Tabela 3. Upload de dados para uma nova tabela.
Tabela 2. Parâmetros para uma tabela existente
Parâmetro
Descrição
Selecionar tabela de destino
Escolha a tabela do MaxCompute de destino na lista suspensa ou pesquise por palavra-chave.
Método de upload
Define como adicionar dados à tabela de destino com base nos mapeamentos de colunas configurados.
-
Clear Table Data First: Limpa todos os dados existentes na tabela de destino e insere os novos dados em seguida.
-
Append: Adiciona os novos dados à tabela de destino, preservando os dados existentes.
NotaPara informações sobre como configurar mapeamentos de colunas, consulte a Etapa 4.
Tabela 3. Parâmetros para uma nova tabela
Parâmetro
Descrição
Nome da tabela
Especifique um nome para a nova tabela.
Tipo de tabela
Selecione Non-partitioned Table ou Partitioned Table. Caso escolha uma tabela particionada, especifique as colunas de partição e seus valores.
lifecycle
Defina o ciclo de vida da tabela em dias. A tabela é excluída automaticamente após o término desse período. Para mais informações, consulte Lifecycle e Lifecycle operations.
-
Visualize os dados de origem e configure os mapeamentos de colunas.
Após selecionar o arquivo de origem e a tabela de destino, visualize os dados e configure os mapeamentos de colunas. O upload só ocorre quando os mapeamentos estiverem configurados corretamente.
NotaA visualização é limitada às primeiras 20 linhas de dados.
Seção
Parâmetro
Descrição
Visualização de dados do arquivo de upload
Codificação do arquivo
Se os caracteres na visualização aparecerem ilegíveis, selecione uma codificação diferente. As codificações suportadas são UTF-8, GB18030 e Big5.
Mapear por nome da coluna
Mapeia colunas de origem para colunas de destino com base na correspondência de nomes.
Mapear por ordem
Mapeia colunas de origem para colunas de destino seguindo a ordem em que aparecem no arquivo.
Ignorar primeira linha
Define se a primeira linha do arquivo de origem deve ser ignorada; geralmente ela contém os cabeçalhos das colunas.
Selecionado: A primeira linha não é carregada.
Desmarcado: A primeira linha é carregada como um registro de dados.
-
Clique em Upload Data para iniciar o upload.
ImportanteSe uma coluna de origem não estiver mapeada para uma coluna de destino, seus dados aparecerão esmaecidos na visualização e não serão carregados.
Cada coluna de origem pode ser mapeada para apenas uma coluna de destino. Mapeamentos duplicados não são permitidos.
Ao criar uma nova tabela, especifique um nome e um tipo de dado para cada coluna.
Visualização de registros de upload
Uploads de grandes conjuntos de dados podem levar algum tempo. O processo ocorre em segundo plano, permitindo que você navegue para outras páginas. Para verificar o status e os detalhes, clique em Data Upload no canto superior direito da página View Upload Records.
Os detalhes dos registros encontrados via View Upload Records nesta página também incluem registros gerados pela operação Data Upload do DataWorks.
Próximas etapas
Após o upload bem-sucedido dos dados, utilize uma ferramenta de conexão para consultar os dados na tabela de destino do MaxCompute.