O Tunnel é uma ferramenta de linha de comando para carregar grandes volumes de dados em tabelas do MaxCompute em massa. Essa ferramenta foi desenvolvida para cenários de computação offline. Este tutorial orienta você a criar uma tabela de destino e a fazer upload de um arquivo de log CSV local com o cliente odpscmd.
Pré-requisitos
Antes de começar, verifique se você tem:
O cliente odpscmd instalado e configurado. Para mais informações, consulte Instalar e configurar o cliente do MaxCompute.
Um arquivo de log local pronto para upload. Este tutorial usa o arquivo loghub.csv como exemplo de dados.
Etapa 1: Criar a tabela de destino
No cliente odpscmd, execute os comandos a seguir para criar uma tabela chamada loghub.
O primeiro comando ativa os tipos de dados do MaxCompute V2.0. Envie-o junto com a instrução CREATE TABLE na mesma sessão.
set odps.sql.type.system.odps2=true;
-- Create a table named loghub.
CREATE TABLE loghub
(
client_ip STRING,
receive_time STRING,
topic STRING,
id STRING,
name VARCHAR(32),
salenum STRING
);Etapa 2: Fazer upload dos dados de log
Execute o comando a seguir para enviar o arquivo de log à tabela loghub. Ajuste o caminho do arquivo conforme o seu sistema operacional.
Windows
Tunnel u D:\loghub.csv loghub;Linux ou macOS
Tunnel u /path/to/loghub.csv loghub;|
Parâmetro |
Descrição |
|
|
Caminho do arquivo de dados de log local |
|
|
Nome da tabela de destino no MaxCompute |
O upload via Tunnel não aceita curingas nem expressões regulares. Especifique o caminho exato do arquivo.
Etapa 3: Verificar o upload
Execute a consulta a seguir para confirmar se os dados foram carregados na tabela:
SELECT * FROM loghub;Se o upload for bem-sucedido, a consulta retornará as linhas enviadas, conforme ilustrado a seguir.
Caso a consulta não retorne linhas ou apresente erro, verifique os itens a seguir:
O caminho do arquivo na Etapa 2 corresponde à localização real do seu arquivo CSV.
O esquema da tabela é compatível com as colunas do seu arquivo CSV.
O cliente odpscmd está conectado ao projeto correto do MaxCompute.
Próximas etapas
Para obter a referência completa dos comandos do Tunnel, incluindo recursos e instruções sobre como usá-los para fazer upload ou baixe de dados, consulte Notas de uso do Tunnel.