O Tunnel é uma ferramenta de linha de comando para carregar grandes volumes de dados em tabelas do MaxCompute em massa. Essa ferramenta atende a cenários de computação offline. Este tutorial ensina a criar uma tabela de destino e a fazer upload de um arquivo de log CSV local com o cliente odpscmd.
Pré-requisitos
Antes de começar, verifique se você tem:
O cliente odpscmd instalado e configurado. Para mais informações, consulte Install and configure the MaxCompute client.
Um arquivo de log local pronto para upload. Este tutorial usa o loghub.csv como arquivo de dados de exemplo.
Etapa 1: Criar a tabela de destino
No cliente odpscmd, execute os comandos a seguir para criar uma tabela chamada loghub.
O primeiro comando ativa os tipos de dados do MaxCompute V2.0. Envie-o junto com a instrução CREATE TABLE na mesma sessão.
set odps.sql.type.system.odps2=true;
-- Create a table named loghub.
CREATE TABLE loghub
(
client_ip STRING,
receive_time STRING,
topic STRING,
id STRING,
name VARCHAR(32),
salenum STRING
);Etapa 2: Fazer upload dos dados de log
Execute o comando abaixo para enviar o arquivo de log à tabela loghub. Ajuste o caminho do arquivo conforme o seu sistema operacional.
Windows
Tunnel u D:\loghub.csv loghub;Linux ou macOS
Tunnel u /path/to/loghub.csv loghub;|
Parâmetro |
Descrição |
|
|
Caminho do arquivo de dados de log local |
|
|
Nome da tabela de destino no MaxCompute |
O upload via Tunnel não aceita curingas nem expressões regulares. Especifique o caminho exato do arquivo.
Etapa 3: Verificar o upload
Execute a consulta a seguir para confirmar se os dados foram carregados na tabela:
SELECT * FROM loghub;Se o upload for bem-sucedido, a consulta retornará as linhas enviadas, conforme o exemplo abaixo.
xxx >SELECT * FROM loghub;
ID = 20191224054915??erwinv21
Job Queueing...
Summary:
+--------------+--------------+-------+------+---------+----------+
| client_ip | receive_time | topic | id | name | salenum |
+--------------+--------------+-------+------+---------+----------+
| 47.95.63.148 | 1572925369 | NULL | 62 | ????13 | 2000 |
| 47.95.63.148 | 1572925369 | NULL | 61 | ????12 | 606 |
| 47.95.63.148 | 1572925369 | NULL | 60 | ????11 | 909 |
| 47.95.63.148 | 1572925369 | NULL | 32 | ????3 | 2000 |
| 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 606 |
| 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 909 |
| 47.95.63.148 | 1572925369 | NULL | 31 | ????2 | 3000 |
| 47.95.63.148 | 1572925369 | NULL | 30 | ????1 | 1000 |
| 47.95.63.148 | 1572925369 | NULL | 20 | ??????? | 21 |
| 47.95.63.148 | 1572925369 | NULL | 6 | ???? | 40 |
| 47.95.63.148 | 1572925369 | NULL | 5 | ???? | 20 |
| 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 260 |
| 47.95.63.148 | 1572925369 | NULL | 2 | ??? | 200 |
| 47.95.63.148 | 1572925369 | NULL | 1 | C?? | 100 |
| 47.95.63.148 | 1572925369 | NULL | 9 | vivo | 400 |
| 47.95.63.148 | 1572925369 | NULL | 8 | oppo | 200 |
| 47.95.63.148 | 1572925369 | NULL | 7 | ??? | 30 |
| 47.95.63.148 | 1572925369 | NULL | 12 | ?????? | 0 |
| 47.95.63.148 | 1572925369 | NULL | 11 | ????? | 600 |
| 47.95.63.148 | 1572925369 | NULL | 10 | ??? | 90 |
+--------------+--------------+-------+------+---------+----------+
20 records (at most 10000 supported) fetched by instance tunnel.Caso a consulta não retorne linhas ou apresente erro, verifique os itens abaixo:
O caminho do arquivo na Etapa 2 corresponde à localização real do seu arquivo CSV.
O esquema da tabela é compatível com as colunas do seu arquivo CSV.
O cliente odpscmd está conectado ao projeto correto do MaxCompute.
Próximas etapas
Para obter a referência completa dos comandos do Tunnel, incluindo recursos e instruções sobre como usá-los para fazer upload ou download de dados, consulte Tunnel usage notes.