MaxCompute:Guia de uso

• Upload: Faz upload de dados de um arquivo local para uma tabela do MaxCompute. Cada operação de upload pode gravar dados em uma única tabela ou em uma única partição. Em tabelas particionadas, especifique a partição de destino. Para tabelas com particionamento multinível, especifique a partição do nível mais baixo. Para mais informações, consulte Upload.

• Download: Baixa dados de uma tabela do MaxCompute ou os resultados de uma instância específica para um arquivo local. Cada operação de baixe pode transferir uma tabela ou uma partição para um único arquivo. Em tabelas particionadas, especifique a partição de origem. Para tabelas com particionamento multinível, especifique a partição do nível mais baixo. Para mais informações, consulte Download.

• Resume: Se um upload falhar devido a problemas de rede ou erros no serviço Tunnel, use o comando Resume para continuar o upload do arquivo. Esse comando retoma a operação de upload anterior. Atualmente, o comando Resume não oferece suporte a operações de baixe. Para mais informações, consulte Resume.

• Show: Exibe informações sobre tarefas históricas. Para mais informações, consulte Show.

• Purge: Limpa o diretório de sessões. Por padrão, este comando remove logs dos últimos três dias. Para mais informações, consulte Purge.

• Help: Exibe informações de ajuda. Formatos curtos de comando são compatíveis com cada comando e opção.

• Upsert: Grava dados usando uma combinação das semânticas Update e Insert. Este comando é compatível apenas com tabelas Transaction Table 2.0.

  Se não houver dados correspondentes na tabela de destino, novos dados serão inseridos. Se os dados já existirem, eles serão atualizados.

Antes de começar, prepare um arquivo de dados chamado data.txt e salve-o em d:\data.txt. O arquivo contém os seguintes dados.

shopx,x_id,100
shopy,y_id,200
shopz,z_id

As etapas a seguir descrevem como fazer upload e baixe de dados de tabela.

1. No cliente MaxCompute, execute as instruções a seguir para criar a tabela particionada sale_detail e adicionar uma partição a ela.

   CREATE TABLE IF NOT EXISTS sale_detail(
         shop_name     STRING,
         customer_id   STRING,
         total_price   DOUBLE)
   PARTITIONED BY (sale_date STRING,region STRING);
   
   alter table sale_detail add partition (sale_date='201312', region='hangzhou');

2. Use o comando upload para fazer upload do arquivo de dados data.txt para a tabela particionada sale_detail.

   • Comando de exemplo

     tunnel upload d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false;

   • Valor de retorno

     Upload session: 20230505xxxxxxxxxxxb0b02dbb6bd
     Start upload:d:\data.txt
     Using \r\n to split records
     Upload in strict schema mode: true
     Total bytes:42   Split input to 1 blocks
     2023-05-05 10:11:35     upload block: '1'
     ERROR: column mismatch -,expected 3 columns, 2 columns found, please check data or delimiter

     Nota

     Como o arquivo data.txt contém dados inconsistentes, a importação de dados falha. Um ID de sessão e uma mensagem de erro são retornados.

3. Execute a instrução a seguir para verifique os dados.

   • Comando de exemplo

     select * from sale_detail where sale_date='201312';

   • Valores de retorno

     ID = 20230505xxxxxxxxxxxvc61z5
     +-----------+-------------+-------------+-----------+--------+
     | shop_name | customer_id | total_price | sale_date | region |
     +-----------+-------------+-------------+-----------+--------+
     +-----------+-------------+-------------+-----------+--------+

     Nota

     A importação de dados falhou devido a dados inconsistentes, deixando a tabela vazia.

4. Use o comando show para consultar o ID da sessão do upload com falha.

   • Comando de exemplo

     tunnel show history;

   • Resultado retornado

     20230505xxxxxxxxxxxb0b02dbb6bd  failed  'upload d:\data.txt sale_detail/sale_date=201312,region=Hangzhou -s false'

5. Modifique o arquivo de dados de exemplo data.txt para conter os seguintes dados, que correspondem ao esquema da tabela sale_detail.

   shopx,x_id,100
   shopy,y_id,200

6. Execute o comando resume para retomar o upload de dados. Neste comando, 20230505xxxxxxxxxxxb0b02dbb6bd é o ID da sessão do upload com falha.

   • Comando de exemplo

     tunnel resume 20230505xxxxxxxxxxxb0b02dbb6bd --force;

   • Valor de retorno

     start resume
     20230505xxxxxxxxxxxb0b02dbb6bd
     Upload session: 20230505xxxxxxxxxxxb0b02dbb6bd
     Start upload:d:\data.txt
     Using \r\n to split records
     Upload in strict schema mode: true
     Resume 1 blocks 
     2023-05-05 10:32:39     upload block: '1'
     2023-05-05 10:32:40     upload block complete, block id: 1
     upload complete, average speed is 0 bytes/s
     OK

7. Execute a instrução a seguir para verifique os dados. O upload foi bem-sucedido.

   • Comando de exemplo

     select * from sale_detail where sale_date='201312';

   • Valor de retorno

     ID = 20230505xxxxxxxxxxxx7afc9qcg
      +-----------+-------------+-------------+-----------+--------+
      | shop_name | customer_id | total_price | sale_date | region |
      +-----------+-------------+-------------+-----------+--------+
      | shopx     | x_id        | 100.0       | 201312    | hangzhou|
      | shopy     | y_id        | 200.0       | 201312    | hangzhou|
      +-----------+-------------+-------------+-----------+--------+

8. Execute o comando download para baixar os dados da tabela sale_detail para um arquivo local chamado result.txt.

   Nota

   As convenções de nomenclatura para o caminho local path onde os dados são baixados são as seguintes:

   • Para salve o arquivo diretamente no diretório bin do cliente MaxCompute, defina path como filename.extension.

   • Para salve o arquivo em outro caminho, como a pasta test na unidade D, defina path como D:\test\filename.extension.

   • Se existir um arquivo local com o mesmo nome, ele será sobrescrito.

   tunnel download sale_detail/sale_date=201312,region=hangzhou result.txt;

9. Verifique o conteúdo do arquivo result.txt. O arquivo contém o seguinte conteúdo, o que indica que o baixe foi bem-sucedido.

   Nota

   O arquivo baixado exibe apenas os valores dos campos que não são de partição.

   shopx,x_id,100.0
   shopy,y_id,200.0