MaxCompute:Operações do Tunnel

Para obter mais informações sobre as operações do Tunnel, consulte Comandos do Tunnel. A tabela a seguir lista os comandos mais utilizados.

Carregar dados

Você pode carregar dados de um arquivo local para uma tabela do MaxCompute no modo de anexação. O carregamento de dados é gratuito.

• Limitações

  • É possível carregar um arquivo ou um diretório de primeiro nível. Cada operação de carregamento deve ter como destino apenas uma tabela ou uma única partição dentro de uma tabela.

  • Ao carregar dados em uma tabela particionada, especifique a partição. Para tabelas com vários níveis de partição, indique sempre a partição do nível mais baixo.

• Sintaxe

  Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];

• Parâmetros

  • path: Obrigatório. Caminho e nome do arquivo de dados de source. Por padrão, o arquivo de dados está no formato TXT. O caminho e o nome do arquivo podem conter apenas letras do alfabeto inglês, dígitos e sublinhados (_). Não há suporte para caracteres chineses e espaços. Se um caminho contiver caracteres chineses em um sistema com localidade diferente de UTF-8, como LANG=C, o cliente do MaxCompute (odpscmd) retornará o erro "File not found". Para resolver esse problema, utilize um caminho com apenas caracteres em inglês ou configure a localidade do sistema para codificação UTF-8, por exemplo: export LANG=en_US.UTF-8.

    Existem duas formas de especificar o caminho do arquivo: se o arquivo estiver no diretório bin do cliente do MaxCompute, defina o parâmetro path como filename.extension. Caso o arquivo esteja em outro diretório, como D:\test, configure o parâmetro path com o caminho absoluto, por exemplo, D:\test\filename.extension. A ferramenta de linha de comando do Tunnel não possui limite de tamanho de arquivo e suporta o carregamento de arquivos grandes. Para otimizar o carregamento de arquivos grandes, use o parâmetro -bs para ajustar o tamanho de cada bloco de dados. O valor padrão é 100 MiB.

    Nota

    No macOS, o valor de path deve ser um caminho absoluto. Por exemplo, se o arquivo estiver no diretório bin do cliente do MaxCompute, defina o parâmetro path com um caminho absoluto, como /Users/username/MaxCompute/bin/filename.extension.

  • project_name: Opcional. Nome do projeto que contém a tabela de destino. Este parâmetro é obrigatório ao acessar uma tabela em um projeto diferente.

  • table_name: Obrigatório. Nome da tabela de destino.

  • pt_spc: Opcional. Partição de destino. É necessário especificar uma partição do nível mais baixo. O valor deve estar no formato partition_col1=col1_value1, partition_col2=col2_value1....

• Exemplos

  • Exemplo 1: Carregue os dados do arquivo log.txt para a tabela test_table no projeto atual. O arquivo log.txt está armazenado no diretório bin do cliente do MaxCompute.

    Tunnel upload log.txt test_table;

  • Exemplo 2: Carregue os dados do arquivo log.txt para a partição p1="b1",p2="b2" da tabela test_table. Essa tabela possui dois níveis de partição e pertence ao projeto test_project. O arquivo log.txt está localizado na pasta test da unidade D.

    Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";

Baixar dados

Baixe dados de uma tabela do MaxCompute ou do resultado da execução de uma instância específica para um arquivo local. O download de dados pela Internet é cobrado com base no volume de dados transferidos. A taxa é calculada da seguinte forma: Taxa de download = Dados baixados (GB) × Preço (0,1166 USD/GB).

• Limitações

  • Cada operação de download exporta dados de apenas uma tabela ou uma partição para um único arquivo.

  • Ao baixar dados de uma tabela particionada, especifique a partição desejada. Em tabelas com múltiplos níveis de partição, informe sempre a partição do nível mais baixo.

• Sintaxe

  Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;

• Parâmetros

  • project_name: Opcional. Nome do projeto que contém a tabela de source. Esse parâmetro torna-se obrigatório quando se acessa uma tabela em outro projeto.

  • table_name: Obrigatório. Nome da tabela de source.

  • pt_spc: Opcional. Partição de source. Especifique uma partição do nível mais baixo. O valor precisa seguir o formato partition_col1=col1_value1, partition_col2=col2_value1....

  • path: Obrigatório. Caminho e nome do arquivo de destino para os dados baixados. Por padrão, o arquivo de dados baixado estará no formato TXT.

    Há duas opções para o caminho de salvamento do arquivo de dados. Baixe o arquivo diretamente para o diretório bin do cliente do MaxCompute; nesse caso, defina o parâmetro path como filename.extension. Alternativamente, salve o arquivo em outro local, como a pasta test na unidade D. Para isso, configure o parâmetro path com D:\test\filename.extension.

• Exemplos

  • Exemplo 1: Baixe os dados da tabela test_project.test_table (uma tabela com dois níveis de partição) para o arquivo test_table.txt. O arquivo test_table.txt encontra-se no diretório bin do cliente do MaxCompute. O comando é o seguinte:

    Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;

  • Exemplo 2: Baixe dados da tabela test_project.test_table, que possui dois níveis de partição, para o arquivo test_table.txt localizado na pasta test da unidade D. Execute o comando abaixo:

    Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;