MaxCompute:Conexão via odpscmd (local)

Faturamento

A utilização do cliente MaxCompute para conectar-se a um projeto é gratuita, mas as operações realizadas por meio do cliente estão sujeitas ao faturamento do MaxCompute. Por exemplo, enviar uma consulta SQL consome recursos de computação, e a gravação de dados utiliza espaço de armazenamento. Isso gera custos de computação e armazenamento. Para mais informações sobre o faturamento do MaxCompute, consulte Billable items and billing methods.

Instalar e configurar o odpscmd

O odpscmd v0.27.0 e posteriores suportam os tipos de dados do MaxCompute 2.0. Recomendamos o uso desses tipos de dados. Para obter uma lista dos tipos de dados suportados, consulte Data Types (V2.0).

Procedimento

1. Baixe o pacote de instalação do odpscmd (GitHub).

   Nota

   • Acesse o link da página de lançamento e baixe a versão mais recente do pacote de instalação do odpscmd (odpscmd_public.zip).

   • Caso não consiga baixar o pacote pelo link do GitHub, tente baixar o pacote de instalação do odpscmd (OSS). Se tiver problemas de acesso ao GitHub, recomendamos buscar soluções online.

2. Descompacte o pacote baixado. O diretório extraído contém as pastas bin, conf, lib e plugins.

3. Acesse a pasta conf e configure o arquivo odps_config.ini.

   No arquivo odps_config.ini, o sinal de cerquilha (#) indica um comentário. A tabela a seguir descreve os parâmetros.

   Parâmetro	Obrigatório	Descrição	Exemplo
   project_name	Sim	Nome do projeto MaxCompute de destino. Se você criou um workspace no modo padrão, distinga os nomes dos projetos para o ambiente de produção e o ambiente de desenvolvimento (_dev) ao configurar o parâmetro project_name. Para mais informações, consulte Differences between workspace modes. Faça login no MaxCompute console e selecione uma região no canto superior esquerdo. No painel de navegação à esquerda, escolha Manage Configurations > Projects. Na página Projects, visualize o nome do seu projeto MaxCompute.	doc_test_dev
   access_id	Sim	AccessKey ID da sua conta Alibaba Cloud ou usuário RAM. Obtenha o AccessKey ID na página AccessKey Management.	N/A
   access_key	Sim	AccessKey Secret correspondente ao AccessKey ID.	N/A
   end_point	Sim	Endpoint do service MaxCompute. Configure o endpoint com base na região onde seu projeto MaxCompute está localizado e no tipo de conexão de rede. Para obter uma lista de endpoints para diferentes regiões e tipos de rede, consulte Endpoints. Importante Um endpoint conecta-se ao service MaxCompute, enquanto um tunnel endpoint conecta-se ao service MaxCompute Tunnel. Especifique aqui o endpoint para o service MaxCompute. Uma configuração incorreta de endpoint causa erro de acesso.	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	Não	URL do LogView. Recomendamos configurar este parâmetro. Sem essa configuração, não é possível identificar rapidamente a causa de uma falha de job. Use esta URL para visualizar informações detalhadas sobre a execução do job e solucionar erros. O valor fixo é http://logview.odps.aliyun.com.	http://logview.odps.aliyun.com
   https_check	Não	Define se o HTTPS deve ser ativado para criptografar requisições de acesso ao projeto MaxCompute. Valores válidos: True: Ativa HTTPS. False: Utiliza HTTP. O valor padrão é False.	True
   data_size_confirm	Não	Tamanho máximo dos dados de entrada em GB. Este valor não possui limite superior. Valor recomendado: 100.	100
   update_url	Não	Parâmetro reservado para uso futuro.	N/A
   use_instance_tunnel	Não	Define se o InstanceTunnel deve ser usado para baixar resultados de execução SQL. Valores válidos: True: Usa InstanceTunnel para baixar resultados de execução SQL. False: Não usa InstanceTunnel para baixar resultados de execução SQL. O valor padrão é False.	True
   instance_tunnel_max_record	Não	Número máximo de registros em um resultado de execução SQL. Se use_instance_tunnel estiver definido como True, configure este parâmetro. O valor máximo é 10.000.	10.000
   tunnel_endpoint	Não	Endpoint público para o service Tunnel. Se este parâmetro não for configurado, o Tunnel roteará automaticamente as requisições para o tunnel endpoint correspondente à rede do service MaxCompute. Se você configurar um tunnel endpoint, o Tunnel usará esse valor e não realizará o roteamento automático. Para obter uma lista de tunnel endpoints para diferentes regiões e tipos de rede, consulte Endpoints.	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	Não	Define uma propriedade para o projeto MaxCompute. Para mais informações sobre propriedades, consulte property list.	set.odps.sql.decimal.odps2=true

   Certifique-se de que as informações acima estejam configuradas corretamente. Configurações incorretas podem causar falhas na conexão com o projeto.

Iniciar o cliente MaxCompute

1. Create a MaxCompute project.

2. Se você utilizar o cliente MaxCompute como um usuário RAM, use sua conta Alibaba Cloud para adicionar o usuário RAM ao projeto MaxCompute de destino. Para mais informações sobre como adicionar usuários, consulte Grant permissions to other users.

3. Utilize um dos métodos a seguir para iniciar o cliente MaxCompute:

   Script file

   No diretório bin da instalação do seu cliente MaxCompute, clique duas vezes em odpscmd.bat (no Windows) ou odpscmd (no macOS) para iniciar o cliente MaxCompute. A saída a seguir indica uma conexão bem-sucedida com o projeto MaxCompute.

   --Windows command line:
   ...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
   --The result is saved to D:\test.txt.
   --Shell:
   /Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
   --The result is saved to /Users/A/temp/test.txt.
   --Output:
   1
   2
   3

   Command-line window

   Em uma janela de linha de comando, acesse o diretório bin da instalação do seu cliente MaxCompute. Execute odpscmd no Windows ou sh odpscmd no Linux ou macOS para iniciar o cliente MaxCompute. Uma mensagem de sucesso indica que o cliente se conectou ao projeto MaxCompute.

   Nota

   No Ubuntu, sh odpscmd retorna um erro. Use ./odpscmd em vez disso.

   Ao iniciar o cliente MaxCompute a partir de uma janela de linha de comando, especifique parâmetros de inicialização para executar comandos. Para mais informações, consulte Startup parameters.

Operações do cliente MaxCompute

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Documentos relacionados

Após fazer login no cliente MaxCompute, execute comandos SQL em um projeto MaxCompute. Para mais informações, consulte Use the MaxCompute client.

Para detalhes sobre a sintaxe de comandos do cliente MaxCompute, consulte Command reference ou SQL commands and functions.

FAQ

Após configurar o arquivo odps_config.ini e iniciar o cliente MaxCompute, você poderá encontrar os seguintes erros comuns:

Parâmetros de inicialização

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Na linha de comando shell ou Windows, use odpscmd -e <SQL_statement> para capturar valores de retorno dinâmicos em uma variável shell para jobs subsequentes. Nesse cenário, o valor de retorno não deve conter informações extras, como detalhes de tempo de execução ou cabeçalho. Para facilitar scripts shell, defina o parâmetro use_instance_tunnel no arquivo odps_config.ini como false para desativar o Instance Tunnel. Em seguida, execute o comando set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; para suprimir o cabeçalho.

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Histórico de versões

A tabela a seguir descreve atualizações recentes do odpscmd. Para mais detalhes, clique em no link de uma versão específica.

Para obter uma lista completa de versões do odpscmd e notas de lançamento, consulte GitHub.