MaxCompute:Conexión a MaxCompute con odpscmd

Facturación

El uso del cliente de MaxCompute para conectarse a un proyecto es gratuito, pero las operaciones realizadas a través del cliente están sujetas a la facturación de MaxCompute. Por ejemplo, enviar una consulta SQL consume recursos de cómputo y escribir datos utiliza espacio de almacenamiento, lo que genera costos de cómputo y almacenamiento. Para obtener más información sobre la facturación de MaxCompute, consulte Billable items and billing methods.

Instalación y configuración de odpscmd

odpscmd v0.27.0 y versiones posteriores son compatibles con los tipos de datos de MaxCompute 2.0. Se recomienda utilizar estos tipos de datos. Para consultar la lista de tipos de datos compatibles, véase Data Types (V2.0).

Procedimiento

1. Descargue el paquete de instalación de odpscmd (GitHub).

   Nota

   • Siga el enlace a la página de versiones y descargue la versión más reciente del paquete de instalación de odpscmd (odpscmd_public.zip).

   • Si no puede descargar el paquete desde el enlace de GitHub, intente descargar el paquete de instalación de odpscmd (OSS). Si tiene problemas para acceder a GitHub, le recomendamos buscar soluciones en línea.

2. Descomprima el paquete descargado. El directorio extraído contiene las carpetas bin, conf, lib y plugins.

3. Vaya a la carpeta conf y configure el archivo odps_config.ini.

   En el archivo odps_config.ini, el signo de número (#) indica un comentario. La siguiente tabla describe los parámetros.

   Parámetro	Obligatorio	Descripción	Ejemplo
   project_name	Sí	Nombre del proyecto de MaxCompute de destino. Si creó un espacio de trabajo en modo estándar, distinga entre los nombres de proyecto para el entorno de producción y el entorno de desarrollo (_dev) cuando configure el parámetro project_name. Para obtener más información, consulte Differences between workspace modes. Inicie sesión en la MaxCompute console y seleccione una región en la esquina superior izquierda. En el panel de navegación izquierdo, elija Manage Configurations > Projects. En la página Projects, consulte el nombre de su proyecto de MaxCompute.	doc_test_dev
   access_id	Sí	AccessKey ID de su cuenta de Alibaba Cloud o usuario de RAM. Obtenga el AccessKey ID en la página AccessKey Management.	N/A
   access_key	Sí	AccessKey Secret correspondiente al AccessKey ID.	N/A
   end_point	Sí	Endpoint del servicio de MaxCompute. Debe configurar el endpoint según la región donde se encuentre su proyecto de MaxCompute y el tipo de conexión de red. Para consultar la lista de endpoints correspondientes a diferentes regiones y tipos de red, véase Endpoints. Importante Un endpoint se conecta al servicio de MaxCompute, mientras que un tunnel endpoint se conecta al servicio MaxCompute Tunnel. Especifique aquí el endpoint para el servicio de MaxCompute. Una configuración incorrecta del endpoint provoca un error de acceso.	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	No	URL de LogView. Se recomienda configurar este parámetro. Si no lo configura, no podrá identificar rápidamente la causa de un fallo en un trabajo. Utilice esta URL para consultar información detallada sobre la ejecución del trabajo y solucionar errores. El valor fijo es http://logview.odps.aliyun.com.	http://logview.odps.aliyun.com
   https_check	No	Especifica si se debe habilitar HTTPS para cifrar las solicitudes de acceso al proyecto de MaxCompute. Valores válidos: True: Habilita HTTPS. False: Utiliza HTTP. El valor predeterminado es False.	True
   data_size_confirm	No	Tamaño máximo de datos de entrada en GB. Este valor no tiene límite superior. Valor recomendado: 100.	100
   update_url	No	Este parámetro está reservado para uso futuro.	N/A
   use_instance_tunnel	No	Especifica si se debe usar InstanceTunnel para descargar los resultados de la ejecución de SQL. Valores válidos: True: Usa InstanceTunnel para descargar los resultados de la ejecución de SQL. False: No usa InstanceTunnel para descargar los resultados de la ejecución de SQL. El valor predeterminado es False.	True
   instance_tunnel_max_record	No	Número máximo de registros en un resultado de ejecución de SQL. Si use_instance_tunnel se establece en True, debe configurar este parámetro. El valor máximo es 10,000.	10000
   tunnel_endpoint	No	Endpoint público para el servicio Tunnel. Si no configura este parámetro, Tunnel enruta automáticamente las solicitudes al tunnel endpoint que corresponde a la red del servicio de MaxCompute. Si configura un tunnel endpoint, Tunnel utiliza ese valor y no realiza el enrutamiento automático. Para consultar la lista de tunnel endpoints correspondientes a diferentes regiones y tipos de red, véase Endpoints.	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	No	Establece una propiedad para el proyecto de MaxCompute. Para obtener más información sobre las propiedades, consulte property list.	set.odps.sql.decimal.odps2=true

   Asegúrese de que la información anterior esté configurada correctamente. Una configuración incorrecta puede provocar fallos en la conexión al proyecto.

Inicio del cliente de MaxCompute

1. Create a MaxCompute project.

2. Si utiliza el cliente de MaxCompute como usuario de RAM, use su cuenta de Alibaba Cloud para agregar el usuario de RAM al proyecto de MaxCompute de destino. Para obtener más información sobre cómo agregar usuarios, consulte Grant permissions to other users.

3. Utilice uno de los siguientes métodos para iniciar el cliente de MaxCompute:

   Archivo de script

   En el directorio bin de la instalación de su cliente de MaxCompute, haga doble clic en odpscmd.bat (en Windows) o en odpscmd (en macOS) para iniciar el cliente de MaxCompute. La siguiente salida indica que la conexión al proyecto de MaxCompute se realizó correctamente.

   odpscmd
   Aliyun ODPS Command Line Tool
   Version 0.4xxx
   @Copyright 2020 Alibaba Cloud Computing Co., Ltd. All rights reserved.
   Connecting to http://service.xxx.maxcompute.aliyun.com/api, project: xxx
   Executing predefined SET command: SET odps.sql.hive.compatible=true
   OK
   Endpoint: http://service.xxx.maxcompute.aliyun.com/api
   Project: xxx
   Schema: default
   Quota: default in region N/A
   Timezone: Asia/Shanghai
   Connected!

   Ventana de línea de comandos

   En una ventana de línea de comandos, vaya al directorio bin de la instalación de su cliente de MaxCompute. Ejecute odpscmd en Windows o sh odpscmd en Linux o macOS para iniciar el cliente de MaxCompute. Un mensaje de confirmación indica que el cliente se ha conectado al proyecto de MaxCompute.

   Nota

   En Ubuntu, sh odpscmd devuelve un error. Utilice ./odpscmd en su lugar.

   Cuando inicie el cliente de MaxCompute desde una ventana de línea de comandos, puede especificar parámetros de inicio para ejecutar comandos. Para obtener más información, consulte Startup parameters.

Operaciones del cliente de MaxCompute

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- The following command is equivalent.
odps@project_name>q;

Documentos relacionados

Después de iniciar sesión en el cliente de MaxCompute, puede ejecutar comandos SQL en un proyecto de MaxCompute. Para obtener más información, consulte Use the MaxCompute client.

Para obtener detalles sobre la sintaxis de comandos del cliente de MaxCompute, consulte Command reference o SQL commands and functions.

Preguntas frecuentes

Después de configurar el archivo odps_config.ini e iniciar el cliente de MaxCompute, podría encontrar los siguientes errores comunes:

Parámetros de inicio

Usage: odpscmd [OPTION]...
where options include:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

En la shell o en la línea de comandos de Windows, utilice odpscmd -e <SQL_statement> para capturar valores de retorno dinámicos en una variable de shell para trabajos posteriores. En este escenario, el valor de retorno no debe contener información adicional, como detalles de ejecución o encabezados. Para facilitar la creación de scripts de shell, establezca el parámetro use_instance_tunnel en el archivo odps_config.ini en false para deshabilitar Instance Tunnel. Luego, ejecute el comando set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; para suprimir el encabezado.

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Historial de versiones

A continuación se describen las actualizaciones recientes de odpscmd. Para obtener más detalles, haga clic en el enlace de una versión específica.

Para consultar la lista completa de versiones de odpscmd y sus notas de versión, consulte GitHub.