MaxCompute:Se connecter à MaxCompute avec odpscmd

Facturation

L'utilisation du client MaxCompute pour se connecter à un projet est gratuite, mais les opérations effectuées via le client sont soumises à la facturation MaxCompute. Par exemple, la soumission d'une requête SQL consomme des ressources de calcul et l'écriture de données utilise de l'espace de stockage. Cela entraîne des coûts de calcul et de stockage. Pour plus d'informations sur la facturation MaxCompute, consultez la rubrique Éléments facturables et méthodes de facturation.

Installer et configurer odpscmd

odpscmd v0.27.0 et les versions ultérieures prennent en charge les types de données MaxCompute 2.0. Nous vous recommandons d'utiliser ces types de données. Pour obtenir la liste des types de données pris en charge, consultez la rubrique Types de données (V2.0).

Procédure

1. Téléchargez le package d'installation odpscmd (GitHub).

   Remarque

   • Accédez à la page de publication via le lien et téléchargez la dernière version du package d'installation odpscmd (odpscmd_public.zip).

   • Si vous ne parvenez pas à télécharger le package depuis le lien GitHub, essayez de télécharger le package d'installation odpscmd (OSS). Si vous rencontrez des problèmes d'accès à GitHub, nous vous recommandons de rechercher des solutions en ligne.

2. Décompressez le package téléchargé. Le répertoire extrait contient les dossiers bin, conf, lib et plugins.

3. Accédez au dossier conf et configurez le fichier odps_config.ini.

   Dans le fichier odps_config.ini, le signe dièse (#) indique un commentaire. Le tableau suivant décrit les paramètres.

   Paramètre	Obligatoire	Description	Exemple
   project_name	Oui	Nom du projet MaxCompute de destination. Si vous avez créé un espace de travail en mode standard, faites la distinction entre les noms de projet pour l'environnement de production et l'environnement de développement (_dev) lors de la configuration du paramètre project_name. Pour plus d'informations, consultez la rubrique Différences entre les modes d'espace de travail. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche. Dans le volet de navigation de gauche, choisissez Manage Configurations > Projects. Sur la page Projects, affichez le nom de votre projet MaxCompute.	doc_test_dev
   access_id	Oui	ID AccessKey de votre compte Alibaba Cloud ou utilisateur RAM. Obtenez l'ID AccessKey depuis la page AccessKey Management.	S/O
   access_key	Oui	Secret AccessKey correspondant à l'ID AccessKey.	S/O
   end_point	Oui	Endpoint du service MaxCompute. Vous devez configurer l'endpoint en fonction de la région où se trouve votre projet MaxCompute et du type de connexion réseau. Pour obtenir la liste des endpoints pour différentes régions et types de réseau, consultez la rubrique Endpoints. Important Un endpoint permet de se connecter au service MaxCompute, tandis qu'un endpoint tunnel permet de se connecter au service MaxCompute Tunnel. Spécifiez ici l'endpoint du service MaxCompute. Une configuration incorrecte de l'endpoint entraîne une erreur d'accès.	http://service.cn-hangzhou.maxcompute.aliyun.com/api
   log_view_host	Non	URL LogView. Nous vous recommandons de configurer ce paramètre. Si vous ne le configurez pas, vous ne pourrez pas identifier rapidement la cause d'un échec de tâche. Utilisez cette URL pour afficher des informations détaillées sur l'exécution des tâches et résoudre les erreurs. La valeur fixe est http://logview.odps.aliyun.com.	http://logview.odps.aliyun.com
   https_check	Non	Indique s'il faut activer HTTPS pour chiffrer les requêtes d'accès au projet MaxCompute. Valeurs valides : True : Active HTTPS. False : Utilise HTTP. La valeur par défaut est False.	True
   data_size_confirm	Non	Taille maximale des données d'entrée en Go. Cette valeur n'a pas de limite supérieure. Valeur recommandée : 100.	100
   update_url	Non	Ce paramètre est réservé pour une utilisation future.	S/O
   use_instance_tunnel	Non	Indique s'il faut utiliser InstanceTunnel pour télécharger les résultats d'exécution SQL. Valeurs valides : True : Utilise InstanceTunnel pour télécharger les résultats d'exécution SQL. False : N'utilise pas InstanceTunnel pour télécharger les résultats d'exécution SQL. La valeur par défaut est False.	True
   instance_tunnel_max_record	Non	Nombre maximal d'enregistrements dans un résultat d'exécution SQL. Si use_instance_tunnel est défini sur True, vous devez configurer ce paramètre. La valeur maximale est 10 000.	10000
   tunnel_endpoint	Non	Endpoint public du service Tunnel. Si vous ne configurez pas ce paramètre, Tunnel achemine automatiquement les requêtes vers l'endpoint tunnel correspondant au réseau du service MaxCompute. Si vous configurez un endpoint tunnel, Tunnel utilise cette valeur et n'effectue pas d'acheminement automatique. Pour obtenir la liste des endpoints tunnel pour différentes régions et types de réseau, consultez la rubrique Endpoints.	http://dt.cn-hangzhou.maxcompute.aliyun.com
   set.<key>	Non	Définit une propriété pour le projet MaxCompute. Pour plus d'informations sur les propriétés, consultez la liste des propriétés.	set.odps.sql.decimal.odps2=true

   Assurez-vous que les informations précédentes sont correctement configurées. Des configurations incorrectes peuvent entraîner des échecs de connexion au projet.

Démarrer le client MaxCompute

1. Créez un projet MaxCompute.

2. Si vous utilisez le client MaxCompute en tant qu'utilisateur RAM, utilisez votre compte Alibaba Cloud pour ajouter l'utilisateur RAM au projet MaxCompute cible. Pour plus d'informations sur l'ajout d'utilisateurs, consultez la rubrique Accorder des autorisations à d'autres utilisateurs.

3. Utilisez l'une des méthodes suivantes pour démarrer le client MaxCompute :

   Fichier de script

   Dans le répertoire bin de votre installation du client MaxCompute, double-cliquez sur odpscmd.bat (sous Windows) ou odpscmd (sous macOS) pour démarrer le client MaxCompute. La sortie suivante indique une connexion réussie au projet MaxCompute.

   odpscmd
   Aliyun ODPS Command Line Tool
   Version 0.4xxx
   @Copyright 2020 Alibaba Cloud Computing Co., Ltd. All rights reserved.
   Connecting to http://service.xxx.maxcompute.aliyun.com/api, project: xxx
   Executing predefined SET command: SET odps.sql.hive.compatible=true
   OK
   Endpoint: http://service.xxx.maxcompute.aliyun.com/api
   Project: xxx
   Schema: default
   Quota: default in region N/A
   Timezone: Asia/Shanghai
   Connected!

   Fenêtre de ligne de commande

   Dans une fenêtre de ligne de commande, accédez au répertoire bin de votre installation du client MaxCompute. Exécutez odpscmd sous Windows ou sh odpscmd sous Linux ou macOS pour démarrer le client MaxCompute. Un message de succès indique que le client s'est connecté au projet MaxCompute.

   Remarque

   Sous Ubuntu, sh odpscmd renvoie une erreur. Utilisez plutôt ./odpscmd.

   Lorsque vous démarrez le client MaxCompute depuis une fenêtre de ligne de commande, vous pouvez spécifier des paramètres de démarrage pour exécuter des commandes. Pour plus d'informations, consultez la section Paramètres de démarrage.

Opérations du client MaxCompute

...\odpscmd\bin>odpscmd -h

odps@project_name>whoami;

odps@project_name>quit;
-- The following command is equivalent.
odps@project_name>q;

Documents connexes

Après vous être connecté au client MaxCompute, vous pouvez exécuter des commandes SQL dans un projet MaxCompute. Pour plus d'informations, consultez la rubrique Utiliser le client MaxCompute.

Pour obtenir des détails sur la syntaxe des commandes du client MaxCompute, consultez la rubrique Référence des commandes ou Commandes et fonctions SQL.

FAQ

Après avoir configuré le fichier odps_config.ini et démarré le client MaxCompute, vous pouvez rencontrer les erreurs courantes suivantes :

Paramètres de démarrage

Usage: odpscmd [OPTION]...
where options include:
    --help                                  (-h)for help
    --config=<config_file>                  specify another config file
    --project=<prj_name>                    use project
    --endpoint=<http://host:port>           set endpoint
    -k <n>                                  will skip begining queries and start from specified position
    -r <n>                                  set retry times
    -f <"file_path;">                       execute command in file
    -e <"command;[command;]...">            execute command, include sql command

Sur le shell ou la ligne de commande Windows, utilisez odpscmd -e <SQL_statement> pour capturer les valeurs de retour dynamiques dans une variable shell pour les tâches suivantes. Dans ce scénario, la valeur de retour ne doit pas contenir d'informations supplémentaires, telles que des détails d'exécution ou un en-tête. Pour faciliter la création de scripts shell, définissez le paramètre use_instance_tunnel dans le fichier odps_config.ini sur false pour désactiver Instance Tunnel. Ensuite, exécutez la commande set odps.sql.select.output.format={"needHeader":false,"fieldDelim":" "}; pour supprimer l'en-tête.

--Windows command line:
...\odpscmd\bin>odpscmd -e "set odps.sql.select.output.format={""needHeader"":false,""fieldDelim"":"" ""};select * from noheader;" >D:\test.txt
--The result is saved to D:\test.txt.
--Shell:
/Users/.../odpscmd/bin/odpscmd -e "set odps.sql.select.output.format={\"needHeader\":false,\"fieldDelim\":\"\"};select * from noheader;" >/Users/A/temp/test.txt 
--The result is saved to /Users/A/temp/test.txt.
--Output:
1
2
3

Historique des versions

Le tableau suivant décrit les mises à jour récentes d'odpscmd. Pour plus de détails, cliquez sur le lien correspondant à une version spécifique.

Pour obtenir la liste complète des versions d'odpscmd et des notes de publication, consultez GitHub.