Notes and examples for using odpscmd in Cloud Shell - MaxCompute

MaxCompute s'intègre à Cloud Shell pour offrir un environnement client cloud permettant d'utiliser odpscmd sans installation manuelle. Cette rubrique présente les consignes d'utilisation et des exemples.

Prérequis

Si vous vous connectez à odpscmd dans Cloud Shell en tant qu'utilisateur RAM, celui-ci doit disposer de l'autorisation AliyunCloudShellFullAccess. Pour plus d'informations, consultez la documentation relative à Resource Access Management (RAM).

Limites

Remarque

Cloud Shell est un outil en ligne de commande basé sur le web, fourni par Alibaba Cloud, qui permet d'utiliser odpscmd sans installation manuelle. Pour plus d'informations, consultez la page Qu'est-ce que Cloud Shell ?.

Limites de Cloud Shell

Limite	Description
Machines virtuelles	Une seule machine virtuelle s'exécute à la fois. Toutes les fenêtres de session s'y connectent automatiquement.
Fenêtres de session	Vous pouvez ouvrir jusqu'à cinq fenêtres de session.
Délai d'inactivité	La session s'arrête après 30 minutes d'inactivité ou lorsque toutes les fenêtres de session sont fermées. La machine virtuelle est détruite 15 minutes plus tard. Le redémarrage de Cloud Shell crée une nouvelle machine virtuelle.
Expiration	Chaque machine virtuelle a une durée de vie d'une heure. Après expiration, Cloud Shell la détruit immédiatement. Le redémarrage de Cloud Shell crée une nouvelle machine virtuelle.
Stockage de fichiers	Cloud Shell fournit 10 Go de stockage temporaire dans le dossier /home/shell. Cet espace est réinitialisé lors de la destruction de la machine virtuelle. Pour un stockage persistant, montez un bucket. Le bucket se charge automatiquement à chaque démarrage de Cloud Shell.
Utilisation interdite	Les tâches intensives en calcul, en réseau, de longue durée, ainsi que les processus malveillants sont interdits. Toute violation peut entraîner l'arrêt ou la désactivation de votre session sans préavis.

Limites régionales

Pour le moment, vous pouvez utiliser Cloud Shell pour vous connecter à MaxCompute uniquement dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), et Chine (Shenzhen).

Consignes d'utilisation

Le service Cloud Shell et son stockage temporaire résident par défaut dans la région Chine (Shanghai), indépendamment de l'emplacement où vous démarrez odpscmd. Si votre projet se trouve dans une autre région, un transfert de données inter-régional a lieu, ce qui peut poser un risque pour la sécurité des données. Utilisez cette fonctionnalité avec prudence.

Accéder à l'environnement odpscmd

Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.
Sur la page Workspace > Projects, cliquez sur Command Line dans le coin supérieur droit.

Dans la boîte de dialogue Choose Project, sélectionnez le projet que vous souhaitez gérer et cliquez sur OK.

Remarque

Si une invite concernant le montage d'un système de fichiers NAS apparaît, vous pouvez en monter un si nécessaire. Pour plus d'informations, consultez la section (Facultatif) Monter un système de fichiers NAS.

Une fois odpscmd chargé dans Cloud Shell, le résultat ressemble à ce qui suit :

inflating: odpscmd_pub/plugins/cupid/lib/jackson-core-2.9.5.jar
inflating: odpscmd_pub/plugins/cupid/lib/odps-console-cupid-public-0.43.1-public.jar
inflating: odpscmd_pub/plugins/cupid/plugin.ini
inflating: odpscmd_pub/plugins/volume2/lib/odps-console-volume2-0.43.1-public.jar
inflating: odpscmd_pub/plugins/volume2/lib/odps-sdk-volumefs-0.43.1-public.jar
inflating: odpscmd_pub/plugins/volume2/lib/hadoop-shaded-protobuf_3_7-1.1.1.jar
inflating: odpscmd_pub/plugins/volume2/lib/hadoop-annotations-3.3.3.jar
inflating: odpscmd_pub/plugins/volume2/lib/hadoop-auth-3.3.3.jar
inflating: odpscmd_pub/plugins/volume2/lib/hadoop-common-3.3.3.jar
/home/shell
Aliyun ODPS Command Line Tool
Version 0.43.1-public
@Copyright 2020 Alibaba Cloud Computing Co., Ltd. All rights reserved.
Connecting to http://service.odps.aliyun.com/api, project: xxx
Endpoint: http://service.odps.aliyun.com/api
Project: xxx
Schema: default
Quota: default in region N/A
Timezone: Asia/Shanghai
Connected!
xxx (default)>

(Facultatif) Monter un système de fichiers NAS

Cloud Shell fournit 10 Go de stockage temporaire qui est réinitialisé lors de la destruction de la machine virtuelle. Pour un stockage persistant, montez un système de fichiers NAS, que Cloud Shell charge automatiquement à chaque démarrage de session.

Dans la fenêtre MaxCompute Cloud CMD, cliquez sur l'icône et sélectionnez Mount Storage Space pour lier un système de fichiers NAS.

Remarque

Le montage d'un système de fichiers NAS entraîne des frais de stockage NAS. Dissociez l'espace de stockage lorsque vous n'en avez plus besoin. Pour plus d'informations sur les frais de stockage NAS, consultez la page Aperçu de la facturation.

Utiliser odpscmd dans Cloud Shell

odpscmd dans Cloud Shell prend en charge toutes les commandes SQL disponibles dans le client local. Les exemples suivants montrent comment exécuter des commandes SQL et transférer des données.

Exécuter des commandes SQL

Créez la table result_table1 :

CREATE TABLE IF NOT EXISTS result_table1 (
 education STRING comment 'Education level',
 num BIGINT comment 'Number of people');

Une fois la table créée, exécutez la commande suivante pour la consulter :

SHOW TABLES;

Transfert de données

Télécharger un fichier
1. Cliquez sur l'icône et sélectionnez Upload pour transférer un fichier local. Cet exemple utilise le fichier result.txt.
  
  Une fois le téléchargement terminé, appuyez sur Ctrl+c pour quitter l'environnement Cloud Shell (odpscmd), puis exécutez la commande ll pour vérifier si le téléchargement a réussi et afficher le chemin du fichier.
```
shell@Alicloud:~$ ll
total 24
drwxr-xr-x 3 shell shell 4096 Jul 19 08:21 ./
drwxr-xr-x 1 root  root  4096 Jul 19 08:00 ../
-rw------- 1 shell shell  292 Jul 19 08:22 .bash_history
drwx------ 3 shell shell 4096 Jul 19 08:00 .config/
-rw-r--r-- 1 shell shell  325 Jul 19 08:15 .odpscmd.history
-rw-r--r-- 1 shell shell   30 Jul 19 08:21 result.txt
-rw-r--r-- 1 shell shell    0 Jul 19 08:09 whoami
shell@Alicloud:~$
```
  Après avoir confirmé la présence du fichier, exécutez la commande suivante pour revenir à l'environnement odpscmd :
```
cloudshell-odpscmd -p <project.name>
```
2. Téléchargez le fichier result.txt vers MaxCompute :
```
tunnel upload result.txt result_table1;
```
Télécharger un fichier
1. Téléchargez la table MaxCompute result_table1 vers Cloud Shell :
```
Tunnel download result_table1 result_table1.txt;
```
2. Cliquez sur l'icône et sélectionnez Download pour enregistrer le fichier result_table1.txt sur votre ordinateur local.