MaxCompute:Opérations Tunnel

Pour plus d'informations sur les opérations Tunnel, consultez la rubrique Commandes Tunnel. Le tableau suivant répertorie les commandes courantes.

Charger des données

Vous pouvez charger des données depuis un fichier local vers une table MaxCompute en mode ajout. Les chargements de données sont gratuits.

• Limitations

  • Vous pouvez charger un fichier ou un répertoire de premier niveau. Chaque opération de chargement ne peut cibler qu'une seule table ou une seule partition au sein d'une table.

  • Si vous chargez des données dans une table partitionnée, vous devez spécifier une partition. Pour les tables comportant plusieurs niveaux de partitionnement, vous devez spécifier une partition du niveau le plus bas.

• Syntaxe

  Tunnel upload <path> [<project_name>.]<table_name>[/<pt_spc>];

• Paramètres

  • path : Obligatoire. Chemin et nom du fichier source de données. Par défaut, le fichier de données est au format TXT. Le chemin et le nom de fichier ne peuvent contenir que des lettres latines, des chiffres et des traits de soulignement (_). Les caractères chinois et les espaces ne sont pas pris en charge. Si un chemin contient des caractères chinois sur un système dont les paramètres régionaux ne sont pas UTF-8, comme LANG=C, le client MaxCompute (odpscmd) signale une erreur « File not found ». Pour résoudre ce problème, utilisez un chemin contenant uniquement des caractères latins ou définissez les paramètres régionaux de votre système sur un encodage UTF-8, tel que export LANG=en_US.UTF-8.

    Vous pouvez spécifier le chemin du fichier de deux manières : si le fichier se trouve dans le répertoire bin du client MaxCompute, définissez le paramètre path sur filename.extension. Si le fichier se trouve dans un autre répertoire, par exemple D:\test, définissez le paramètre path sur le chemin absolu, par exemple D:\test\filename.extension. L'outil de ligne de commande Tunnel n'impose aucune limite de taille de fichier et prend en charge le chargement de fichiers volumineux. Pour optimiser le chargement de fichiers volumineux, vous pouvez utiliser le paramètre -bs afin d'ajuster la taille de chaque bloc de données. La valeur par défaut est de 100 MiB.

    Remarque

    Sur macOS, la valeur du paramètre path doit être un chemin absolu. Par exemple, si votre fichier se trouve dans le répertoire bin du client MaxCompute, définissez le paramètre path sur un chemin absolu, tel que /Users/username/MaxCompute/bin/filename.extension.

  • project_name : Facultatif. Nom du projet contenant la table de destination. Ce paramètre est requis si vous accédez à une table située dans un autre projet.

  • table_name : Obligatoire. Nom de la table de destination.

  • pt_spc : Facultatif. Partition de destination. Vous devez spécifier une partition du niveau le plus bas. La valeur doit être au format partition_col1=col1_value1, partition_col2=col2_value1....

• Exemples

  • Exemple 1 : Chargez les données du fichier log.txt vers la table test_table dans le projet actuel. Le fichier log.txt est stocké dans le répertoire bin du client MaxCompute.

    Tunnel upload log.txt test_table;

  • Exemple 2 : Chargez les données du fichier log.txt vers la partition p1="b1",p2="b2" de la table test_table. La table est une table partitionnée à deux niveaux dans le projet test_project. Le fichier log.txt est stocké dans le dossier test du lecteur D.

    Tunnel upload D:\test\log.txt test_project.test_table/p1="b1",p2="b2";

Télécharger des données

Télécharge les données d'une table MaxCompute ou le résultat d'exécution d'une instance spécifiée vers un fichier local. Le téléchargement de données via Internet est facturé en fonction du volume de données téléchargé. Les frais sont calculés comme suit : Frais de téléchargement = Données téléchargées (Go) × Prix (0,1166 USD/Go).

• Limitations

  • Chaque téléchargement ne peut exporter les données que d'une seule table ou d'une seule partition vers un seul fichier.

  • Si vous téléchargez des données depuis une table partitionnée, vous devez spécifier une partition. Pour les tables comportant plusieurs niveaux de partitionnement, vous devez spécifier une partition du niveau le plus bas.

• Syntaxe

  Tunnel download [<project_name>.]<table_name>[/<pt_spc>] <path>;

• Paramètres

  • project_name : Facultatif. Nom du projet contenant la table source. Ce paramètre est requis si vous accédez à une table située dans un autre projet.

  • table_name : Obligatoire. Nom de la table source.

  • pt_spc : Facultatif. Partition source. Vous devez spécifier une partition du niveau le plus bas. La valeur doit être au format partition_col1=col1_value1, partition_col2=col2_value1....

  • path : Obligatoire. Chemin de destination et nom de fichier pour le fichier de données téléchargé. Par défaut, le fichier de données téléchargé est au format TXT.

    Deux options s'offrent à vous pour le chemin d'enregistrement du fichier de données. Vous pouvez télécharger le fichier directement dans le répertoire bin du client MaxCompute. Dans ce cas, définissez le paramètre path sur filename.extension. Vous pouvez également télécharger le fichier vers un autre chemin, par exemple le dossier test du lecteur D. Dans ce cas, définissez le paramètre path sur D:\test\filename.extension.

• Exemples

  • Exemple 1 : Téléchargez les données de la table test_project.test_table (une table partitionnée à deux niveaux) vers le fichier test_table.txt. Le fichier test_table.txt se trouve dans le répertoire bin du client MaxCompute. La commande est la suivante.

    Tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt;

  • Exemple 2 : Téléchargez les données de la table test_project.test_table (une table partitionnée à deux niveaux) vers le fichier test_table.txt situé dans le dossier test du lecteur D. La commande est la suivante.

    Tunnel download test_project.test_table/p1="b1",p2="b2" D:\test\test_table.txt;