PyODPS est le SDK Python pour MaxCompute. Il permet de développer des tâches MaxCompute, d'analyser des données et de gérer des ressources depuis Python.
PyODPS
PyODPS fournit une API DataFrame et des méthodes pour gérer les objets MaxCompute. Il prend en charge Python 2 (version 2.6 et ultérieure) et Python 3.
Pour en savoir plus sur PyODPS, consultez les ressources suivantes :
Documentation PyODPS : Documentation PyODPS.
Installation de PyODPS : Guide d'installation de PyODPS.
Développement avec PyODPS : Guide de développement PyODPS.
Initialisation du client
Avant d'utiliser PyODPS, initialisez un objet client MaxCompute avec vos identifiants de compte Alibaba Cloud :
import os
from odps import ODPS
# Make sure that the ALIBABA_CLOUD_ACCESS_KEY_ID and ALIBABA_CLOUD_ACCESS_KEY_SECRET
# environment variables are set to your AccessKey ID and AccessKey Secret.
o = ODPS(
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
project='your-default-project',
endpoint='your-end-point',
)Paramètres :
ALIBABA_CLOUD_ACCESS_KEY_ID et ALIBABA_CLOUD_ACCESS_KEY_SECRET : définissez ces variables d'environnement avec un ID AccessKey et un secret AccessKey disposant des autorisations nécessaires pour manipuler les objets du projet MaxCompute cible. Vous pouvez obtenir ces identifiants sur la page AccessKey Management.
-
your-default-project : nom de votre projet MaxCompute.
Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche. Ensuite, dans le volet de navigation de gauche, choisissez .
your-end-point : endpoint correspondant à la région du projet.
Méthodes
Méthodes PyODPS courantes pour les opérations MaxCompute :
Type d'objet | Méthode | Description |
project | get_project(project_name) | Récupère un projet MaxCompute. |
exist_project(project_name) | Vérifie l'existence d'un projet MaxCompute. | |
table | list_tables() | Répertorie toutes les tables d'un projet MaxCompute. |
exist_table(table_name) | Vérifie l'existence d'une table. | |
get_table(table_name, project=project_name) | Récupère une table. L'accès inter-projets est pris en charge. | |
create_table() | Crée une table. | |
read_table() | Lit les données d'une table. | |
write_table() | Écrit des données dans une table. | |
delete_table() | Supprime une table. | |
partition de table | exist_partition() | Vérifie l'existence d'une partition de table. |
get_partition() | Récupère une partition de table. | |
create_partition() | Crée une partition de table. | |
delete_partition() | Supprime une partition de table. | |
instruction SQL | execute_sql()/run_sql() | Exécute une instruction SQL. |
open_reader() | Lit le résultat de l'exécution. | |
instance | list_instances() | Répertorie toutes les instances d'un projet MaxCompute. |
exist_instance() | Vérifie l'existence d'une instance. | |
get_instance() | Récupère une instance. | |
stop_instance() | Arrête une instance en cours d'exécution. | |
resource | create_resource() | Crée une ressource. |
open_resource() | Ouvre une ressource en lecture. | |
get_resource() | Récupère une ressource. | |
list_resources() | Répertorie toutes les ressources du projet. | |
exist_resource() | Vérifie l'existence d'une ressource. | |
delete_resource() | Supprime une ressource. | |
function | create_function() | Crée une fonction. |
delete_function() | Supprime une fonction. | |
data tunnel | create_upload_session() | Crée une session de chargement de données. |
create_download_session() | Crée une session de téléchargement de données. |
Les méthodes create_table(), read_table(), write_table() et delete_table() nécessitent des paramètres. Pour plus de détails sur leur utilisation, consultez la rubrique Exemples de SDK Python : Table.