MaxCompute:Generate a third-party package for PyODPS

Prérequis

Avant de commencer, vérifiez que :

• PyODPS V0.11.3 ou version ultérieure est installé.

• Docker est installé et en cours d'exécution (requis pour le mode Docker, activé par défaut).

• Python 3 est disponible (recommandé ; l'empaquetage avec Python 2 peut échouer pour les nouveaux projets).

Scénarios d'empaquetage en un coup d'œil

Utilisez ce tableau pour identifier la commande adaptée à votre scénario, puis suivez les instructions détaillées des sections ci-dessous.

Fonctionnement

pyodps-pack s'installe automatiquement avec PyODPS. Sous Linux et macOS, l'exécutable se trouve dans le répertoire bin du chemin d'installation de Python. Sous Windows, il réside dans le répertoire Scripts. Exécutez les commandes pyodps-pack depuis l'invite de commandes Windows, le terminal macOS ou le shell Linux, et non depuis la console DataWorks, le client MaxCompute (odpscmd) ou l'interpréteur Python.

Si le répertoire bin ou Scripts figure déjà dans votre variable d'environnement PATH (définie lors de l'installation de Python ou de l'activation d'un environnement virtuel), aucune configuration supplémentaire n'est nécessaire. Sinon, accédez au répertoire manuellement ou ajoutez-le à la variable PATH.

Une fois l'empaquetage terminé, pyodps-pack affiche les versions résolues de toutes les dépendances et génère le fichier packages.tar.gz dans le répertoire courant.

Choisir un mode d'empaquetage

pyodps-pack prend en charge deux modes :

Empaqueter des dépendances PyPI

Remarques d'utilisation :

• Utilisez Python 3 pour les nouveaux projets MaxCompute. L'empaquetage avec Python 2 peut échouer.

• Pour les projets Python 2 existants, migrez vers Python 3 afin de simplifier la maintenance.

• Sous Linux, préfixez les commandes pyodps-pack avec sudo pour garantir que Docker dispose des autorisations nécessaires.

• Sous macOS, n'utilisez pas sudo avec pyodps-pack ; cela pourrait provoquer des erreurs d'autorisation.

Mode Docker :

pyodps-pack pandas

Mode sans Docker :

pyodps-pack --without-docker pandas

Version spécifique :

pyodps-pack pandas==1.2.5

Après l'empaquetage, pyodps-pack affiche les versions résolues de tous les packages inclus :

Package         Version
--------------- -------
numpy           1.21.6
pandas          1.2.5
python-dateutil 2.8.2
pytz            2022.6
six             1.16.0

L'archive de sortie packages.tar.gz est créée dans le répertoire courant.

pyodps-pack --mcpy27 pandas

pyodps-pack --dwpy27 pandas

Empaqueter du code personnalisé

pyodps-pack empaquette les projets Python personnalisés construits avec setup.py ou pyproject.toml. Pour plus de détails, consultez la page Build System Interface.

L'exemple suivant empaquette un projet basé sur pyproject.toml avec cette structure de répertoires :

test_package_root
├── test_package
│   ├── __init__.py
│   ├── mod1.py
│   └── subpackage
│       ├── __init__.py
│       └── mod2.py
└── pyproject.toml

Exemple de fichier pyproject.toml :

[project]
name = "test_package"
description = "pyodps-pack example package"
version = "0.1.0"
dependencies = [
    "pandas>=1.0.5"
]

Exécutez la commande suivante, en remplaçant <path_to_package> par le répertoire parent de test_package_root :

pyodps-pack /<path_to_package>/test_package_root

Cette opération compresse le projet et toutes ses dépendances dans le fichier packages.tar.gz.

Empaqueter du code depuis un dépôt Git

Transmettez directement l'URL Git :

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git

Pour empaqueter une branche ou un tag spécifique :

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

Si le processus d'empaquetage nécessite des dépendances de compilation (telles que Cython), spécifiez-les avec l'indicateur --install-requires. Ces dépendances sont utilisées pendant l'empaquetage, mais ne sont pas nécessairement incluses dans l'archive de sortie.

pyodps-pack \
    --install-requires cython \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

Vous pouvez également répertorier les dépendances de compilation dans un fichier au format requirements.txt et le transmettre avec l'indicateur --install-requires-file :

cython>0.29

pyodps-pack \
    --install-requires-file install-requires.txt \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

Empaqueter des dépendances binaires

Certains packages incluent des composants binaires, tels que des bibliothèques de liaison dynamique, qui doivent être compilés avant l'empaquetage. Utilisez l'indicateur --run-before pour exécuter un script Bash qui installe ces composants binaires avant l'exécution de pyodps-pack.

L'exemple suivant empaquette GDAL 3.6.0, qui nécessite libgdal (version > 3.6.0) et PROJ (version 6.0 ou ultérieure), tous deux compilés avec CMake.

1. Créez un script nommé install-gdal.sh qui compile et installe PROJ et GDAL :

   #!/bin/bash
   set -e
   
   cd /tmp
   curl -o proj-6.3.2.tar.gz https://download.osgeo.org/proj/proj-6.3.2.tar.gz
   tar xzf proj-6.3.2.tar.gz
   cd proj-6.3.2
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install
   
   cd /tmp
   curl -o gdal-3.6.0.tar.gz http://download.osgeo.org/gdal/3.6.0/gdal-3.6.0.tar.gz
   tar xzf gdal-3.6.0.tar.gz
   cd gdal-3.6.0
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install

2. Exécutez pyodps-pack avec le script et la dépendance de compilation oldest-supported-numpy :

   pyodps-pack --install-requires oldest-supported-numpy --run-before install-gdal.sh gdal==3.6.0

Paramètres

Dépanner les échecs d'empaquetage

Étapes suivantes

Après avoir généré le package, téléchargez-le dans MaxCompute en tant que ressource d'archive et référencez-le dans votre nœud PyODPS. Consultez la rubrique Référencer un package tiers dans un nœud PyODPS.