MaxCompute:Generate a third-party package for PyODPS

Ön koşullar

İşleme başlamadan önce aşağıdaki gereksinimleri karşıladığınızdan emin olun:

• PyODPS V0.11.3 veya üzeri bir sürümün yüklü olması

• Docker'ın kurulu ve çalışır durumda olması (varsayılan Docker modu için gereklidir)

• Python 3'ün kurulu olması (önerilir; yeni projelerde Python 2 paketlemesi başarısız olabilir)

Paketleme senaryolarına genel bakış

Senaryonuz için uygun komutu bulmak amacıyla aşağıdaki tabloyu kullanın ve ardından alt bölümlerdeki ayrıntılı talimatları izleyin.

Çalışma mekanizması

pyodps-pack aracı, PyODPS ile birlikte otomatik olarak kurulur. Linux ve macOS işletim sistemlerinde çalıştırılabilir dosya, Python kurulum yolunun altındaki bin dizininde bulunur. Windows'ta ise Scripts dizinindedir. pyodps-pack komutlarını Windows CLI, macOS Terminal veya Linux Shell üzerinden çalıştırın; DataWorks konsolu, MaxCompute istemcisi (odpscmd) veya Python CLI üzerinden çalıştırmayın.

bin veya Scripts dizini, PATH ortam değişkeninizde zaten tanımlıysa (Python kurulumu veya sanal ortam etkinleştirme sırasında ayarlanmışsa) ek bir yapılandırmaya gerek yoktur. Aksi takdirde dizine manuel olarak gidin veya dizini PATH değişkenine ekleyin.

Paketleme işlemi tamamlandığında pyodps-pack aracı çözümlenen tüm bağımlılık sürümlerini ekrana yazdırır ve packages.tar.gz dosyasını geçerli dizine kaydeder.

Paketleme modunu seçme

pyodps-pack aracı iki farklı modu destekler:

PyPI bağımlılıklarını paketleme

Kullanım notları:

• Yeni MaxCompute projeleri için Python 3 kullanın. Python 2 ile paketleme başarısız olabilir.

• Mevcut Python 2 projelerinizi bakımı kolaylaştırmak için Python 3'e taşıyın.

• Linux'ta Docker'ın gerekli izinlere sahip olduğundan emin olmak için pyodps-pack komutlarının başına sudo ifadesini ekleyin.

• macOS'ta sudo ile pyodps-pack kullanmayın; bu durum izin hatalarına neden olabilir.

Docker modu:

pyodps-pack pandas

Docker olmayan mod:

pyodps-pack --without-docker pandas

Belirli sürüm:

pyodps-pack pandas==1.2.5

Paketleme sonrasında pyodps-pack aracı, dahil edilen tüm paketlerin çözümlenmiş sürümlerini yazdırır:

Package         Version
--------------- -------
numpy           1.21.6
pandas          1.2.5
python-dateutil 2.8.2
pytz            2022.6
six             1.16.0

Çıktı arşivi packages.tar.gz dosyası geçerli dizine kaydedilir.

pyodps-pack --mcpy27 pandas

pyodps-pack --dwpy27 pandas

Özel kodu paketleme

pyodps-pack aracı, setup.py veya pyproject.toml ile oluşturulmuş özel Python projelerini paketler. Ayrıntılar için bkz. Build System Interface.

Aşağıdaki örnek, şu dizin yapısına sahip pyproject.toml tabanlı bir projeyi paketler:

test_package_root
├── test_package
│   ├── __init__.py
│   ├── mod1.py
│   └── subpackage
│       ├── __init__.py
│       └── mod2.py
└── pyproject.toml

Örnek pyproject.toml dosyası:

[project]
name = "test_package"
description = "pyodps-pack example package"
version = "0.1.0"
dependencies = [
    "pandas>=1.0.5"
]

test_package_root dizininin üst dizinini belirterek aşağıdaki komutu çalıştırın ve <path_to_package> değerini ilgili yolla değiştirin:

pyodps-pack /<path_to_package>/test_package_root

Bu işlem, projeyi ve tüm bağımlılıklarını packages.tar.gz dosyasında sıkıştırır.

Git deposundaki kodu paketleme

Git URL'sini doğrudan belirtin:

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git

Belirli bir dalı veya etiketi paketlemek için:

pyodps-pack git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

Paketleme süreci Cython gibi derleme zamanı bağımlılıkları gerektiriyorsa bunları --install-requires parametresiyle belirtin. Bu bağımlılıklar paketleme sırasında kullanılır ancak çıktı arşivine mutlaka dahil edilmez.

pyodps-pack \
    --install-requires cython \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

Alternatif olarak, derleme zamanı bağımlılıklarını requirements.txt formatında bir dosyada listeleyin ve --install-requires-file parametresiyle dosyayı belirtin:

cython>0.29

pyodps-pack \
    --install-requires-file install-requires.txt \
    git+https://github.com/aliyun/aliyun-odps-python-sdk.git@v0.11.2.2

İkili bağımlılıkları paketleme

Bazı paketler, paketlemeden önce derlenmesi gereken dinamik bağlantı kitaplıkları gibi ikili bileşenler içerir. --run-before parametresini kullanarak pyodps-pack çalışmadan önce bu ikili bileşenleri yükleyen bir Bash betiği çalıştırın.

Aşağıdaki örnekte, CMake ile derlenen libgdal (sürüm > 3.6.0) ve PROJ (sürüm 6.0 veya üzeri) gerektiren GDAL 3.6.0 paketlenmektedir.

1. PROJ ve GDAL'ı derleyip yükleyen install-gdal.sh adlı bir betik yazın:

   #!/bin/bash
   set -e
   
   cd /tmp
   curl -o proj-6.3.2.tar.gz https://download.osgeo.org/proj/proj-6.3.2.tar.gz
   tar xzf proj-6.3.2.tar.gz
   cd proj-6.3.2
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install
   
   cd /tmp
   curl -o gdal-3.6.0.tar.gz http://download.osgeo.org/gdal/3.6.0/gdal-3.6.0.tar.gz
   tar xzf gdal-3.6.0.tar.gz
   cd gdal-3.6.0
   mkdir build && cd build
   cmake ..
   cmake --build .
   cmake --build . --target install

2. Betik ve oldest-supported-numpy derleme bağımlılığı ile pyodps-pack komutunu çalıştırın:

   pyodps-pack --install-requires oldest-supported-numpy --run-before install-gdal.sh gdal==3.6.0

Parametreler

Paketleme hatalarını giderme

Sonraki adımlar

Paketi oluşturduktan sonra bunu MaxCompute'a arşiv kaynağı olarak yükleyin ve PyODPS düğümünüzde referans verin. Bkz. PyODPS düğümünde üçüncü taraf pakete referans verme.