MaxCompute:Service de packaging automatique

def with_python_requirements(
    *requirements: str,
    force_rebuild: bool = False,
    prefer_binary: bool = False,
    pre_release: bool = False,
): ...

Paramètres

requirements (obligatoire)

Un ou plusieurs spécificateurs de packages de dépendance, conformes à la syntaxe PEP 508 — le même format que celui utilisé par pip.

@with_python_requirements("scikit_learn>1.0", "xgboost>1.0")

force_rebuild (facultatif, valeur par défaut : False)

Contrôle si MaxFrame doit ou non re-empaqueter les dépendances déjà mises en cache.

Pour le développement et les tests itératifs, conservez la valeur par défaut False. Utilisez force_rebuild=True lorsque vous souhaitez forcer une mise à niveau vers la dernière version du package et stocker le résultat en tant que ressource à long terme.

Avec force_rebuild=False , la ressource temporaire est supprimée quotidiennement. Si le cache est vidé entre deux exécutions, MaxFrame effectue un nouveau packaging automatiquement, ce qui ajoute de la latence à la prochaine exécution.

prefer_binary (facultatif, valeur par défaut : False)

Contrôle si MaxFrame privilégie les fichiers wheel binaires préconstruits aux distributions sources.

Privilégier les wheels binaires peut accélérer le packaging, mais la version sélectionnée risque de ne pas être la dernière publication.

pre_release (facultatif, valeur par défaut : False)

Contrôle si les versions de packages en pré-publication (alpha ou bêta) sont éligibles au packaging.

import os
import maxframe.dataframe as md
from maxframe import new_session
from maxframe.udf import with_python_requirements
from odps import ODPS

# Initialize the ODPS client.
# Load credentials from environment variables — avoid hardcoding AccessKey ID
# and AccessKey secret in your code.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='your-default-project',
    endpoint='your-end-point',
)

session = new_session(o)

data = [["abcd"], ["efgh"], ["ijkl"], ["mno"]]
md_df = md.DataFrame(data, columns=["col1"])

# Declare dependencies. MaxFrame packages them automatically at runtime.
@with_python_requirements("jieba==0.40 cloudpickle pandas")
def process(row):
    import jieba
    row["col1"] = row["col1"] + "_" + jieba.__version__
    return row

md_result = (
    md_df.apply(
        process,
        axis=1,
        result_type="expand",
        output_type="dataframe",
        dtypes=md_df.dtypes.copy(),
    )
    .execute()
    .fetch()
)