Platform For AI:Notebook

Fonctionnement

Le composant Notebook prend en charge deux modes :

En mode Development, démarrez une instance DSW depuis le nœud Notebook. L'instance charge automatiquement les données de sortie et l'état des composants en amont. Vous pouvez ainsi inspecter les résultats intermédiaires, développer la logique métier et transmettre les résultats aux étapes suivantes, le tout sans quitter le canevas du pipeline.

En mode Running, le déclenchement du pipeline (manuellement ou via une planification DataWorks) lance un job DLC qui exécute le fichier Notebook converti par Jupyter nbconvert.

Description du composant

Le composant Notebook dispose de quatre ports d'entrée et de quatre ports de sortie :

Utilisez le package pai-notebook-utils pour accéder aux configurations des ports et aux paramètres personnalisés depuis le Notebook.

pip install --upgrade https://pai-sdk.oss-cn-shanghai.aliyuncs.com/pai_notebook_utils/dist/pai_notebook_utils-0.0.1-py2.py3-none-any.whl

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()      # list of input port configs
node_outputs = NotebookUtils.get_outputs()    # list of output port configs
custom_params = NotebookUtils.get_custom_params()  # dict of custom parameters

Ports d'entrée

La fonction get_inputs() renvoie une liste. Chaque élément contient :

Entrée de table MaxCompute — location_type est défini sur MaxComputeTable ; value contient project, table et endpoint :

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()

for node_input in node_inputs:
    if node_input.location_type == "MaxComputeTable":
        input_name = node_input.name
        table_name = node_input.value["table"]
        project = node_input.value["project"]
        endpoint = node_input.value["endpoint"]
        print(f"input_name: {input_name}, project: {project}, table_name: {table_name}, endpoint: {endpoint}")

Entrée OSS — location_type est défini sur OSS ; le chemin OSS est monté sur un chemin local. value contient key, bucket, endpoint et mountPath :

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()

for node_input in node_inputs:
    if node_input.location_type == "OSS":
        input_name = node_input.name
        key = node_input.value["key"]
        bucket = node_input.value["bucket"]
        endpoint = node_input.value["endpoint"]
        mount_path = node_input.value["mountPath"]
        print(f"input_name: {input_name}, bucket: {bucket}, key: {key}, endpoint: {endpoint}, mount path: {mount_path}")

Ports de sortie

La fonction get_outputs() renvoie une liste. Chaque élément contient :

• Sorties OSS (output1, output2) : les données sont écrites dans le chemin OSS configuré. Si le champ Job Output Path n'est pas défini, le chemin est généré automatiquement à partir du chemin global par défaut. Le répertoire OSS est monté sur /ml/output/ dans le conteneur du job : output1 correspond à /ml/output/output1/ et output2 à /ml/output/output2/. Le résultat de l'exécution du Notebook (HTML) est enregistré dans /ml/output/result/.

• Sorties MaxCompute (output3, output4) : l'espace de travail doit être associé à un moteur de calcul MaxCompute.

from pai_notebook.utils.notebook_utils import NotebookUtils

node_outputs = NotebookUtils.get_outputs()

for node_output in node_outputs:
    output_name = node_output.name
    if node_output.location_type == "MaxComputeTable":
        table_name = node_output.value["table"]
        project = node_output.value["project"]
        endpoint = node_output.value["endpoint"]
        print(f"output_name: {output_name}, project: {project}, table_name: {table_name}, endpoint: {endpoint}")
    elif node_output.location_type == "OSS":
        key = node_output.value["key"]
        bucket = node_output.value["bucket"]
        endpoint = node_output.value["endpoint"]
        mount_path = node_output.value["mountPath"]
        print(f"output_name: {output_name}, bucket: {bucket}, key: {key}, endpoint: {endpoint}, mount path: {mount_path}")
    else:
        print(json.dumps(node_output.value, indent=4))

Paramètres personnalisés

Configurez les paramètres personnalisés sous forme de paires clé-valeur dans le nœud Notebook. Faites référence aux variables globales en utilisant le format ${globalParamName}. Par exemple, définissez une clé de paramètre sur modelVersion et sa valeur sur ${globalModelVersion}. À l'exécution, get_custom_params() renvoie la valeur résolue :

from pai_notebook.utils.notebook_utils import NotebookUtils

custom_params = NotebookUtils.get_custom_params()
print(custom_params)
# Example output: {'modelVersion': '2.1.0', 'batchSize': '32'}

Les paramètres personnalisés sont présentés sous forme de paires clé-valeur et peuvent être partagés entre un pipeline et une instance DSW, ce qui facilite leur modification.

Configuration du Notebook

Ajoutez le composant Notebook à un pipeline dans Machine Learning Designer, puis configurez les paramètres suivants dans le volet de droite.

Étapes suivantes

• Utiliser DataWorks pour planifier des pipelines

• Configurer les variables globales

• Facturation de DSW

• Facturation de DLC