Platform For AI:Notebook

Como funciona

O componente Notebook oferece dois modos:

No modo Development, inicie uma instância DSW a partir do nó do Notebook. A instância carrega automaticamente os dados de saída e o estado dos componentes anteriores, permitindo inspecionar resultados upstream, desenvolver lógica e transmitir resultados downstream — tudo isso sem sair da tela do pipeline.

No modo Running, acionar o pipeline (manualmente ou por meio de um agendamento do DataWorks) inicia um job DLC que executa o arquivo de Notebook convertido pelo Jupyter nbconvert.

Descrição do componente

O componente Notebook possui quatro portas de entrada e quatro portas de saída:

Use o pacote pai-notebook-utils para acessar as configurações das portas e parâmetros personalizados diretamente no Notebook.

pip install --upgrade https://pai-sdk.oss-cn-shanghai.aliyuncs.com/pai_notebook_utils/dist/pai_notebook_utils-0.0.1-py2.py3-none-any.whl

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()      # list of input port configs
node_outputs = NotebookUtils.get_outputs()    # list of output port configs
custom_params = NotebookUtils.get_custom_params()  # dict of custom parameters

Portas de entrada

A função get_inputs() retorna uma lista. Cada item contém:

Entrada de tabela MaxCompute — location_type é MaxComputeTable; value contém project, table e endpoint:

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()

for node_input in node_inputs:
    if node_input.location_type == "MaxComputeTable":
        input_name = node_input.name
        table_name = node_input.value["table"]
        project = node_input.value["project"]
        endpoint = node_input.value["endpoint"]
        print(f"input_name: {input_name}, project: {project}, table_name: {table_name}, endpoint: {endpoint}")

Entrada OSS — location_type é OSS; o caminho do OSS é montado em um caminho local. O campo value contém key, bucket, endpoint e mountPath:

from pai_notebook.utils.notebook_utils import NotebookUtils

node_inputs = NotebookUtils.get_inputs()

for node_input in node_inputs:
    if node_input.location_type == "OSS":
        input_name = node_input.name
        key = node_input.value["key"]
        bucket = node_input.value["bucket"]
        endpoint = node_input.value["endpoint"]
        mount_path = node_input.value["mountPath"]
        print(f"input_name: {input_name}, bucket: {bucket}, key: {key}, endpoint: {endpoint}, mount path: {mount_path}")

Portas de saída

A função get_outputs() retorna uma lista. Cada item contém:

• Saídas OSS (output1, output2): os dados são gravados no caminho configurado do OSS. Se o Job Output Path não estiver definido, o sistema gera o caminho automaticamente a partir do caminho padrão global. O diretório OSS é montado em /ml/output/ no contêiner do job: output1 mapeia para /ml/output/output1/ e output2 mapeia para /ml/output/output2/. O resultado da execução do Notebook (HTML) é salvo em /ml/output/result/.

• Saídas MaxCompute (output3, output4): o workspace deve estar associado a um mecanismo de computação MaxCompute.

from pai_notebook.utils.notebook_utils import NotebookUtils

node_outputs = NotebookUtils.get_outputs()

for node_output in node_outputs:
    output_name = node_output.name
    if node_output.location_type == "MaxComputeTable":
        table_name = node_output.value["table"]
        project = node_output.value["project"]
        endpoint = node_output.value["endpoint"]
        print(f"output_name: {output_name}, project: {project}, table_name: {table_name}, endpoint: {endpoint}")
    elif node_output.location_type == "OSS":
        key = node_output.value["key"]
        bucket = node_output.value["bucket"]
        endpoint = node_output.value["endpoint"]
        mount_path = node_output.value["mountPath"]
        print(f"output_name: {output_name}, bucket: {bucket}, key: {key}, endpoint: {endpoint}, mount path: {mount_path}")
    else:
        print(json.dumps(node_output.value, indent=4))

Parâmetros personalizados

Configure parâmetros personalizados como pares chave-valor no nó do Notebook. Referencie variáveis globais usando o formato ${globalParamName}. Por exemplo, defina uma chave de parâmetro como modelVersion e seu valor como ${globalModelVersion}. Durante a execução, get_custom_params() retorna o valor resolvido:

from pai_notebook.utils.notebook_utils import NotebookUtils

custom_params = NotebookUtils.get_custom_params()
print(custom_params)
# Example output: {'modelVersion': '2.1.0', 'batchSize': '32'}

Os parâmetros personalizados seguem o formato de pares chave-valor e podem ser compartilhados entre o pipeline e a instância DSW, facilitando a modificação de parâmetros.

Configuração do Notebook

Adicione o componente Notebook a um pipeline no Machine Learning Designer e configure os seguintes parâmetros no painel direito.

Próximos passos

• Usar o DataWorks para agendar pipelines

• Configurar variáveis globais

• Faturamento do DSW

• Faturamento do DLC