数据科学家可以使用云原生AI套件创建Jupyter Notebook来进行机器学习算法开发调试，并将算法提交到ACK集群中进行训练。云原生AI套件可按用户选择，将开源JupyterLab或者用户自定义的Jupyter服务镜像，部署到ACK集群中，作为AI模型集成开发环境，并自动配置与ACK集群中的用户权限机制集成。本文介绍如何通过云原生AI套件创建和使用Jupyter Notebook。

前提条件

Jupyter Notebook功能介绍

  • 提供一个云平台集成的机器学习实验环境，该环境可以作为机器学习中的本地开发角色。
  • 提供一个拷贝或者处理数据集的工具，将相关的数据集处理完直接提交至持久化存储，可以结合大数据工具进行数据集的处理。
  • 提供机器学习的测试、预处理等工作的环境，在该环境您可以编写机器学习主要代码，且将其打包成docker Image推送至集群本地或者远程的容器镜像仓库。

步骤一：创建Jupyter Notebook

  1. 登录开发控制台。具体操作，请参见访问AI开发控制台。
  2. 在开发控制台左侧导航栏中，单击Notebook。
  3. 在Notebook页面，单击创建Notebook。
  4. 在Notebook基本信息和Notebook资源配置区域，配置相关信息后，单击创建Notebook。
    create_notebook
    1. 输入Notebook名称和命名空间，选择Notebook镜像和数据配置，其中命名空间只能提交到集群管理员为开发分配的命名空间中，其他选项可根据需要配置。
    2. 打开Workspace PVC开关，在Workspace持久化的目标PVC下拉列表，选择Workspace挂载的PVC。
    3. 在Notebook资源配置区域，输入CPU（核数）和GPU卡数，选择内存（GPU）。
  5. 任务创建完成后，您可以在Notebook页面，单击刚创建的Notebook的名称，即能查看Notebook的运行状况等信息。

步骤二：使用Jupyter Notebook

  1. 在Notebook页面，单击选择一个状态为Running的Notebook。
  2. 单击Notebook区域下的Python3。
    说明 在创建Notebook页面，阿里云容器服务团队提供的官方镜像只支持Python语言。如果您有其他需求，可以根据制作Notebook自定义镜像的说明内容进行自定义镜像Dockerfile的制作与镜像的打包操作，具体操作，请参见制作Jupyter Notebook自定义镜像说明。
    23
  3. 在Jupyter Notebook中使用Arena进行任务提交。

    方式一：在命令行工具使用Arena进行任务提交

    24

    方式二：在Python的SDK中使用Arena进行任务提交

    25

制作Jupyter Notebook自定义镜像说明

为了满足不同的用户的不同需求，在创建Notebook页面为您提供了自定义Jupyter Notebook镜像的入口，如下图所示：

28
您可以基于以下流程进行自定义镜像Dockerfile的制作与镜像的打包操作：
说明 镜像中jupyterlab的版本必须大于等于3.0.0。
FROM tensorflow/tensorflow:1.15.5-gpu
USER root
RUN pip install jupyter && \
    pip install ipywidgets && \
    jupyter nbextension enable --py widgetsnbextension && \
    pip install jupyterlab && jupyter serverextension enable --py jupyterlab
# 下载安装Arena的Python SDK工具包。
RUN pip install arenasdk
# 您可以通过其他途径安装JupyterLab，但是必须暴露服务到8888端口。
EXPOSE 8888
USER jovyan
USER root