Container Service for Kubernetes:ノートブックの作成と使用方法

ノートブックの概要

• クラウドプラットフォームと深く統合された機械学習実験環境を提供します。この環境では、オンプレミスのマシンで機械学習モデルを開発、テスト、および前処理できます。

• データのコピー、クリーニング、および前処理に使用できる組み込みのデータセット処理ツールを提供します。これにより、処理済みデータを永続ストレージに送信できます。ビッグデータツールを使用してデータセットを処理することもできます。

• モデルテストやデータの前処理などの機械学習プロセスのための環境を提供します。この環境では、機械学習ジョブのコードを記述およびデバッグし、コードを Docker イメージにパッケージ化し、後続のデプロイと使用のためにイメージをクラスターまたはリモート Container Registry リポジトリにプッシュできます。

ステップ 1: ノートブックを作成する

1. AI 開発者コンソールにログオンします。詳細については、「AI 開発者コンソールにログオンする」をご参照ください。

2. AI 開発者コンソールの左側のナビゲーションウィンドウで、[ノートブック] をクリックします。

3. [ノートブック] ページで、[ノートブックの作成] をクリックします。

4. [ノートブックメッセージ]、[ノートブックの設定]、および [詳細設定] セクションで、パラメータを設定し、[ノートブックの作成] をクリックします。

   

   • [ノートブックメッセージ] セクションで、次の操作を行います。

     1. [ノートブック名]、[ノートブックイメージ]、および [名前空間] を設定します。選択した名前空間は、クラスター管理者が AI 開発用に作成したものと同じである必要があります。デフォルトのノートブックイメージまたはカスタムノートブックイメージを選択できます。要件に基づいて他のパラメータを設定します。

        説明

        • [ノートブックイメージ] を指定する場合は、要件を満たすノートブックイメージを選択します。Jupyter ノートブックの場合は Jupyter ノートブックイメージを選択し、VS Code ノートブックの場合は VS Code ノートブックイメージを選択する必要があります。そうしないと、ノートブックは正常に機能しません。

        • カスタムノートブックイメージは、現在のクラスターでのみ使用できます。カスタムノートブックイメージを他のクラスターまたはユーザーと共有することはできません。

     2. [ワークスペース PVC] をオンにします。[ターゲット PVC] ドロップダウンリストから、ワークスペースに関連付けられた永続ボリューム要求 (PVC) を選択します。

     3. [トークン] スイッチをオンにして、カスタムトークンをノートブックに挿入し、セキュリティを強化します。この機能は Jupyter ノートブックのみでサポートされています。

     4. [ノートブックタイプ] を指定して、イメージの起動方法を選択します。ノートブックの種類によって必要な環境が異なります。たとえば、[ノートブックタイプ] が [Jupyter] に設定されている場合、Jupyter ノートブックが作成されます。

   • [ノートブックの設定] セクションで、[CPU (コア)]、[メモリ (GB)]、および [GPU (カード数)] を設定します。

   • [詳細設定] セクションでは、ノートブックの [ラベル]、[注釈]、[NodeSelector]、および [Toleration] を設定できます。

5. ノートブックが作成されたら、[ノートブック] ページに移動し、作成されたノートブックをクリックして詳細情報を表示します。

ステップ 2: Jupyter ノートブックを使用する

カスタムノートブックイメージを作成する

カスタムノートブックイメージを作成する前に、Jupyter ノートブックまたは VS Code ノートブックに最新の Arena コンポーネントバージョンをインストールする必要があります。これにより、ノートブックでデモを実行できます。Arena コンポーネントのインストール方法の詳細については、「Arena クライアントを設定する」をご参照ください。

FROM tensorflow/tensorflow:1.15.5-gpu
USER root
RUN pip install jupyter && \
    pip install ipywidgets && \
    jupyter nbextension enable --py widgetsnbextension && \
    pip install jupyterlab && jupyter serverextension enable --py jupyterlab
# Arena SDK for Python をダウンロードしてインストールします。
RUN pip install arenasdk
# 他の方法で JupyterLab をインストールする場合は、ポート 8888 を介してサービスを公開する必要があります。
EXPOSE 8888
USER jovyan

FROM ubuntu:18.04
USER root

RUN apt update && \
  	apt install -y curl

RUN cd /opt && \
  	wget https://aliacs-k8s-cn-hongkong.oss-cn-hongkong.aliyuncs.com/arena/install.sh && \
    /opt/install.sh

ノートブックをイメージとして保存する

バージョン 1.0.22 以降の ack-ai-dev-console コンポーネントでは、ノートブックをイメージとして保存できます。これにより、ノートブックの開発環境を保存できます。

ノートブックをイメージとして保存するには、次の手順を実行します。

1. ノートブックで ack-commit-agent コンポーネントのクライアントバイナリツールをダウンロードします。こちらをクリックしてツールをダウンロードします。

2. ノートブックで次のコマンドを実行して、クライアントをグローバルに実行可能にします。

   chmod +x ack-commit-ctl
   mv ack-commit-ctl /usr/bin/

3. このツールを使用して、ノートブックを送信し、イメージとして保存します。次の例は、イメージを送信する方法を示しています。

   ack-commit-ctl commit image-commit-sample:v0.1.0-test
   INFO[0000] container id: xxx
   INFO[0002] Container save success, image: image-commit-sample:v0.1.0-test

   ノートブックの送信後に上記の出力が表示された場合、ノートブックはイメージとして保存されています。

4. 次のコマンドを実行して、イメージリポジトリのユーザー名とパスワードを指定し、イメージをイメージリポジトリにプッシュします。

   ack-commit-ctl push image-commit-sample:v0.1.0-test --username=username --password=password
   INFO[0000] Start pushing the image:  image-commit-sample:v0.1.0-test 
   INFO[0000] Waiting...                                   
   INFO[0003] Image pushed successfully: image-commit-sample:v0.1.0-test

   上記の出力が表示された場合、イメージはイメージリポジトリにプッシュされています。