このトピックでは、Docker を使用して OSS Connector for AI/ML 環境を含むイメージをビルドする方法について説明します。
前提条件
-
Docker がインストールされていること。
-
アクセス認証情報の設定ファイルと OSS コネクタの設定ファイルが作成されていること。詳細については、「OSS Connector for AI/ML の設定」をご参照ください。
例
以下の例では、OSS Connector for AI/ML と Python 3.12 を含む Docker イメージをビルドする方法について説明します。
-
Linux で、Docker イメージをビルドするために Dockerfile という名前のテキストファイルを作成します。
touch Dockerfile -
Dockerfile ファイルに以下の設定を追加して、ファイルを保存します。
# ベースイメージを指定します。ベースイメージは、ユーザーイメージに置き換えることができます。 FROM python:3.12.4 # 作業ディレクトリを指定します。 WORKDIR /app # 現在のディレクトリにあるファイルをコンテナ内の /app ディレクトリにコピーします。ほとんどの場合、COPY コマンドを使用して、プロジェクトファイルと必要な設定ファイルをコピーします。 COPY . /app # OSS Connector for AI/ML をインストールします。 RUN pip install osstorchconnector -
次のコマンドを実行して Docker イメージをビルドします。
コマンド内の
your_image_nameは、ビルドするイメージの名前を指定します。ビジネス要件に基づいてパラメーターを指定してください。docker build -t your_image_name . -
次のコマンドを実行してコンテナを起動し、ホスト上のアクセス認証情報の設定ファイルと OSS コネクタの設定ファイルをマウントします:
docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name bashコンテナが起動すると、OSS Connector for AI/ML がインストールされたコンテナ環境を利用できます。この環境には、以下に示すように、マウントされた OSS コネクタの設定ファイルとアクセス認証情報の設定ファイルが含まれています。
root@iZbp18kvqojqg0iy5uo8teZ:~# docker run -it --name new-container-name -v /root/.alibabacloud/credentials:/app/credentials -v /etc/oss-connector/config.json:/app/config.json your_image_name bash root@a70d7f0e6695:/app# ls Dockerfile config.json credentials root@a70d7f0e6695:/app#
関連ドキュメント
OSS Connector for AI/ML がインストールされたコンテナ環境をトレーニングタスクに使用する場合、以下の操作を実行できます:
-
OssMapDataset を使用して、ランダム読み取りに適したマップデータセットを構築します。詳細については、「OSS のデータを使用したランダム読み取りに適したマップデータセットの構築」をご参照ください。
-
OssIterableDataset を使用して、ストリーミングによる順次アクセス用のイテラブルデータセットを構築します。詳細については、「OSS のデータを使用したストリーミングによる順次アクセスに適したイテラブルデータセットの構築」をご参照ください。
-
OssCheckpoint を使用して、OSS のチェックポイントに対する読み取りおよび書き込み操作を実行します。詳細については、「OSS でのチェックポイントの保存とアクセス」をご参照ください。