Platform For AI:データセット、OSS、NAS、または CPFS のマウント

データセットのマウント

1. データセットの作成

   PAI コンソールにログインします。左側のナビゲーションウィンドウで、AI Asset Management > Dataset を選択します。表示されたページで、カスタムデータセットまたはパブリックデータセットを作成します。詳細については、「データセットの作成と管理」をご参照ください。

2. データセットのマウント

   DSW インスタンス構成ページで、Dataset Mounting パラメーターを見つけます。このページは、インスタンス作成時、または既存のインスタンスで Change Settings をクリックすることでアクセスできます。Custom をクリックし、作成済みのデータセットを選択して マウントパス を入力します。

ストレージパスの直接マウント

このセクションでは、OSS ストレージパスのマウントを例として説明します。

1. OSS バケットの作成

   OSS を有効化 し、バケットを作成 します。

   重要

   バケットのリージョンは PAI のリージョンと同一である必要があります。バケット作成後は、リージョンを変更できません。

2. OSS パスのマウント

   DSW インスタンス構成ページ（インスタンス作成時、または既存のインスタンスで Change Settings をクリックして開く）で、ストレージのマウント パラメーターを見つけます。OSS をクリックし、作成済みの OSS バケットパスを選択して マウントパス を入力します。Advanced Configurations フィールドはデフォルトで空です。必要に応じて構成できます。詳細については、「詳細なマウント構成」をご参照ください。

前提条件

1. PAI Python SDK をインストールします。DSW インスタンスの Terminal で、次のコマンドを実行します。Python 3.8 以降が必要です。

   python -m pip install pai>=0.4.11

2. SDK が PAI にアクセスできるようにアクセス認証情報を構成します。

   • 方法 1：DSW インスタンスをデフォルトの PAI ロールまたはカスタム RAM ロールを使用するように構成します。インスタンス構成ページを開き、下部の Show More をクリックして、インスタンス RAM ロールを選択します。詳細については、「DSW インスタンスの RAM ロールの構成」をご参照ください。

   • 方法 2：PAI Python SDK が提供するコマンドラインツールを使用して手動で構成します。Terminal で次のコマンドを実行して、アクセスパラメーターを構成します。例については、「初期化」をご参照ください。

     python -m pai.toolkit.config

使用例

• デフォルトパスへのマウント

  データは、インスタンス内のデフォルトマウントパスにマウントされます。公式のプリビルドインスタンスイメージの場合、デフォルトパスは /mnt/dynamic/ です。

  from pai.dsw import mount
  # OSS パスをマウントします。
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
  # データセットをマウントします。入力パラメーターはデータセット ID です。
  # mount_point = mount("d-m7rsmu350********")

• 指定パスへのマウント

  動的マウントでは、コンテナ内の特定のパス（またはサブディレクトリ）にデータをマウントする必要があります。SDK が提供する API を使用して、動的マウントパスを取得できます。

  from pai.dsw import mount, default_dynamic_mount_path
  # インスタンスのデフォルトマウントパスを取得します。
  default_path = default_dynamic_mount_path()
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
                , mount_point=default_path + "tmp/output/model")

• NAS の動的マウント

  from pai.dsw import mount, default_dynamic_mount_path
  # インスタンスのデフォルトマウントパスを取得します。
  default_path = default_dynamic_mount_path()
  # NAS をマウントします。NAS エンドポイントとインスタンスは同じ VPC 内にある必要があります。<region> はリージョン ID（例：cn-hangzhou）に置き換えてください。
  mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

• インスタンス内のすべてのマウント構成の表示

  from pai.dsw import list_dataset_configs
  print(list_dataset_configs())

• データのアンマウント

  from pai.dsw import mount, unmount
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
  # 入力パラメーターはマウントパスで、list_dataset_configs が返す MountPath 値です。
  # unmount コマンドを実行後、変更が反映されるまで数秒かかります。
  unmount(mount_point)

Q：マウントされた OSS ファイルが JupyterLab に表示されない

これは、DSW ファイルブラウザがデフォルトでインスタンスの作業ディレクトリ（通常は /mnt/workspace）を表示するためです。OSS に指定したマウントパス（例：/mnt/data）はデフォルトの作業ディレクトリ配下にないため、ファイルブラウザに表示されません。

ソリューション：

• コード経由でのアクセス：ファイルは実際に正常にマウントされています。コード内では、フルパスを使用してアクセスする必要があります。例：open('/mnt/data/my_file.csv')。

• マウントポイントの変更：UI で簡単にファイルを確認できるように、マウント構成時にマウントパスを作業ディレクトリ配下のサブディレクトリ（例：/mnt/workspace/my_oss_data）に設定できます。マウント完了後、ファイルブラウザの my_oss_data フォルダに OSS ファイルが表示されます。

• Terminal 経由でのアクセス：DSW Terminal で cd /mnt/data コマンドを使用してマウントディレクトリに移動し、ls などのコマンドでファイルを表示・管理できます。

Q：OSS マウント接続エラーの解決方法

このエラーは、DSW インスタンスと OSS 間のマウント接続が失われたことを示します。考えられる原因と解決策は以下のとおりです。

1. RAM ロールの権限の問題：DSW インスタンスに構成された RAM ロールが OSS へのアクセス権限（例：AliyunPAIDLCAccessingOSSRole）を持っているか確認してください。権限が不十分であることが、OSS からの読み取り失敗の一般的な原因です。

2. マウントサービスのリソース不足：高強度のランダム読み書きまたは大規模な小ファイル操作中に、マウントを担当する ossfs または JindoFuse プロセスがメモリ不足 (OOM) エラーによりクラッシュする可能性があります。マウント設定の詳細設定で、メタデータキャッシュを無効にするか、メモリ構成を増加させることができます。詳細については、「JindoFuse」をご参照ください。

3. 接続の復元：

   • 起動時マウントの場合、接続を復元する最も簡単な方法は、DSW インスタンスを再起動することです。システムが自動的にマウントを再確立します。

   • インスタンスを再起動せずに、PAI SDK を使用して動的マウントコマンドを実行し、パスを再マウントすることもできます。

Q：マウントに対応するデータの型

DSW は、データセットを作成するか、ストレージパスを直接マウントすることで、OSS、NAS、CPFS などのクラウドストレージサービスを使用できます。

• Alibaba Cloud Drive は非対応：DSW は現在、個人用 Alibaba Cloud Drive の直接マウントをサポートしていません。処理が必要なデータは OSS に保存することを推奨します。

• MaxCompute テーブルのマウントは非対応：MaxCompute（旧称 ODPS）のテーブルデータは、ファイルシステムのように DSW ディレクトリに「マウント」することはできません。DSW コード内で PAI が提供する SDK または API を使用して、このデータを読み書きできます。詳細については、「PyODPS を使用した MaxCompute テーブルの読み書き」をご参照ください。

Q：データの永続性と移行の確保方法

DSW インスタンスのシステムディスクは一時的なストレージを提供します。パブリックリソースグループの場合、インスタンスが 15 日以上停止するとデータは削除されます。専用リソースグループの場合、システムディスク上のデータはインスタンスが停止または削除された時点で削除されます。

データおよびコードを永続的に保存する、またはインスタンス間で移行するには、外部ストレージを使用する必要があります。

• 永続化ソリューション：重要なデータ、コード、モデルをすべてマウントされた OSS または NAS パスに保存します。これにより、DSW インスタンスが削除されても、すべてのアセットがご利用の OSS または NAS に安全に保存されます。

• 移行ソリューション：ある DSW インスタンスから別のインスタンスにデータを移行する必要がある場合、同じ OSS または NAS パスを新しいインスタンスにマウントするだけです。これが最も便利なデータ移行方法です。

Q：失敗した DSW インスタンスからのデータのエクスポート

DSW インスタンスがリソース不足などの理由で起動できない場合でも、システムディスク上のデータは直ちに失われません。データをエクスポートするために、次の方法を試してください。

1. インスタンス仕様の変更と再起動：インスタンス一覧ページで「設定変更」をクリックし、別の利用可能なインスタンス仕様を選択してからインスタンスを再起動します。仕様変更によってシステムディスク上のデータが失われることはありません。インスタンスが正常に起動したら、すぐにデータを OSS または NAS にバックアップしてください。

2. リージョンまたはアベイラビリティゾーンの切り替え：現在のリージョンでリソースが不足しており、データがすでに外部ストレージに保存されている場合、新しいインスタンスを作成して同じ OSS/NAS ストレージをマウントし、データを復元できます。

3. テクニカルサポートへの問い合わせ：上記の方法で問題が解決しない場合は、チケットを送信してテクニカルサポートの支援を受けてください。