Platform For AI:データセット、OSS、NAS、または CPFS のマウント

データセットのマウント

1. データセットの作成

   PAI コンソールにログインします。左側のナビゲーションペインで、AI 資産管理 > データセット を選択します。表示されたページで、カスタムデータセットまたはパブリックデータセットを作成します。詳細については、「データセットの作成と管理」をご参照ください。

2. データセットのマウント

   DSW インスタンス設定ページで、データセットのマウント パラメーターを探します。インスタンスの作成時、または既存のインスタンスで 設定の変更 をクリックすると、このページにアクセスできます。カスタム をクリックし、作成したデータセットを選択して マウントパス を入力します。

ストレージパスの直接マウント

このセクションでは、OSS ストレージパスのマウントを例として説明します。

1. OSS バケットの作成

   OSS をアクティブ化し、バケットを作成します。

   重要

   バケットのリージョンは PAI のリージョンと同じにする必要があります。バケットのリージョンは、バケットの作成後に変更できません。

2. OSS パスのマウント

   インスタンスの作成時、または既存のインスタンスの 設定の変更 をクリックして開いた DSW インスタンス設定ページで、マウントストレージ パラメーターを見つけます。 OSS をクリックし、作成した OSS バケットパスを選択して、マウントパス を入力します。 [詳細設定] フィールドは、デフォルトでは空です。 必要に応じて設定できます。 詳細については、「高度なマウント設定」をご参照ください。

前提条件

1. PAI Python SDK をインストールします。DSW インスタンスの[ターミナル]で、次のコマンドを実行します。Python 3.8 以降が必要です。

   python -m pip install pai>=0.4.11

2. SDK が PAI にアクセスするための認証情報を設定します。

   • 方法 1: DSW インスタンスがデフォルトの PAI ロールまたはカスタム RAM ロールを使用するように設定します。インスタンス設定ページを開き、下部にある詳細設定を表示をクリックして、インスタンスの RAM ロールを選択します。詳細については、「DSW インスタンスの RAM ロールを設定する」をご参照ください。

   • 方法 2：PAI Python SDK が提供するコマンドラインツールを使用して手動で設定します。ターミナルで次のコマンドを実行して、アクセスパラメータを設定します。例については、「初期化」をご参照ください。

     python -m pai.toolkit.config

例

• デフォルトパスへのマウント

  データはインスタンス内のデフォルトのマウントパスにマウントされます。公式のビルド済みインスタンスイメージの場合、デフォルトのパスは /mnt/dynamic/ です。

  from pai.dsw import mount
  # OSS パスをマウントします。
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/") 
  # データセットをマウントします。入力パラメータはデータセット ID です。
  # mount_point = mount("d-m7rsmu350********")

• 指定したパスへのマウント

  動的マウントでは、コンテナ内の特定のパス (またはサブディレクトリ) にデータをマウントする必要があります。SDK が提供する API を使用して、動的マウントパスを取得できます。

  from pai.dsw import mount, default_dynamic_mount_path
  # インスタンスのデフォルトマウントパスを取得します。
  default_path = default_dynamic_mount_path()
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory"
                , mount_point=default_path + "tmp/output/model")

• NAS の動的マウント

  from pai.dsw import mount, default_dynamic_mount_path
  # インスタンスのデフォルトマウントパスを取得します。
  default_path = default_dynamic_mount_path()
  # NAS をマウントします。NAS エンドポイントとインスタンスは同じ VPC 内にある必要があります。<region> をリージョン ID (cn-hangzhou など) に置き換えてください。
  mount("nas://06ba748***-xxx.<region>.nas.aliyuncs.com/", default_path+"mynas3/")

• インスタンス内のすべてのマウント構成の表示

  from pai.dsw import list_dataset_configs
  print(list_dataset_configs())

• データのアンマウント

  from pai.dsw import mount, unmount
  mount_point = mount("oss://<YourBucketName>/Path/Data/Directory/")
  # 入力パラメータは、list_dataset_configs によって返される MountPath 値 (マウントパス) です。
  # unmount コマンドを実行してから、変更が反映されるまで数秒かかります。
  unmount(mount_point)

Q：マウントされた OSS ファイルが JupyterLab に表示されない

これは、DSW ファイルブラウザがデフォルトでインスタンスの作業ディレクトリ (通常は /mnt/workspace) を表示するためです。OSS に指定したマウントパス (例: /mnt/data) は、このデフォルトの作業ディレクトリ配下にないため、ファイルブラウザには表示されません。

解決方法：

• コードによるアクセス: ファイルは実際に正常にマウントされています。コード内でアクセスするには、 open('/mnt/data/my_file.csv') のように、フルマウントパスを使用する必要があります。

• マウントポイントの変更: UI でファイルを容易に表示するには、マウント設定時にマウントパスを作業ディレクトリ配下のサブディレクトリ (例: /mnt/workspace/my_oss_data) に設定できます。マウントが完了すると、ファイルブラウザーの my_oss_data フォルダーで OSS ファイルを表示できます。

• ターミナルからのアクセス: DSW ターミナルで、cd /mnt/data コマンドを使用してマウントディレクトリに移動し、ls などのコマンドでファイルを表示および管理できます。

Q：OSS マウント接続エラーの解決方法

このエラーは、DSW インスタンスと OSS 間のマウント接続が失われたことを示しています。考えられる原因と解決方法は次のとおりです。

1. RAM ロールの権限の問題: お使いの DSW インスタンスに設定されている RAM ロールに OSS へのアクセス権限 (例: AliyunPAIDLCAccessingOSSRole) が付与されているか確認してください。不十分な権限は、OSS からの読み取りに失敗する一般的な原因です。

2. マウントサービスのリソース不足: 高負荷のランダム読み取り/書き込み、または大規模な小規模ファイルの操作中に、マウントを担当する ossfs または JindoFuse プロセスがメモリ不足 (OOM) エラーによりクラッシュする可能性があります。マウント設定の詳細設定では、メタデータキャッシュを無効にするか、メモリ設定を増やすことができます。 例えば、詳細設定に {"fs.jindo.fuse.pod.mem.limit": "12Gi"} を追加して、JindoFuse ポッドのメモリ制限を引き上げます。 リソースに基づいて値を調整してください。 詳細については、「JindoFuse」をご参照ください。

3. 接続の復元：

   • 起動時マウントの場合、接続を復元する最も簡単な方法は、DSW インスタンスを再起動することです。システムは自動的にマウントを再確立します。

   • PAI SDK を使用して動的マウントコマンドを実行し、インスタンスを再起動せずにパスを再マウントすることもできます。

Q：マウントでサポートされるデータタイプ

DSW では、データセットの作成やストレージパスの直接マウントによって、OSS、NAS、CPFS などのクラウドストレージサービスを利用できます。

• Alibaba Cloud Drive はサポート対象外：DSW は現在、個人の Alibaba Cloud Drive を直接マウントすることをサポートしていません。処理が必要なデータは OSS に保存することを推奨します。

• MaxCompute テーブルのマウントはサポート対象外：MaxCompute (旧 ODPS) のテーブルデータは、ファイルシステムのように DSW ディレクトリに「マウント」することはできません。PAI が提供する SDK または API を使用して、DSW コードでこのデータを読み書きできます。詳細については、「PyODPS を使用した MaxCompute テーブルの読み取りと書き込み」をご参照ください。

Q：データの永続性と移行を確保する方法

DSW インスタンスのシステムディスクは一時ストレージを提供します。パブリックリソースグループの場合、インスタンスが 15 日以上停止すると、システムディスク上のデータは消去されます。専用リソースグループの場合、インスタンスが停止または削除されるとすぐに、システムディスク上のデータは消去されます。

データとコードを永続的に保存したり、インスタンス間で移行したりするには、外部ストレージを使用する必要があります。

• 永続化ソリューション：すべての重要なデータ、コード、およびモデルをマウントされた OSS または NAS パスに保存します。これにより、DSW インスタンスが削除された場合でも、すべてのアセットはお客様自身の OSS または NAS に安全に保存され続けます。

• 移行ソリューション：ある DSW インスタンスから別のインスタンスにデータを移行する必要がある場合は、同じ OSS または NAS パスを新しいインスタンスにマウントするだけで済みます。これが最も便利なデータ移行方法です。

Q：失敗した DSW インスタンスからのデータのエクスポート

リソース不足またはその他の理由で DSW インスタンスが起動できない場合、そのシステムディスク上のデータはすぐには失われません。次の方法を試してデータをエクスポートできます。

1. インスタンス仕様を変更して再起動する：インスタンスリストページで「設定の変更」をクリックし、別の利用可能なインスタンス仕様を選択してから、インスタンスを再起動します。仕様の変更によってシステムディスク上のデータが失われることはありません。インスタンスが正常に起動したら、すぐにデータを OSS または NAS にバックアップしてください。

2. リージョンまたはアベイラビリティーゾーンを切り替える：現在のリージョンでリソースが不足しており、データがすでに外部ストレージに保存されている場合は、新しいインスタンスを作成し、同じ OSS/NAS ストレージをマウントしてデータを回復することを試せます。

3. テクニカルサポートに連絡する：上記の方法で問題が解決しない場合は、テクニカルサポートにチケットを起票してサポートを依頼してください。

Q：FAIL_TO_INIT_DATASET エラーでインスタンスの作成が失敗する

このエラーは、指定された OSS マウントパスがディレクトリではなくファイルを指している場合に発生します。インスタンスの作成時に、DSW はパスがディレクトリとして解決できないことを検出すると、データセットを初期化せずに FAIL_TO_INIT_DATASET エラーを返します。

OSS バケットのその階層に、マウントパスと同じ名前のファイルが存在するかどうかを確認してください。ファイルを削除するか、マウントパスを有効なディレクトリを指すように変更してから、インスタンスを再度作成してください。