Platform For AI:DSW のよくある質問

インスタンスの停止、削除、リリース

Q：DSW インスタンスで独自のファイルシステムをマウントして使用するにはどうすればよいですか？

インスタンス作成時に OSS、NAS、CPFS、または Lingjun CPFS をマウントし、その後 DSW ターミナルを使用してマウントディレクトリに移動し、ファイルにアクセスします。

Q：PAI-DSW への NAS データセットのマウントが「The specified MountTarget 3b79d4a2ac-xmk97.cn-shanghai.nas.aliyuncs.com is not in VPC vpc(VPC instance)」で失敗する

• 原因：NAS データセットの作成時にマウントポイントが設定されていました。

• ソリューション：データセットを作成する際にマウントポイントを空のままにします。

Q：ECS ベースの FTP サーバーへの NAS のマウントが「mount: wrong fs type, bad option, bad superblock」で失敗する

• 症状

  [root@iZufxxx file]# sudo mount -t nfs -o vers=4.0  3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/ /usr/sftp/file
  mount: wrong fs type, bad option, bad superblock on 3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/,
         missing codepage or helper program, or other error
         (for several filesystems (e.g. nfs, cifs) you might
         need a /sbin/mount.<type> helper program)
  
         In some cases useful info is found in syslog - try
         dmesg | tail or so.
  [root@iZufxxx file]#

• ソリューション

  mount コマンドを実行する前に nfs-utils パッケージをインストールします。

  yum install nfs-utils

Q：OSS データセットをマウントした後、マウントディレクトリにアクセスすると「Input/output error」が返される

root@dsw-xxx:/mnt/workspace# cd /mnt
root@dsw-xxx:/mnt# ls -ll
total 9
drw-rw-r--  0   99   99  512 Jan  1  1970 data
drwxr-xr-x  5 root root 4096 Dec 13 02:42 systemDisk
drwxr-xr-x  5 root root 4096 Dec 13 02:42 workspace
root@dsw-xxx:/mnt# cd data
root@dsw-xxx:/mnt/data# ls -ll
ls: reading directory '.': Input/output error
total 0
root@dsw-xxx:/mnt/data#

このエラーは、ロールに OSS アクセス権限 (AliyunPAIDLCAccessingOSSRole) がないことが原因です。権限付与の手順については、「PAI サービスアカウントの権限付与」をご参照ください。

Q：Jindo を使用して OSS データセットをマウントする際に、メモリ不足 (OOM) のリスクを減らすにはどうすればよいですか？

OSS データセットをマウントした後、高度なパラメーターを設定して OOM リスクを減らします：

• オプション 1：メモリ最適化が含まれている Jindo 6.8.1 を使用します。

  {
      "fs.jindo.fuse.pod.image.tag":"6.8.1"
  }

• オプション 2：ossfs を使用します。

  タスクを送信する際に以下を指定します：

  {
      "mountType": "ossfs"
  }

  OOM リスクをさらに減らすには、readdirplus 最適化を無効にして、ディレクトリの内容をリストする際のメタデータキャッシュの消費を減らします：

  {
      "mountType": "ossfs",
      "fs.ossfs.args": "-oreaddirplus=false"
  }

Q：OSS のマウントには成功しましたが、JupyterLab のファイルブラウザに表示されないのはなぜですか？

DSW のファイルブラウザは、インスタンスの作業ディレクトリ (デフォルトでは /mnt/workspace) を表示します。OSS に指定したマウントパス (例：/mnt/data) はデフォルトの作業ディレクトリの外にあるため、ファイルリストには表示されません。

マウントされたファイルにアクセスするには：

• コード経由でのアクセス：ファイルは正常にマウントされています。コード内で、完全なマウントパスを使用してください。例：open('/mnt/data/my_file.csv')。

• マウントポイントの変更：マウントパスを作業ディレクトリのサブディレクトリに設定します。例：/mnt/workspace/my_oss_data。マウント後、my_oss_data フォルダがファイルブラウザに表示されます。

• ターミナル経由でのアクセス：DSW ターミナルで cd /mnt/data を実行してマウントディレクトリに移動し、ls などのコマンドを使用してファイルを表示および管理します。

Q：マウントされた OSS パスを使用すると、プログラムが「Transport endpoint is not connected」または「Input/output error」を返します

これらのエラーは、DSW インスタンスと OSS マウント間の接続が切断されたことを示します。一般的な原因とトラブルシューティング手順：

1. RAM ロールの権限：DSW インスタンスに設定された RAM ロールに OSS アクセス権限 (例：AliyunPAIDLCAccessingOSSRole) があるか確認します。権限不足は OSS の読み取り失敗の一般的な原因です。

2. マウントサービスのリソース不足：大量のランダムな読み書きワークロードや多数の小さなファイルがある場合、ossfs または JindoFuse プロセスがメモリ不足 (OOM) 状態によりクラッシュする可能性があります。マウント設定の [高度な設定] で、メタデータキャッシュを無効にするか、メモリ割り当てを増やしてください。詳細については、「JindoFuse」をご参照ください。

3. 接続の復元：

   • 起動時に設定されたマウントの場合、DSW インスタンスを再起動します。システムは自動的に再マウントします。

   • PAI SDK を使用して動的マウントコマンドを実行し、インスタンスを再起動せずにパスを再マウントします。

Q：DSW はどのストレージタイプをマウントできますか？Alibaba Cloud Drive や MaxCompute テーブルをマウントできますか？

DSW は、データセットの作成または直接パスのマウントを介して OSS、NAS、および CPFS をサポートしています。

• Alibaba Cloud Drive はサポートされていません：DSW は個人の Alibaba Cloud Drive のマウントをサポートしていません。代わりにデータを OSS に保存してください。

• MaxCompute テーブルは直接マウントをサポートしていません：MaxCompute (旧 ODPS) のテーブルデータはファイルシステムディレクトリとしてマウントできません。PAI SDK または API を使用して DSW コードからアクセスしてください。詳細については、「PyODPS を使用した MaxCompute テーブルの読み書き」をご参照ください。

Q：DSW インスタンスを停止または削除すると、コードとデータは失われますか？データを永続化および移行するにはどうすればよいですか？

DSW インスタンスのシステムディスクは一時ストレージです。パブリックリソースグループの場合、インスタンスが 15 日以上停止しているとデータはクリアされます。専用リソースグループの場合、インスタンスが停止または削除されるとデータはクリアされます。

データとコードを永続化し、インスタンス間で移行するには、外部のマウントされたストレージを使用します。

• 永続化：すべての重要なデータ、コード、モデルをマウントされた OSS または NAS パスに保存します。DSW インスタンスが削除されても、アセットはご自身の OSS または NAS に安全に残ります。

• 移行：ある DSW インスタンスから別のインスタンスにデータを移動するには、新しいインスタンスに同じ OSS または NAS パスをマウントします。これが最も簡単な移行アプローチです。

Q：OSS のマウントには成功しましたが、作業ディレクトリのファイルが OSS に表示されません

デフォルトの OSS マウントパスは /mnt/data ですが、DSW のデフォルトの作業ディレクトリは /mnt/workspace です。作業ディレクトリのファイルは異なるパスにあるため、OSS には表示されません。作業ディレクトリから /mnt/data にファイルをコピーして、OSS で表示できるようにします：

cp -r /mnt/workspace/. /mnt/data/

Q：/mnt/workspace のすべてのデータをマウントされたデータセットディレクトリにコピーするにはどうすればよいですか？

DSW インスタンスのターミナルで次のコマンドを実行します：

cp -r /mnt/workspace/ /mnt/data/

/mnt/data はデフォルトのデータセットマウントパスです。このコマンドは、元のファイル構造と内容を保持します。コピー後、マウントステータスを確認し、次のコマンドで OSS データを確認します：

mount | grep oss

Q：DSW を使用して OSS データを読み取るにはどうすればよいですか？

Python SDK または API を使用して OSS データを読み取ります。詳細については、「OSS のデータの読み書き」をご参照ください。

Q：フォルダをアップロードまたはダウンロードするにはどうすればよいですか？

DSW はフォルダの直接アップロードまたはダウンロードをサポートしていません。まずフォルダをアーカイブファイルに圧縮してください。DSW ターミナルは、tar、gzip、unzip などの標準ツールを備えた Linux 環境を提供します。次の例では tar を使用します。

1. tar --version を実行して tar がインストールされているか確認します。インストールされていない場合は、インストールします：

   # Debian ベースのシステム (例：Ubuntu)
   sudo apt install tar
   
   # Red Hat ベースのシステム (例：CentOS, Fedora)
   sudo yum install tar

2. フォルダを圧縮または展開します：

   # フォルダを圧縮する (/path/to/directory は圧縮するフォルダ)
   tar -cvf archive_name.tar /path/to/directory
   
   # フォルダを展開する
   tar -xvf archive_name.tar

Q：2 つの DSW インスタンス間でデータを転送または共有するにはどうすればよいですか？

2 つのアプローチが利用可能です：

• データセット、OSS、NAS、または CPFS のマウント：両方のインスタンスに同じデータセットまたは OSS パスをマウントし、共有データをそこに保存します。

• ファイルのアップロードとダウンロード：ソースインスタンスからデータをダウンロードし、ターゲットインスタンスにアップロードします。

Q：「ダウンロード」をクリックしても反応がない、またはダウンロードが失敗する

これは通常、ネットワークの輻輳またはブラウザの問題が原因です。以下を試してください：

1. しばらく待ちます。大きなファイルは応答に時間がかかります。

2. 別のブラウザに切り替えるか、ブラウザのプライベート (シークレット) モードを使用します。

3. 200 MB を超えるファイルや不安定なネットワークの場合は、代わりにマウントされた OSS パス経由でダウンロードします。

Q：ファイル転送のステージングエリアの容量が不足しています

ファイル転送のステージングエリアの総容量は 10 GB です。ステージングエリア管理ページに移動し、ステージングエリアのファイルをクリアしてスペースを解放します。ページが更新されない場合は、ブラウザをリフレッシュしてみてください。

Q：アップロードが常にファイル転送のステージングエリアにリダイレクトされるのはなぜですか？

これは予期された動作です。アップロードの安定性と速度を確保するため、10 MB を超えるすべてのファイルは、インスタンスに保存される前に自動的にファイル転送のステージングエリアを経由します。

Q：ファイル転送のステージングエリアを通じて大きなファイルをアップロードする際に、プログレスバーが動かなくなったり、応答しなくなったりします。どうすればよいですか？

• 原因：これは通常、ローカルネットワーク環境が不安定なために発生し、アップロードが停止してプログレスバーが動かなくなり、転送失敗を引き起こすことがあります。

• ソリューション：まずファイルを Object Storage Service (OSS) にアップロードし、その後 DSW インスタンスから OSS データをマウントまたは読み取ります。ガイダンスについては、「データソースのマウントと管理」をご参照ください。

Q：大きなファイル (5 GB を超えるモデルなど) や大量のデータを DSW にアップロードするにはどうすればよいですか？

DSW インスタンスのシステムディスクは限定的で一時的なものです。大きなファイルを直接アップロードするのではなく、まずデータを Alibaba Cloud Object Storage Service (OSS) にアップロードし、その後 OSS を DSW インスタンスにマウントします。詳細については、「データセット、OSS、NAS、または CPFS のマウント」をご参照ください。

Q：DSW インスタンスの作成が FAIL_TO_INIT_DATASET エラーで失敗するのはなぜですか？

OSS マウントパスがディレクトリではなくファイルを指している場合、DSW はインスタンス作成段階でパスがディレクトリとして認識できないことを検出し、その結果、データセットの初期化を拒否して FAIL_TO_INIT_DATASET エラーを返します。

これを解決するには、OSS のマウントパスと同じレベルに同じ名前のファイルが存在するかどうかを確認してください。存在する場合は、ファイルを削除するか、マウントディレクトリパスを変更して有効なディレクトリを指すようにし、その後インスタンスを再作成してください。

Q：ProxyClient で DSW インスタンスに接続すると「client_loop: send disconnect: Broken pipe」というエラーで切断される

SSH 経由で DSW インスタンスに接続する際、アイドル状態の接続が切断され、次のプロンプトが表示されることがあります：

Welcome to PAI DSW!

(base) [root@dsw-367946-867cc4957c-phxnp ~]$FATA[0245] proxy-read:websocket: close 1006 (abnormal closure): unexpected EOF
                        client_loop: send disconnect: Broken pipe

より信頼性の高い接続のためには、代わりに「リモート接続：直接 SSH 接続」を使用してください。

Q：VS Code 経由のリモート接続でローカルフォルダが開けない

これは通常、VS Code クライアントが原因です。代わりにローカルファイルをクラウドの DSW にアップロードしてください。手順については、「ファイルのアップロードとダウンロード」をご参照ください。

Q：SSH 直接接続の設定が「Failed to update private zone items: Failed to add zone」で失敗する

このエラーは、内部 DNS 名前解決サービスが有効になっていないことを示します。「Private DNS の有効化」の手順に従って有効にしてください。

Q：VS Code から DSW への接続が「the input device is not a TTY」で失敗する

このエラーは通常、SSH サーバーに TTY 設定がないことが原因です。修正するには：

1. DSW インスタンスのターミナルで /etc/ssh/sshd_config を編集し、PermitTTY yes が存在することを確認または追加します。

2. ファイルを保存し、sudo service ssh restart を実行して SSH サービスを再起動します。

3. VS Code を使用して再接続します。

Q：外部 IDE から PAI GPU リソースを直接呼び出してコードを実行できますか？

いいえ。DSW と DLC の両方で、コードはクラウド環境で実行する必要があります。API を介してローカルの外部 IDE から PAI GPU リソースを直接呼び出すことはサポートされていません。

SSH 直接接続を使用して、ローカル IDE (VS Code や PyCharm など) を DSW インスタンスに接続して開発を行うか、コードを DSW または DLC にアップロードして実行します。SSH 接続の手順については、このトピックの「リモートインスタンス接続」セクションをご参照ください。

Q：DSW でサードパーティライブラリを使用するにはどうすればよいですか？

DSW はサードパーティライブラリのインストールをサポートしています。詳細については、「サードパーティライブラリの管理」をご参照ください。

Q：pip でインストールしたパッケージや作成したコードは、DSW インスタンスを停止すると失われますか？

いいえ、インスタンスがシステムディスクとしてクラウドディスクを使用している場合は失われません。/mnt/workspace や /root 環境を含むディスクデータは、インスタンスが停止しても保持されます。すべての環境とファイルは、インスタンスが再起動すると利用可能になります。データは、インスタンスが削除されたときにのみ完全に削除されます。

Q：インストールしたサードパーティパッケージが有効にならないのはなぜですか？

pip でパッケージをインストールした後、import がそれを見つけられない場合は、まずサービスまたはカーネルを再起動してください。エラーが続く場合は、アクティブな Python 環境を確認してください。DSW はデフォルトで Python 3 環境にパッケージをインストールします。別の環境にインストールするには、まずその環境に切り替えます：

# Python 2 環境にインストール
source activate python2
pip install --user xxx

# TensorFlow 2.0 環境にインストール
source activate tf2
pip install --user xxx

xxx をインストールするパッケージの名前に置き換えてください。

Q：DSW での pip install コマンドが、依存関係の競合またはバージョンエラーで失敗する

これは通常、環境の非互換性が原因です。以下の順序でトラブルシューティングを行ってください：

1. イメージの切り替え (推奨)：現在のインスタンスを停止し、新しい DSW インスタンスを作成して、別の公式イメージを選択します。たとえば、PyTorch 2.1 が機能しない場合は、PyTorch 2.3 イメージまたは、一般的に互換性が高い modelscope シリーズを試してください。

2. 特定のバージョンのインストール：パッケージのドキュメントで、ご利用の DSW 環境 (Python/CUDA バージョン) と互換性のあるバージョンを確認し、pip install package_name==x.y.z を実行します。

3. ダウンロードソースの切り替え：清華大学の PyPI ミラーなどのミラーを試してください：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <yourLibraryName>。

• 専用イメージと汎用イメージの環境の違い：専用イメージ (isaaclab シリーズなど) は特定のシナリオに合わせてカスタマイズされており、ターミナルとノートブック環境の不一致、モジュールの欠落、またはコマンドの動作の違いを引き起こす可能性があります。このような問題が発生した場合は、ドキュメントで推奨されている汎用の公式イメージ (例：modelscope:1.26.0-pytorch2.6.0-gpu-py311-cu124-ubuntu22.04) に切り替えてください。

• novnc プラグインのインストールが「exit status 100」で失敗する：このエラーは通常、turbovnc のバージョン競合が原因です。現在のインスタンスを停止し、互換性のあるプリインストールされた依存関係を持つ公式イメージ (例：modelscope:1.34.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04) に切り替えて、手動でのパッケージのスペックダウンによるシステムの不安定さを避けてください。

Q：DSW ターミナルにライブラリをインストールしましたが、Jupyter Notebook でインポートできません

ターミナルと Jupyter が異なる Python 環境を使用している可能性があります。which python を実行してアクティブな Python 環境を確認するか、Notebook に直接ライブラリをインストールします。例：

!which python
/usr/local/bin/python

!pip install bottle
Looking in indexes: https://mirrors.aliyun.com/pypi/simple/
Collecting bottle
  Downloading https://mirrors.aliyun.com/pypi/packages/83/f6/b55...
                                            103.8/103.8 kB 6.7 ...
Installing collected packages: bottle
Successfully installed bottle-0.13.4
WARNING: Running pip as the 'root' user can result in broken per...

[notice] A new release of pip is available: 23.3.2 -> 25.1.1
[notice] To update, run: pip install --upgrade pip

Q：コードに CUDA ドライバーのバージョンが低すぎると表示されます。DSW で NVIDIA ドライバーを手動でアップグレードすべきですか？

ドライバーをアップグレードしないでください。DSW インスタンスのドライバーと CUDA はプリインストールされており、ロックされています。手動で変更すると、インスタンスが回復不能なほど破損する可能性があります。正しいアプローチは、DSW イメージを切り替えることです：現在のインスタンスを停止し、新しいインスタンスを作成して、より高い CUDA バージョンとドライバーを持つ公式イメージを選択します。

たとえば、公式イメージ modelscope:1.9.4-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04 には CUDA 11.8 が含まれています (cu118 で示されます)。

Q：イメージは GPU をサポートしていますが、コードで GPU を使用できません (torch.cuda.is_available() が False を返します)

これはランタイムの呼び出しの問題であり、CUDA ドライバーのバージョンの非互換性ではありません。以下の手順でトラブルシューティングを行ってください：

1. コードロジックを確認し、モデルまたはテンソルが .to('cuda') または torch.device('cuda') を使用して明示的に GPU デバイスをターゲットにしていることを確認します。

2. ターミナルで nvidia-smi を実行して、システムが GPU デバイスを検出していることを確認します。

3. DSW インスタンスを再起動して、GPU リソースの割り当てをリセットします。

4. (Alibaba Cloud Linux 3 の場合) 上記の手順で問題が解決せず、システムが Alibaba Cloud Linux 3 の場合、systemd のバージョンの問題で cgroups が GPU デバイスを正しく割り当てられない可能性があります。ターミナルで sudo yum upgrade systemd を実行して systemd をアップグレードし、インスタンスを再起動します。

Q：DSW インスタンス内で Docker を使用してアプリケーションをデプロイできますか？

Lingjun リソースの場合、Docker 使用の許可リストに追加されるようにチケットを送信してください。Lingjun 以外の DSW インスタンスでは、インスタンスコンテナ内で Docker を実行することはサポートされていません。

Q：DSW インスタンスに unzip や 7z がありません。ファイルを展開するにはどうすればよいですか？

apt-get を使用してインストールします：

• unzip のインストール：ターミナルで apt-get update && apt-get install -y unzip を実行し、unzip your_file.zip で展開します。

• p7zip (7z 用) のインストール：ターミナルで apt-get update && apt-get install -y p7zip-full を実行し、7z x your_file.7z で展開します。

Q：パッケージのインストールがハングまたはタイムアウトする

インストールのハング、タイムアウト、または非常に遅い速度は、通常、ネットワークの問題が原因です。以下の手順でトラブルシューティングを行ってください：

ステップ 1：ネットワーク接続の確認

ターミナルで ping www.aliyun.com を実行してインターネットアクセスをテストします。ネットワークが到達不能な場合は、ステップ 2 に進みます。

ステップ 2：ゲートウェイ設定の確認

インスタンス設定ページで、インターネットゲートウェイ のタイプを確認します：

• パブリックゲートウェイ：DSW はデフォルトで パブリックゲートウェイ を使用します。インスタンス設定ページでゲートウェイのタイプを確認してください。パブリックゲートウェイには帯域幅制限があり、大きなファイルには不十分な場合があります。プライベートゲートウェイへの切り替えを検討してください。

• プライベートゲートウェイ：プライベートゲートウェイはより高速なネットワーク速度を提供しますが、VPC に EIP と SNAT エントリが設定されたパブリック NAT ゲートウェイが必要です。これがないと、インスタンスはインターネットにアクセスできません。詳細については、「プライベートゲートウェイでインターネットアクセスを改善する」をご参照ください。

ステップ 3：pip ダウンロードソースの切り替え

DSW はデフォルトで Alibaba Cloud ミラーを使用しており、ピーク時やネットワークの変動時に遅くなることがあります。別の国内ミラーに切り替えてみてください：

# 清華大学ミラー (推奨)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn <yourLibraryName>

# USTC ミラー
pip install -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host pypi.mirrors.ustc.edu.cn <yourLibraryName>

# Douban ミラー
pip install -i https://pypi.doubanio.com/simple --trusted-host pypi.doubanio.com <yourLibraryName>

デフォルトの pip ソースを永続的に変更するには、「pip ミラーの表示または変更」をご参照ください。

ステップ 4：オフラインインストールの使用

ネットワークが利用できないか、非常に不安定な場合は、オフラインでパッケージをインストールします：

1. ネットワーク接続が良好なローカルマシンで、.whl パッケージをダウンロードします：

   # ローカルマシンで実行
   pip download <yourLibraryName> -d ./packages

2. .whl ファイルを DSW インスタンスにアップロードします。アップロードの手順については、「ファイルのアップロードとダウンロード」をご参照ください。

3. DSW でオフラインでパッケージをインストールします：

   pip install /path/to/your-package.whl

Q：DSW WebIDE でルートアクセス権を取得するにはどうすればよいですか？

ほとんどの公式 DSW イメージは、デフォルトで root として実行されます。ターミナルのプロンプトが root@... と表示されている場合、すでに root として実行しています。pip からの「root として実行することは推奨されません」という警告は、安全に無視できます。イメージが root ログインを使用しない場合、それはイメージ固有の設定です。root アクセスをサポートするイメージに切り替えてください。

Q：DSW で X サーバーを起動するにはどうすればよいですか？

DSW は X サーバーの起動をサポートしていません。

Q：DSW で生成されたモデルをデプロイするにはどうすればよいですか？

• EAS でデプロイ

  モデルトレーニング完了後、PAI-EAS を使用してオンラインサービスとしてデプロイします。詳細については、「モデルをオンラインサービスとしてデプロイする」をご参照ください。

• ローカルデプロイ用にモデルをダウンロード

  DSW で生成されたモデルを右クリックして、ローカルマシンにダウンロードします。

Q：ページをしばらく放置すると、再度ログインを求められるのはなぜですか？

セキュリティのため、DSW のログインセッションは 3 時間で期限切れになります。期限切れになると再度ログインする必要がありますが、実行中のタスクには影響しません。長時間実行するタスクの場合は、DSW ターミナルで nohup コマンドを使用してバックグラウンドで実行し続けてください。

セッションのタイムアウト時間は現在設定できず、デフォルトで 3 時間です。そのため、セッションのタイムアウトを変更したり、切断時間を設定したりすることはできません。

Q：ブラウザを閉じたり、コンピュータをシャットダウンしたりした場合、DSW のトレーニングジョブは実行され続けますか？

はい。DSW インスタンスはクラウドで実行されるため、ローカルデバイスを閉じてもその状態には影響しません。ただし、一部のインスタンス、特に無料トライアルインスタンスでは、アイドル自動停止ポリシーが設定されている場合があります。CPU または GPU の使用率が一定期間特定のしきい値を下回ると、システムはインスタンスをアイドル状態とみなし、自動的に停止してタスクを中断することがあります。

Q：DSW はモデル蒸留をサポートしていますか？

DSW はクラウドベースの開発環境を提供するだけで、ワンクリックのモデル蒸留機能は提供していません。ワンクリックでモデル蒸留を行いたい場合は、PAI モデルギャラリーを使用できます。詳細については、モデル蒸留をご参照ください。

Q：ターミナルでタブ補完やその他の bash 機能が利用できないのはなぜですか？

一部のイメージには使用制限があります。ターミナルで bash と入力して Enter キーを押すと、bash 機能が有効になります。

# bash
root@dsw-xxx-rxdxg:/mnt/workspace# ls
demos  lingxitest.tar
root@dsw-xxx-rxdxg:/mnt/workspace#

Q：DSW インスタンスタイプが要件を満たさない場合はどうすればよいですか？

以下の手順でインスタンスタイプを更新します：

1. DSW インスタンスリストで、インスタンス名をクリックしてインスタンス詳細ページを開きます。

2. インスタンスの設定 タブで、設定の変更 をクリックします。

3. インスタンス設定の変更 パネルで、インスタンスタイプを更新します。

   説明

   タイプを更新する際にインスタンスが実行中の場合、インスタンスはすぐに再起動します。続行する前に、インスタンス内のすべての作業を保存していることを確認してください。

Q：メモリ使用率が高いのですが、メモリを解放するにはどうすればよいですか？

メモリ使用量が通常の操作に影響を与えている場合は、以下のいずれかのアプローチを使用します：

• メモリが高すぎてコマンドラインで対話できなくなった場合は、右上隅の インスタンスの停止 をクリックするか、DSW コンソールに戻ってインスタンスの横にある 停止 をクリックします。インスタンスが停止するのを待ってから、再度開きます。

• まだコマンドラインで対話できる場合は、インスタンスのターミナルで top コマンドを実行して、プロセスごとのメモリ使用量を確認します。%MEM はメモリのパーセンテージを、PID はプロセス ID を示します。

  top – 10:40:20 up 22 min,  0 users,  load average: 0.95, 0.40, 0.15
  Tasks:  21 total,   2 running,  19 sleeping,   0 stopped,   0 zombie
  %Cpu(s): 12.9 us,  0.6 sy,  0.0 ni, 86.4 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
  MiB Mem :  16000.0 total,   5889.6 free,   8838.5 used,   1271.9 buff/cache
  MiB Swap:      0.0 total,      0.0 free,      0.0 used.   5889.6 avail Mem
  
    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    360 root      20   0 8992776   8.0g  17096 R 100.0  51.1   2:12.54 python
    207 root      20   0   11.2g 304160  50372 S   4.0   1.9   0:44.11 node
    106 root      20   0  288712 104764  18316 S   1.0   0.6   0:03.11 jupyter-lab
    122 root      20   0  638252 104652  32672 S   1.0   0.6   0:17.24 app
    244 root      20   0  648536  54848  37924 S   0.3   0.3   0:01.22 node
      1 root      20   0   10416   3828   3464 S   0.0   0.0   0:00.04 bash
     90 root      20   0   15420   3856   2240 S   0.0   0.0   0:00.00 sshd
     99 root      20   0   34500  25712  10688 S   0.0   0.2   0:00.48 supervisord
    100 root      20   0   16280   8612   5140 S   0.0   0.1   0:00.01 supervisor_stdo
    101 root      20   0   10420   3632   3300 S   0.0   0.0   0:00.00 launch_dswagent
    102 root      20   0   10420   3724   3384 S   0.0   0.0   0:00.00 launch_jupyterl
    103 root      20   0   10420   3628   3280 S   0.0   0.0   0:00.00 launch_code_ser
    105 root      20   0   29632  28416   1668 S   0.0   0.2   0:01.51 app
    154 root      20   0  721936  63232  37132 S   0.0   0.4   0:00.59 node
    172 root      20   0  995584 131364  41032 S   0.0   0.8   0:05.36 node
    218 root      20   0  848572  50384  37464 S   0.0   0.3   0:00.24 node
    256 root      20   0   10684   4468   3768 S   0.0   0.0   0:00.00 bash
    311 root      20   0  134328  50316  10432 S   0.0   0.3   0:00.93 python
    312 root      20   0  138020  54140  11004 S   0.0   0.3   0:01.06 python
   3670 root      20   0   10656   4368   3704 S   0.0   0.0   0:00.09 bash
   3694 root      20   0   13224   3980   3400 R   0.0   0.0   0:00.08 top

  メモリ使用率の高いプロセスを終了するには、次を実行します：

  kill PID

  PID を終了したいプロセス ID に置き換えます。コマンド実行後、メモリ使用率は低下するはずです。

  C 0.9%  M 4.3%

Q：RuntimeError: CUDA error: too many resources requested for launch

原因：このエラーは、CUDA カーネルが利用可能なリソースよりも多くのリソースを要求していることを意味します。通常、GPU ハードウェアの制限に関連しています。

ソリューション：インスタンスを再起動し、プログラムを再実行します。エラーが続く場合は、より高性能な GPU インスタンスに切り替えてください。

Q：DSW のメモリが不足した場合に、スワップ領域を作成して仮想メモリを使用できますか？

DSW はコンテナとして実行され、以下の理由によりスワップ領域の作成や管理をサポートしていません：

• 権限の制限：コンテナはカーネル権限が制限されており、スワップファイルをマウントできません。コンテナ内でルートアクセス権を持っていても、ホストレベルのリソースポリシーをバイパスすることはできません。

• プラットフォームポリシー：プラットフォームは、マルチテナント環境での安定性とセキュリティを確保するために、リソースを一元的に管理および制限します。

メモリが不足している場合は、コードを最適化するか、インスタンスタイプをアップグレードしてください。

Q：複数の GPU カードの VRAM を組み合わせることはできますか？単一 GPU の VRAM の上限はどのくらいですか？

いいえ、複数の GPU カード (例：2 x A10) の VRAM を単純に合計することはできません。GPU VRAM は物理的に隔離されており、プログラムは 1 つの大きな結合プールではなく、複数の独立した VRAM 空間として認識します。

標準的なトレーニングモードでは、各 GPU はモデルのパラメーター、勾配、オプティマイザーの状態の完全なセットを独立してロードする必要があります。したがって、ジョブが実行可能かどうかは、単一 GPU の VRAM の上限によって決まります。モデルが必要とする VRAM が単一 GPU の容量 (例：単一 A10 で 24 GB) を超える場合、複数の GPU カードがアタッチされていても、ジョブはメモリ不足 (CUDA out of memory) になります。

Q：DSW は GPU パススルー、nvidia-drm モジュールのロード、または P2P 通信の有効化をサポートしていますか？

DSW はこの分野で以下の制限があります：

• DSW コンテナインスタンスは、nvidia-drm カーネルモジュールのロードや GPU パススルーをサポートしていません。GPU リソースは --gpus=all を通じてのみマウントされます。

• GPU カード間の P2P 通信は、基盤となるハードウェアによって決まります。プラットフォームは、それを有効にするためのユーザーレベルのスイッチを提供していません。nvidia-smi が NS を表示する場合、現在のハードウェアは P2P 通信をサポートしておらず、ソフトウェアで有効にすることはできません。

• PAI はマネージドサービスです。P2P 通信を有効にするためのカスタムドライバーやパッチのインストールはサポートしていません。GPU ドライバーと基盤となる通信機能は、プラットフォームによって一元的に管理されます。

Q：DSW の VS Code で Python コードに赤い波線が表示されます。どうすればよいですか？

構文が正しい場合でも、DSW WebIDE (VS Code) に赤い波線が表示されることがあります。これは通常、クラウド IDE 環境に特有の解析の問題です。問題を診断するには、以下の手順に従ってください：

1. コードをローカルの VS Code エディターに切り取って貼り付け、そこでエラーが表示されるかどうかを確認します。これにより、問題がクラウド IDE 環境に固有のものかどうかが確認できます。

2. ローカルでのチェックがクリーンな場合は、コードを再度 DSW にアップロードまたは貼り付けます。

3. 問題が解決せず、開発に影響を与えている場合は、PAI テクニカルサポートによるさらなる調査のためにチケットを送信してください。

Q：DSW インスタンスのリージョンを変更できますか？データは自動的に移行されますか？

DSW インスタンスはリージョンやアベイラビリティゾーンの変更をサポートしておらず、データは自動的に移行されません。

• 別のリージョンで DSW を使用するには、元のリージョンの現在のインスタンスからカスタムイメージを作成してデータをバックアップし、その後ターゲットリージョンでそのイメージから新しいインスタンスを作成します。

• リソース不足によりインスタンスの作成が失敗した場合は、別のインスタンスタイプを試すか、リソースが利用可能になるのを待ちます。これはリージョンの変更を伴わず、データは失われません。

Q：DSW インスタンスを別のリージョンに切り替える際にデータを保持するにはどうすればよいですか？

アプローチはストレージのセットアップによって異なります：

1. 外部ストレージなし (システムディスクのみ)：バックアップなしで別のリージョンに新しいインスタンスを作成すると、データが失われます。まず元のリージョンの実行中のインスタンスからカスタムイメージを作成し、その後ターゲットリージョンでそのイメージから新しいインスタンスを作成して、環境とデータを復元します。

2. NAS/OSS ストレージがマウントされている：データはインスタンスから独立して存在するため、イメージのバックアップは不要です。NAS/OSS のデータを直接ターゲットリージョンに移行します。

Q：PAI-DSW はワンクリックでのクロスリージョンワークスペース移行をサポートしていますか？

DSW はリージョンをまたいだワンクリックインポートをサポートしていません。代替案として、ソースワークスペースからファイル転送ステージングエリアまたは OSS にファイルをアップロードし、ターゲットリージョンの DSW インスタンスでそれらをダウンロードまたはマウントします。