従量課金のパブリックリソースグループから Data Science Workshop (DSW) インスタンスを作成すると、デフォルトで 100 GB のシステムディスクが提供されます。この容量が不足している場合は、システムディスクを拡張するか、データセットをマウントすることができます。このトピックでは、それぞれの方法のメリット、デメリット、およびシナリオについて説明します。
クイック比較
特徴 | システムディスクの拡張 | データセットのマウント |
読み取り/書き込み速度 | 高速 | 低速。速度は、マウントされたストレージタイプ (Object Storage Service (OSS)、NAS、Cloud Parallel File Storage (CPFS) など) によって異なります。 |
拡張の容易性 | 高。拡張は簡単で、サービスを中断しません。 | 追加の構成と技術的な手順が必要です。 |
永続性 | 低。DSW インスタンスを削除すると、システムディスク上のコンテンツは削除されます。 | 高。データは、OSS、NAS、CPFS などのクラウドストレージに永続化されます。 |
データ共有 | サポートされていません。 | サポートされています。データは複数のインスタンスやクラウドプロダクトと共有できます。 |
データセキュリティ | 比較的低い。 | 高。データは、OSS、NAS、CPFS などのクラウドストレージに永続的に保存されます。 |
シナリオ | 高い I/O 操作と一時ストレージ。 | 永続ストレージ、共有アクセス、データセキュリティ。 |
ソリューションの詳細
方法 1:システムディスクの拡張
メリット:
高速な読み取り/書き込み速度:システムディスクは通常、高速な読み取りおよび書き込み速度を提供する高性能ストレージデバイスであり、高い I/O パフォーマンスを必要とする操作に適しています。
拡張が容易:システムディスクの拡張は簡単な構成変更です。拡張後、インスタンスを長期間使用しなくてもディスクのコンテンツは保持されます。コンテンツは、インスタンスを手動で削除した場合にのみ削除されます。
デメリット:
データ共有が困難:システムディスクは単一のインスタンスにアタッチされます。そのため、そのデータを複数のインスタンス間で共有することはできません。
非永続的:システムディスク上のデータは永続的ではありません。インスタンスを停止してもデータは残りますが、DSW インスタンスを削除すると完全に削除されます。
スケールイン非対応:システムディスクを拡張した後、スケールインすることはできません。
インスタンス停止後も拡張されたシステムディスクの課金は継続されます。
システムディスクを拡張した後、従量課金インスタンスを停止すると、計算リソースの課金は停止します。ただし、拡張されたストレージ容量はディスクリソースを占有し続けるため、課金は継続されます。すべての課金を停止するには、データをバックアップしてからインスタンスを削除する必要があります。
シナリオ:
一時ストレージ:一時的なストレージと高速なデータアクセスを必要とするシナリオに適しています。
高い I/O 操作:データベース、ログ記録、データ分析など、高い読み取りおよび書き込み速度を必要とするアプリケーションに適しています。
方法 2:データセットのマウント
メリット:
永続ストレージ:データは、OSS、NAS、CPFS などの永続ストレージサービス上のデータセットに保存されます。データは DSW インスタンスのライフサイクルから独立しており、インスタンスを停止または削除しても失われません。
データ共有:他の DSW インスタンスやクラウドプロダクトとデータを共有でき、同じマウントパスからデータを読み取ることができます。
データセキュリティ:データセットにデータを保存することで、システムディスクに保存するよりも高い信頼性とセキュリティが提供されます。
デメリット:
読み取り/書き込み速度が遅い:データセット内のデータへのアクセスは、システムディスク上のデータへのアクセスよりも遅くなる可能性があります。
追加の構成:データセットのマウントには追加の構成と管理が必要であり、これにはある程度の技術知識が必要です。詳細については、「データセット、OSS、NAS、または CPFS のマウント」をご参照ください。
シナリオ:
永続ストレージ:トレーニングデータセット、モデルパラメーター、結果データなど、長期保存が必要なデータに適しています。
共有アクセス:共同プロジェクトやチームワークフローなど、複数のインスタンスやユーザーが同じデータセットにアクセスして処理する必要があるシナリオに適しています。
データセキュリティ:高いデータの耐久性とセキュリティを必要とするアプリケーションに適しています。
関連ドキュメント
ファイルのアップロードとダウンロード:ファイルが 5 GB を超える場合は、ファイルを OSS バケットにアップロードします。次に、OSS データセットを作成し、DSW インスタンスにマウントします。これにより、DSW インスタンスで OSS から直接データを読み取ることができます。