Data Science Workshop (DSW) は、AI 開発向けのクラウドベース統合開発環境 (IDE) です。ノートブック、VSCode、ターミナルの 3 つの開発環境に対応し、PyTorch や TensorFlow といった主要 AI フレームワークの組み込みイメージや豊富な異種計算リソースを提供します。さらに、Object Storage Service (OSS)、NAS、CPFS からデータセットをマウントすることで、効率的な開発ワークフローを構築できます。
製品概要
DSW の開発環境は次の図のとおりです。
メリット
柔軟で使いやすい: 複数の開発環境を統合し、PyTorch や TensorFlow などのオープンソースフレームワークのイメージをサポートします。パブリックリソースや専用リソース (汎用計算リソースまたは Lingjun リソース) など、さまざまな異種計算リソースを提供します。
エンドツーエンドプラットフォーム: 分散トレーニング用の PAI-DLC やモデルオンラインサービス用の PAI-EAS といったツールを連携させることで、データ処理やデバッグからモデルのトレーニング、デプロイまで、AI 開発のライフサイクル全体をカバーします。
きめ細かな管理:
scheduled shutdownやidle shutdownなどのライフサイクル管理構成をサポートし、コストを節約します。workspace機能により、グローバルなリソースの割り当てと回収が可能になります。実践的でシナリオベースの例: Notebook Gallery では、LLM や AIGC などの最先端分野のチュートリアルやサンプルを提供しています。これらを活用することで、迅速な開発開始や独自プロジェクトの基盤構築が可能です。
主な機能
作成と管理
DSW インスタンスの作成: DSW インスタンスを作成する際に、インスタンスのリソースタイプを選択し、データセットをマウントし、カスタムイメージを使用できます。
コンソールからの DSW インスタンスへのアクセスと管理: コンソールを使用して DSW の機能にアクセスし、インスタンスの停止、解放、構成の変更などの一般的な操作を実行します。
インスタンス RAM ロールの設定: RAM ロールを関連付けて、一時的な STS 認証情報を使用してインスタンスから他のクラウドリソースにアクセスします。これにより、長期的な
AccessKeysが不要になり、キー漏洩のリスクが軽減されます。
モデル開発環境
サードパーティライブラリの管理: サードパーティの Python ライブラリまたはソフトウェアを管理・インストールします。
TensorBoard を使用したトレーニングの可視化: TensorBoard プラグインを使用することで、モデルのトレーニング中にメトリクスやログを可視化できます。
モデルのデプロイ: 構築したモデルは、PAI-EAS を利用してオンラインサービスとしてデプロイできます。この方法は、他のアプリケーションからのモデル呼び出しに加え、オートスケーリング、バージョン管理、リソース監視といった機能が必要な場合に最適です。
データの読み取り、書き込み、マウント
データセット、OSS、NAS、または CPFS のマウント: Object Storage Service (OSS)、NAS、CPFS からデータセットやパスをマウントすることで、インスタンスストレージの拡張、データの永続化、データファイルの読み取りが可能です。
OSS 内のデータの読み取りと書き込み: API または SDK を使用して、DSW インスタンス内の OSS ファイルとの間でデータを読み書きします。
ファイルのアップロードとダウンロード: ローカルマシンとインスタンス間でデータとモデルを転送します。
ネットワーク設定
SSH ダイレクト接続によるリモート接続: リモート SSH 接続は、DSW の強力な計算リソースを活用しながら、ローカルのような開発体験を提供します。
インターネット NAT Gatewayによるインターネットアクセス速度の向上: インスタンスのネットワーク速度を向上させるには、インターネット NAT ゲートウェイを作成し、インスタンスが配置されている Virtual Private Cloud (VPC) に Elastic IP Address (EIP) をバインドします。
インターネット経由でのインスタンス内のサービスへのアクセス: VPC 内またはインターネット経由でインスタンス上で実行されているサービスにアクセスします。これは、モデルのテストと検証に役立ちます。
海外のモデルやコンテナイメージのクロスドメインプル: DSW 用に Global Accelerator (GA) を設定して、
docker.ioやhuggingface.coなどの海外のソースからコンテナイメージやモデルをプルするのを高速化します。
課金
コンピューティングインスタンス
インスタンスタイプとして、パブリックリソースまたは専用リソース (汎用計算リソースまたは Lingjun リソース) を選択できます。それぞれ課金方法が異なります。
課金項目 | 課金モデル | 課金対象 | 課金ルール | 終了ルール |
パブリックリソース | 従量課金 | DSW インスタンス サービスの期間 (パブリックリソースが占有されている期間)。 | パブリックリソースを使用して DSW インスタンスを作成する場合、DSW インスタンスのサービス期間に基づいて課金されます。 重要 DSW インスタンスは分単位で課金され、請求書は 1 時間ごとに生成されます。データの集約と処理のため、請求書が 2〜3 時間遅れる場合があります。正確な情報については、最終的な請求書をご参照ください。 | DSW インスタンスを停止または削除すると、課金が停止します。 重要 インスタンスを手動で停止するか、定時シャットダウンを設定してください。詳細については、「DSW インスタンスの管理」をご参照ください。 |
専用リソース (汎用計算リソースまたは凌雲リソース) | サブスクリプション | 購入したノード仕様の数とサブスクリプション期間。 | 専用リソースはサブスクリプションベースで購入します。購入したノード仕様の数とサブスクリプション期間に基づいて課金されます。詳細については、「AI 計算リソースの課金」をご参照ください。 | リソースのサブスクリプションを解除します。 |
システム ディスク
課金モデル | 課金対象 | 課金ルール | 終了ルール |
従量課金 | システムディスクの容量と使用期間。 | インスタンスのタイプと仕様に基づいて無料クォータが提供されます。容量は拡張可能で、拡張分は追加サイズと使用期間に基づいて課金されます。 | DSW インスタンスを削除すると、課金が停止します。 |
課金の詳細については、「Data Science Workshop (DSW) の課金」をご参照ください。請求情報を確認するには、「請求書の表示」をご参照ください。
クイックスタート
初めてご利用になる方は、「Data Science Workshop (DSW) クイックスタート」 から始めることを推奨します。このチュートリアルは、MNIST 手書き数字認識のケーススタディを通して、DSW を迅速に使い始める方法を解説します。
ヘルプ
インスタンスの起動または停止の失敗、課金に関する質問、無料トライアルの問題、リモート接続の失敗、ダウンロード速度の低下、インターネット経由での DSW へのアクセスに関する問題などについては、「DSW に関するよくある質問」をご参照ください。