DataWorks:個人開発環境の管理

特徴

Data Studio では、NAS ストレージや Git リポジトリへのネットワーク接続が可能な、アカウントレベルの個人開発環境インスタンスを作成できます。コードのクローン、Python およびノートブックコードのオンラインでの開発とデバッグ、そしてスケジューリングのためにプロジェクトワークスペースにコードをコミットすることができます。

個人開発環境インスタンス：

• SQL、AI ノートブック、Python のエコシステムをサポートします。SQL ステートメント、Python スクリプト、シェルコマンドをローカルで実行したり、ノートブック開発のためのタスクを開発したり、コードをデバッグしたりできます。

• サードパーティクライアントに基づく DataWorks Agent タスクなど、対応するタスクを開発するための拡張機能のインストールをサポートします。

• コード管理のための Git 統合をサポートし、コードのクローン、プッシュ、管理を簡単に行えます。

• OSS および NAS をサポートし、簡単なデータ管理とアクセスを可能にします。

• DataWorks のカスタムイメージをサポートし、作成したイメージに基づいて多様な開発タスクを実行できます。

これらの特徴により、Data Studio はデータ処理、分析、モデルトレーニングを簡素化する柔軟な開発環境を提供します。

課金

個人開発環境インスタンスを作成する際には、リソースグループと CU 数を指定する必要があります。リソースグループが消費する CU に基づいて、インスタンスのランタイムに応じて課金されます。詳細については、「サーバーレスリソースグループの課金」をご参照ください。

• 個人開発環境インスタンスが 実行中 状態の場合、コンピューティング料金はリソースグループの課金方法に基づいて請求されます。インスタンスが従量課金のリソースグループを使用する場合、料金は リソースクォータ × インスタンスのランタイム に基づいて計算されます。インスタンスがサブスクリプションのリソースグループを使用する場合、そのリソースグループの利用可能なクォータを消費します。

• 個人開発環境インスタンスが利用中でない場合は、インスタンス管理ページから速やかにインスタンスを停止してください。

注意事項

• ワークスペースの制限：この機能は、データ開発 (DataStudio) (新版) パブリックプレビューへの参加 が有効になっているワークスペースでのみ利用可能です。

• リソースグループの制限：サーバーレスリソースグループのみがサポートされています。

• 数量の制限：各メンバーは、1 つのワークスペースに最大 10 個の個人開発環境インスタンスを作成できます。

• ストレージの制限：各個人開発環境インスタンスは 30 GiB の無料クラウドディスク (インスタンスの組み込みストレージ) を提供します。このストレージはインスタンス停止後 15 日で回収されます。個人のコードファイルは適時に保存するようにしてください。

• アクセス制御：Data Studio は、ID (テナント管理者、ワークスペース管理者、またはインスタンス所有者) に基づいて個人開発環境インスタンスの権限を管理します。

  • テナント管理者またはワークスペース管理者

    • 現在のワークスペース内のすべての個人開発環境インスタンスを表示および管理できます。

    • 自身が所有する個人開発環境インスタンスのみを使用できます。

  • インスタンス所有者

    • 自身が所有する個人開発環境インスタンスのみを表示、使用、管理できます。

      管理操作には設定の変更、[停止]、起動、削除、[イメージの作成]、[定期シャットダウン]、および[自動シャットダウンポリシーの表示]があります。

• セキュリティ制御：テナント管理者またはテナントのセキュリティ管理者は、セキュリティセンターの個人開発環境の制御機能を使用して、個人開発環境の制御ポリシーを設定できます。以下の操作を制限できます：

  • ファイルのダウンロード：管理者は、個人開発環境インスタンスにマウントされたディレクトリからのファイルのダウンロードを許可するかどうかを指定できます。無効にすると、ダウンロードボタンはグレーアウトされます。

  • 拡張機能のインストール：管理者は、拡張機能のインストールを許可するかどうかを指定できます。無効にすると、インストールボタンはグレーアウトされます。

  • ターミナルの使用：管理者は、ターミナルの使用を許可するかどうかを指定できます。無効にすると、ターミナルボタンはグレーアウトされます。

個人開発環境インスタンスの作成

1. DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[操作] 列で [ショートカット] > [Data Studio] を選択します。

2. 上部にある 個人開発環境 をクリックし、既存の個人開発環境インスタンスを選択するか、必要に応じてインスタンスを作成します。

   パラメーター		説明
   インスタンス名		個人開発環境インスタンスの名前です。カスタム名を指定できます。
   インスタンス所有者		デフォルトでは、ワークスペースを作成した現在のユーザーがインスタンス所有者として設定されます。
   リソース詳細	リソースグループ	個人開発環境インスタンスのサーバーレスリソースグループを選択します。
   	リソースタイプ	CPUとGPUのリソースタイプを構成できます。
   	リソースクォータ	個人開発環境インスタンスのリソース仕様を選択します。選択した仕様のリソースクォータは、リソースグループの個人開発環境に設定された CU 上限 を超えてはなりません。超える場合、その仕様は追加できません。クォータを調整するには、管理者に連絡してリソースグループ詳細ページのクォータ管理セクションで変更してもらってください。 仕様を選択すると、以下の情報が表示されます： スペック名、CPU、メモリ、[帯域幅]、および リソースクォータ (選択した仕様に対してリソースグループから差し引かれる CU 数)。 CPU タイプのインスタンスと比較して、GPU タイプのインスタンスには [GPU 仕様] と GPU メモリ も表示されます。 サーバーレスリソースグループのクォータ管理セクションで、現在の個人開発環境インスタンスで利用可能な CU 上限 または CU 保証 を割り当てることができます。 重要 ここの リソースクォータ 情報にご注意ください。個人開発環境インスタンスが実行中の場合、インスタンスが従量課金のリソースグループを使用していると、コンピューティング料金は リソースクォータ × インスタンスのランタイム に基づいて計算されます。インスタンスがサブスクリプションのリソースグループを使用している場合、そのリソースグループの利用可能なクォータを消費します。
   イメージ		必要に応じて、システム提供のイメージまたはカスタムイメージを選択します。 システム組み込みイメージ：詳細については、「システム組み込みイメージ」をご参照ください。 カスタムイメージ：システム提供のイメージに加えて、作成したカスタムイメージを選択できます。カスタムイメージを使用すると、特定のサードパーティパッケージをプリインストールして、パーソナライズされた開発要件を満たすことができます。カスタムイメージの作成方法については、「個人開発環境から DataWorks イメージを作成する」をご参照ください。
   ストレージ設定	システムディスク	各個人開発環境インスタンスは 30 GiB の無料クラウドディスク (インスタンスの組み込みストレージ) を提供します。このストレージはインスタンス停止後 15 日で回収されます。個人のコードファイルは適時に保存するようにしてください。 個人開発環境インスタンスの組み込みストレージのデフォルトパスは /mnt/workspace です。
   	データセット	個人開発環境で OSS または NAS ストレージからの読み取りまたは書き込みが必要な場合は、個人開発環境にデータセットを追加できます。 データセット：ドロップダウンリストから、現在のワークスペースで作成されたファイルストレージタイプ (OSS または NAS) のデータセットを選択します。次の点にご注意ください： NAS タイプのデータセットを選択した際、現在の DataWorks リソースグループの VPC が NAS マウントポイントに接続されていない場合は、VPC ネットワークを調整して接続性を確保してください。 説明 DataWorks リソースグループに関連付けられている VPC と NAS マウントポイントに関連付けられている VPC が同じである場合、ネットワークは接続されます。 マウントパス：デフォルトのマウントパスはデータセットの設定に基づいています。現在のノード用に手動で変更できます。 詳細設定：ノード開発のために OSS または NAS データセットを読み取る際に、異なる詳細設定を構成して、データセットの読み取り方法とマウントプロトコルを調整できます。 読み取り専用：読み取り専用モードが有効な場合、個人開発環境で実行されるタスクはデータを読み取ることしかできず、OSS または NAS に書き込むことはできません。 重要 個人開発環境インスタンスのストレージにおけるファイル削除に関する注意点： 個人開発環境インスタンスにマウントされた NAS スペース (デフォルトでは /mnt/data にあります) から削除されたファイルは、Data Studio のゴミ箱には移動しません。NAS コンソールでゴミ箱機能が有効になっている場合、削除されたファイルはファイルシステムのゴミ箱に移動します。 個人開発環境インスタンスにマウントされた OSS スペース (デフォルトでは /mnt/data にあります) から削除されたファイルは、Data Studio のゴミ箱には移動しません。バージョン管理機能を有効にすることでデータを回復できます。 個人開発環境インスタンスの組み込みストレージ (デフォルトでは /mnt/workspace にあります) から削除されたファイルは、Data Studio のゴミ箱には移動しません。
   ネットワーク設定	VPC	VPC リソース (RDS など) へのアクセス: ここで対応するVPCを設定します。 インターネットリソースへのアクセス：このフィールドは空のままにします。開発環境はデフォルトでインターネットアクセスをサポートしています。 VPC とインターネットリソースの両方にアクセスする: ここで VPC を設定した後、VPC がインターネットにアクセスするには、インターネット NAT Gateway も設定する必要があります。 説明 ホワイトリストベースのアクセス制御によって保護されているアドレスにアクセスするには、インターネットにアクセスできるVPCも関連付ける必要があります。
   	セキュリティグループ	関連付ける既存のセキュリティグループを選択します。
   	vSwitch	オプション。vSwitch を指定しない場合、システムは選択された VPC からランダムに 1 つを選択します。
   アクセス設定	SSH を有効にする	SSH を有効にすると、選択した VPC を通じて SSH で個人開発環境に直接接続できます。カスタムイメージを使用する場合、イメージに sshd がインストールされていることを確認してください。 重要 SSH を使用するには、個人開発環境に SSH サーバーをインストールする必要があります。詳細については、「SSH サーバーのインストールと設定」をご参照ください。
   	SSH 公開鍵	ローカルで生成された公開鍵です。詳細については、「SSH キーペアの生成」をご参照ください。
   	SSH アクセス方法	[VPC からのログオン]：このアクセス方法はデフォルトでサポートされています。ECS インスタンスなど、VPC 内の他のターミナルから個人開発環境にアクセスできます。 [インターネットからのログオン]：インターネットアクセスを有効にするには、このオプションを選択します。また、[NAT Gateway] と [EIP] を設定する必要があります。
   	VPC アクセスドメイン	組み込みの権限のあるドメイン名 (Private Zone) が作成されます。VPC 内でこのドメイン名を使用して、現在のインスタンスの SSH サービスや他のカスタムサービスにアクセスでき、変化するインスタンスの IP アドレスを追跡する必要がなくなります。組み込みの権限のあるドメイン名には料金が発生することにご注意ください。
   	NAT Gateway	インターネットアクセスが必要な場合、このパラメーターは必須です。現在の VPC 用に作成されたインターネット NAT Gateway を選択します。
   	EIP	インターネットアクセスが必要な場合、このパラメーターは必須です。現在の NAT Gateway 用に作成された EIP を選択します。
   詳細情報	インスタンス RAM ロール	インスタンス RAM ロールを使用すると、ロールを個人開発環境インスタンスに関連付けることができます。インスタンス内で、定期的に更新される STS 一時的な認証情報を使用して他の Alibaba Cloud サービスにアクセスできます。これにより、AccessKey のセキュリティが確保され、RAM を通じてきめ細かなアクセス制御が可能になります。デフォルトでは、[Dataworks Default Role] が選択されます。 ロールの詳細については、「個人開発環境のインスタンス RAM ロールの設定」をご参照ください。

個人開発環境インスタンスの管理

個人開発環境でのデータセットの使用

個人開発環境はデータセットをサポートしており、ノード実行中に OSS または NAS ストレージからの読み取りまたは書き込みが可能です。詳細については、「個人開発環境でデータセットを使用する」をご参照ください。

参考

• 個人開発環境インスタンスからカスタムイメージを作成し、他のノード開発中に使用できます。個人開発環境インスタンスからイメージを作成して使用する方法の詳細については、「カスタムイメージの作成と使用」をご参照ください。

• 個人開発環境を Git リポジトリに接続してコードのクローン、プッシュ、管理を行う手順については、「Git リポジトリへの接続」をご参照ください。

よくある質問

Q：インスタンスの起動に失敗し、「cu is not enough as max」というエラーが表示されます。

A：リソースグループが個人開発環境の最大 CU を制限しています。リソースグループの詳細ページに移動し、クォータ管理セクションでクォータを調整してください。

Q：個人開発環境と標準モードのワークスペースにおける開発環境および本番環境との関係は何ですか？

A：個人開発環境と標準モードのワークスペースにおける開発環境および本番環境は、それぞれ異なる目的を果たします。個人開発環境は、コーディング、デバッグ、テストのためのアカウントレベルのクラウドベースのインスタンスです。開発環境と本番環境は、ワークフローのスケジューリングと実行に使用されます。個人開発環境でコードを記述してデバッグした後、デプロイメントプロセスを通じてプロジェクトワークスペースに送信し、開発環境でスケジュールを設定し、本番環境にデプロイして実行します。

Q：個人開発環境から開発環境にワークフローをデプロイしてスケジューリングするにはどうすればよいですか？

A：個人開発環境でコード開発とデバッグを完了した後、コードをプロジェクトワークスペースに送信します。次に、Data Studio のデータ開発ページに移動し、開発環境で対応するワークフローノードを開き、スケジュールと依存関係を設定し、ワークフローを本番環境にデプロイします。

Q：個人開発環境の上部にあるドロップダウンリストが空で、開発環境や本番環境に切り替えることができません。

A：個人開発環境の上部にあるドロップダウンリストは、個人開発環境インスタンスを選択および管理するためのものであり、開発環境や本番環境に切り替えるためのものではありません。ドロップダウンリストが空の場合、通常は以下のいずれかの理由が考えられます：

• 現在のワークスペースがサーバーレスリソースグループに関連付けられていないか、リソースグループで個人開発環境用の CU クォータが割り当てられていません。

• 現在のユーザーが個人開発環境インスタンスをまだ作成していません。ドロップダウンリストをクリックしてインスタンスを作成してください。

• ワークスペースで Data Studio が有効になっていません。個人開発環境は Data Studio でのみ利用可能です。