DataWorks コンソールでは、グローバル (テナント全体のロールとアラートルール) とワークスペース (各プロジェクトのコンピューティングリソース、データソース、およびメンバー) の 2 つのレベルで、一元的な環境構成とリソース管理が可能です。
コアコンセプトとシステムアーキテクチャ
DataWorks の使用を開始する前に、そのコアアーキテクチャとエンティティの関係を理解してください。
コアコンセプト:ワークスペース
ワークスペースは、DataWorks におけるプロジェクト管理、権限管理、リソース分離のための 基本的な論理単位 です。データ開発、タスク運用、メンバー管理などのすべてのアクティビティは、ワークスペース内で実行されます。
-
分離:ワークスペースは 強力な分離 を提供します。異なるワークスペース内のノード、タスク、リソース、メンバーは完全に独立しています。
-
コンテナ:ワークスペースは、Data Studio や Data Integration などの機能モジュールをホストし、データソース、コンピューティングリソース、リソースグループなどの外部エンティティと関連付けるコンテナとして機能します。
アーキテクチャとエンティティの関係
次の図は、DataWorks のコアエンティティ間の依存関係を示しています。
-
ワークスペース:すべての操作における最小単位です。Data Studio、Data Integration、O&M センターなどの機能モジュールは、特定のワークスペース内で動作します。
リソースグループ:
説明DataWorks の リソースグループ は、タスク実行用のコンピューティングリソースを提供し、別途購入するコンピューティングリソースのパッケージです。これは、リソースの分離と権限管理に使用される Alibaba Cloud アカウントのリソースグループとは異なります。
-
定義: タスク実行のためにコンピューティングリソース (CPU とメモリ) を提供するエンティティです。ワークスペースとは独立して存在します。
-
関係: 関連付けが必要 です。図の右側に示すように、リソースグループは 1 つ以上のワークスペースに関連付ける必要があります。これにより、ワークスペース内の Data Integration タスクと定期的にスケジュールされた Data Studio タスクが、ランタイムコンピューティングリソースを取得できるようになります。
-
-
コンピューティングリソース:
-
定義: Data Studio モジュールに 構文解析、コンパイル、および実行環境 を提供するエンティティです。例として、MaxCompute、Hologres、EMR などがあります。
-
関係: 開発の依存関係 です。図の Data Studio モジュールへの入力矢印が示すように、コンピューティングリソースをワークスペースに関連付ける必要があります。これにより、開発者は Data Studio モジュールで SQL や Spark などのコードを記述、デバッグ、およびサブミットできるようになります。
-
-
データソース:
-
定義:MySQL、Oracle、OSS などの外部データストアにアクセスするための接続情報です。
-
関係: 統合の依存関係 です。図の Data Integration モジュールへの入力矢印が示すように、Data Integration タスクのソースとシンクは、ワークスペースで事前に構成されたデータソースに依存します。
-
-
カスタムイメージ:
-
定義:特定のオペレーティングシステム、ランタイム環境、およびサードパーティライブラリを含むパッケージ化された環境です。
-
関係: 必要に応じた関連付け です。図の左側に示すように、個人開発環境 (Studio) や特定の種類の Data Studio ノード (PyODPS など) が、標準環境を超える依存関係 (特定のバージョンの Python ライブラリなど) を必要とする場合、必要に応じてカスタムイメージを関連付けることができます。これは高度な機能です。
-
-
クロスワークスペースのグローバルサービス:
-
図の上部に示すように、データガバナンスや Data Map などのモジュールはワークスペースレベルより上位で動作し、 テナントレベル のグローバルなデータビューと管理機能を提供します。これらの権限システムは、個々のワークスペースから独立しています。
-
注意事項
-
権限管理:特定の機能を表示または使用できない場合は、Alibaba Cloud アカウントの所有者または管理者に連絡して、必要な権限があることを確認してください。詳細については、「権限管理システムの概要」をご参照ください。
-
リージョン隔離:DataWorks のワークスペースとリソースは、リージョンごとに隔離されています。操作を実行する前に、コンソールのトップナビゲーションバーで正しいリージョンが選択されていることを確認してください。
クイックスタートワークフロー
DataWorks を初めて構成する場合は、このワークフローに従って完全に機能する環境をセットアップします。
AliyunDataWorksFullAccess ポリシーがアタッチされた Alibaba Cloud アカウントまたは RAM ユーザーを使用していることを確認してください。そうでない場合は、管理者に RAM ユーザーへの権限付与 を依頼してください。
ステップ 1:ワークスペースの作成
DataWorks コンソールにログオンします。上部メニューで、対象の リージョン を選択します。左側メニューで ワークスペース をクリックし、ワークスペースの作成 をクリックします。要件に基づいてワークスペースモードを選択します。開発環境、テスト環境、本番環境を完全に分離できるため、[標準モード] の使用を推奨します。
詳細については、「ワークスペースの作成」をご参照ください。
ステップ 2:リソースグループの構成と関連付け
-
リソースグループの作成または購入:コンソールの左側メニューで、リソースグループ リストに移動し、ワークロードの要件に合うリソースグループ (例:サーバーレスリソースグループ) を購入します。
-
ワークスペースへの関連付け:購入したリソースグループをワークスペースに関連付けます。この手順は、Data Integration、タスクスケジューリング、DataService Studio、およびその他のコア機能 を正しく機能させるための前提条件です。
[Resource Groups] ページで、[Create Resource Group] をクリックしてリソースグループを作成し、対象のリソースグループの [Actions] 列で [Associate Workspace] をクリックします。
ステップ 3:ワークスペースへのメンバーの追加
-
ワークスペースリストに移動し、対象のワークスペースの [Actions] 列で 詳細 をクリックして、ワークスペースの詳細ページを開きます。
-
このページで、プロジェクトチームメンバー (RAM ユーザー) を追加し、適切なワークスペースレベルのロール ([ワークスペース管理者]、開発者、オペレーターなど) を割り当てて、共同開発と権限コントロールを有効にします。
詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
左側メニューで スペースのメンバーとロール をクリックし、[Add Member] をクリックして、[Accounts to Add] リストからアカウントを選択して [Added Accounts] リストに移動し、[Batch Set Roles] セクションで目的のロール ([ワークスペース管理者]など) を選択して、[OK] をクリックします。
ステップ 4:コンピューティングリソースの関連付け
ワークスペース詳細の 計算リソース リストに移動し、既存のコンピューティングリソースインスタンス (MaxCompute プロジェクトなど) を現在のワークスペースに関連付けます。この手順は、データ開発を行うための前提条件です。
ステップ 5:データソースの追加
ワークスペース詳細の データソース に移動し、データソースの作成 をクリックして、データ同期のソースまたは宛先データベースの接続情報を構成し、ネットワーク接続性をテストします。
これら 5 つのステップを完了すると、DataWorks ワークスペースはデータ開発とタスク実行の準備が整います。
管理機能の概要
概要とナビゲーション
ナビゲーションペインから、ワークスペースリスト、リソースグループリスト、イメージ管理、購入済みのリソースとサービスなど、すべての管理機能にアクセスできます。DataWorks コンソールにログオンします。デフォルトで [概要] ページが表示され、主要なシナリオ、よく使用するワークスペース、製品アップデート、およびクイックリンクが表示されます。
グローバルレベルの設定
これらの設定はテナントレベルで有効になり、現在のリージョン内のすべてのワークスペースに適用されます。
-
ナビゲーションペインで に移動するか、ワークスペースリストの [Actions] 列で管理ボタンをクリックして、[管理センター] に移動します。
-
テナントレベルの アラーム構成、テナントメンバーとロール、および 拡張機能 設定を参照します。
機能
説明と主な操作
アラート設定
DataWorks のアラート連絡先を参照・設定し、アラートの上限を設定します。
• アラートリソース:アラートリソース (SMS と電話) の使用状況を確認し、1 日のアラート上限を設定します。上限に達するとアラートは停止します。
• アラートの連絡先:タスクアラートを受信する連絡先を設定します。RAM から連絡先を同期するか、手動で追加できます。連絡先は、有効化することで使用可能になります。詳細については、「アラートの連絡先の参照と設定」をご参照ください。
テナントメンバーとロール
• テナントメンバー:Data Security Guard や Data Map などの グローバルモジュール に対する権限を持つメンバーを設定します。
• テナントロール:グローバルロールとその権限を参照またはカスタマイズします。詳細については、「グローバルサービスの権限コントロール」をご参照ください。
拡張機能
オープンプラットフォームが提供する拡張機能アプリケーションを有効化または設定して、開発および運用ワークフローに対する検証と制御を実装します。
詳細については、「拡張機能」をご参照ください。
ワークスペースの詳細設定
これらの設定は、現在のワークスペースでのみ有効になります。
|
機能 |
説明と主な操作 |
|
ワークスペース設定 |
ワークスペースの基本プロパティとセキュリティ設定 ( 詳細については、「ワークスペースの設定」をご参照ください。 |
|
データソース |
現在のワークスペースでのデータ同期に使用されるソースと宛先の接続を管理します。 詳細については、「データソース設定」をご参照ください。 |
|
[計算リソース] |
MaxCompute、Hologres、AnalyticDB for MySQL などのデータ開発用のコンピューティングリソースを関連付けて管理します。 詳細については、「コンピューティングリソースの概要」をご参照ください。 |
|
クラスター管理 |
自己管理型の CDH/CDP または EMR クラスターを登録および管理し、認証ファイルとアカウントマッピングを設定します。この機能は、新しい Data Studio を使用していないワークスペースでのみ表示されます。 |
|
[スペースのメンバーとロール] |
事前設定されたロール権限を参照し、カスタムロールを作成して、その機能権限とコンピューティングリソースへのロールマッピングを設定します。ワークスペースメンバーを追加または削除し、ロールを割り当てることもできます。 詳細については、「ワークスペースレベルサービスの権限管理」をご参照ください。 |
ワークスペース管理
ナビゲーションペインで ワークスペース をクリックすると、指定したリージョン内のすべてのワークスペースが表示されます。参加しているワークスペースを管理したり、新しいワークスペースを作成したりできます。
RAM ユーザーは、参加しているワークスペースのみ表示できます。ワークスペースを表示するには、RAM ユーザーをワークスペースメンバーとして追加する必要があります。詳細については、「ワークスペースへのメンバーの追加」をご参照ください。
|
エリア |
機能 |
説明 |
参考 |
|
1 |
リージョンの選択 |
DataWorks のリージョンを切り替えます。リージョンごとに異なるワークスペースリストが表示されます。 |
- |
|
2 |
ワークスペースの作成 |
新しい DataWorks ワークスペースを作成します。 |
|
|
3 |
ワークスペースの基本情報の表示 |
モードや管理者などのワークスペースの基本情報を確認します。
|
|
|
4 |
ワークスペース操作 |
主要なメトリクスを確認し、モジュールにすばやく移動するか、ワークスペース操作を実行します。
|
|
|
5 |
バージョンアップグレード |
現在の DataWorks エディションをアップグレードします。
|
エディション間の違いの詳細については、「DataWorks:エディション別の機能」をご参照ください。 |
|
専用リソースグループの購入 |
サーバーレスリソースグループを購入できます。購入後、ナビゲーションペインで リソースグループ をクリックして、リソースグループの詳細を表示します。 |
AI と Agent
ナビゲーションペインの [AI] メニューグループから、AI と Agent の機能に一元的にアクセスできます。
|
機能 |
説明と主な操作 |
|
Data Agent |
Data Integration、データ開発、Data Governance、Data Security の各シナリオに対応した DataWorks Skills を組み込んだ AI エージェント会話インターフェースです。クリックすると、Data Agent 会話ページに移動します。 詳細については、「新しいデータエージェント」をご参照ください。 |
|
AI Assistant Service |
AI Assistant Service は、DataWorks コンソールを通じた直接の会話をサポートします。また、DingTalk や Lark などの IM プラットフォームと統合し、自然言語によるアラート分析、タスク診断、コード修正、タスク操作、およびデータガバナンスが可能です。 詳細については、「AI アシスタントサービス」をご参照ください。 |
|
大規模モデルサービス |
大規模モデルを効率的にデプロイして呼び出します。DataWorks サーバーレスリソースグループを使用してモデルをデプロイし、Data Integration やデータ開発タスクで直接呼び出すことができます。 詳細については、「大規模モデルサービスの概要」をご参照ください。 |
|
シート管理 |
Data Agent 設定ページの [シート管理] タブから、Data Agent シートの割り当てと使用状況を管理します。 詳細については、「シート管理」をご参照ください。 |
リソースグループリスト
ナビゲーションペインで リソースグループ をクリックします。リソースを購入したり、対応するリージョンで購入したリソースの詳細を表示して管理したりできます。
|
エリア |
機能 |
説明 |
参考 |
|
1 |
リソースグループの作成 |
サーバーレスリソースグループを作成します。 |
|
|
2 |
リソースグループの基本情報の表示 |
実行ステータス、有効期限、使用率などのリソースグループの基本情報を確認します。
|
|
|
3 |
|||
|
4 |
リソースグループ操作 |
リソースグループの詳細情報を表示し、変更操作を実行します。
説明
リソースグループの変更プロセスには時間がかかります。プロセスが完了するまでお待ちください。 |
イメージ管理
ナビゲーションペインで イメージ管理 をクリックします。DataWorks の公式イメージを表示できます。サーバーレスリソースグループ上のタスクが特定の開発環境 (サードパーティライブラリの依存関係など) を必要とする場合は、必要なパッケージと依存関係を統合したカスタムイメージを作成し、タスクの実行時にサーバーレスリソースグループを実行リソースとして、イメージをランタイム環境として指定します。詳細については、「カスタムイメージ」をご参照ください。
購入済みのリソースとサービス
ナビゲーションペインで 購入済みリソース をクリックします。購入したサブスクリプションおよび従量課金の DataWorks サービスとリソースグループの詳細を確認し、請求 と 課金ルール を参照するか、更新、アップグレード、ダウングレード、サブスクリプションの解約 などの操作を実行します。詳細については、「請求の詳細の参照」および「概要」をご参照ください。
をクリックして、リソースグループに対する スケールアップ、スケールダウン、更新、サブスクリプションの解約、クォータ管理、課金タイプの変換、スケジューリング同時実行制限の変更 などの操作を実行できます。