DataWorks コンソールは、環境設定とリソース管理のためのビジュアルプラットフォームです。管理機能は 2 つのレベルに及びます。グローバルレベルでは、テナント全体のロールとアラートルールを設定できます。ワークスペースレベルでは、各プロジェクト専用のコンピューティングリソース、データソース、メンバーを設定できます。
コアコンセプトとシステムアーキテクチャ
開始する前に、DataWorks のコアアーキテクチャとエンティティの関係を理解してください。
コアコンセプト：ワークスペース
ワークスペースは、プロジェクト管理、権限管理、リソース分離のための DataWorks の基本的な論理ユニットです。データ開発、タスクの O&M、メンバー管理などのすべてのアクティビティは、ワークスペース内で実行されます。
分離：異なるワークスペース内のノード、タスク、リソース、メンバーは完全に独立しています。
コンテナ：ワークスペースは、Data Studio や Data Integration などの機能モジュールをホストし、データソース、コンピューティングリソース、リソースグループなどの外部エンティティを関連付けるコンテナとして機能します。
アーキテクチャとエンティティの関係
以下の図は、DataWorks のコアエンティティ間の依存関係と関連性を示しています。
ワークスペース：アーキテクチャの中心に位置するワークスペースは、すべての操作の最小単位です。Data Studio、Data Integration、O&M センターなどの機能モジュールは、特定のワークスペース内で動作します。
リソースグループ：
説明タスクを実行するためのコンピューティングリソースを提供する DataWorks のリソースグループは、別途購入するコンピューティングリソースのパッケージです。これは、リソース分離と権限管理に使用される Alibaba Cloud アカウントのリソースグループとは異なります。
定義：タスク実行のためのコンピューティングリソース (CPU とメモリ) を提供するエンティティです。ワークスペースとは独立して存在します。
関係：関連付けが必要です。図に示すように、リソースグループは 1 つ以上のワークスペースに関連付ける必要があります。これにより、ワークスペース内のData Integration タスクと定期的にスケジュールされたData Studio タスクが、実行時のコンピューティングリソースを取得できます。
コンピューティングリソース：
定義：Data Studio モジュールに構文解析、コンパイル、実行環境を提供するエンティティです。例えば、MaxCompute、Hologres、EMR などです。
関係：開発上の依存関係です。図のData Studio モジュールへの入力矢印が示すように、コンピューティングリソースをワークスペースに関連付ける必要があります。これにより、開発者はData Studio モジュールで SQL や Spark などのコードを記述、デバッグ、サブミットできます。
データソース：
定義：MySQL、Oracle、OSS などの外部データストアにアクセスするための接続情報です。
関係：統合の依存関係です。図のData Integration モジュールへの入力矢印が示すように、Data Integration タスクのソースとシンクは、ワークスペースに事前設定されたデータソースに依存します。
カスタムイメージ：
定義：特定のオペレーティングシステム、ランタイム環境、サードパーティライブラリを含むパッケージ化された環境です。
関係：必要に応じて関連付けます。図に示すように、個人開発環境 (Studio) や特定の種類のData Studio ノード (PyODPS ノードなど) が、特定のバージョンの Python ライブラリなど、標準環境にはない依存関係を必要とする場合に、カスタムイメージを関連付けることができます。これは高度な機能です。
クロスワークスペースのグローバルサービス：
図に示すように、データガバナンスやデータマップなどのモジュールは、ワークスペースより上位のレベルで動作します。これらは、テナントレベルのグローバルなデータビューと管理機能を提供します。これらの権限システムは、個々のワークスペースから独立しています。
前提条件
権限管理：特定の操作を表示または実行できない場合は、Alibaba Cloud アカウントの所有者または管理者に連絡して、必要な権限があることを確認してください。詳細については、「メンバー権限の管理」をご参照ください。
リージョン分離：DataWorks のワークスペースとそれに関連するリソースは、リージョンごとに分離されています。操作を行う前に、コンソールの上部メニューで、対象リソースが配置されている正しいリージョンを選択してください。
はじめに
DataWorks を初めて設定する場合は、このワークフローに従って、すぐに使用できる完全な環境をセットアップしてください。
Alibaba Cloud アカウント、または AliyunDataWorksFullAccess ポリシーがアタッチされた RAM ユーザーを使用していることを確認してください。そうでない場合は、管理者に連絡してRAM ユーザーに権限を付与してもらってください。
1. ワークスペースの作成
DataWorks コンソールにログインします。上部メニューで、対象のリージョンを選択します。左側メニューで ワークスペース をクリックし、次に ワークスペースの作成 をクリックします。要件に基づいてワークスペースモードを選択します。開発、テスト、本番環境を完全に分離するために、[標準モード]を使用することを推奨します。
詳細については、「ワークスペースの作成」をご参照ください。
2. リソースグループの設定と関連付け
リソースグループの作成または購入：コンソールの左側メニューで、リソースグループ をクリックします。サーバーレスリソースグループなど、タスクのワークロード要件を満たすリソースグループを購入します。
リソースグループとワークスペースの関連付け：この手順は、Data Integration、タスクスケジューリング、DataService Studio などのコア機能が正しく機能するための前提条件です。
3. ワークスペースへのメンバー追加
ワークスペースリストに移動します。対象のワークスペースの 詳細 列で、[詳細] をクリックしてワークスペースの詳細ページに移動します。
プロジェクトチームのメンバー (RAM ユーザー) を追加し、[ワークスペース管理者]、開発者、O&M などの適切なワークスペースレベルのロールを付与します。これにより、共同開発と権限管理が可能になります。
詳細については、「ワークスペースへのメンバー追加」をご参照ください。
4. コンピューティングリソースの関連付け
ワークスペースの詳細ページで、コンピューティングリソース リストに移動し、MaxCompute プロジェクトなどの既存のコンピューティングリソースインスタンスを現在のワークスペースに関連付けます。この手順は、Data Studio の前提条件です。
5. データソースの追加
ワークスペースの詳細ページで、データソース をクリックし、次に データソースの追加 をクリックします。データ同期のためのソースまたはシンクデータベースの接続情報を設定し、接続をテストします。
これらの 5 つの手順を完了すると、DataWorks ワークスペースで開発と運用の準備が整います。これで、Data Integration と Data Studio での作業を開始できます。
管理機能
概要とナビゲーション
コンソールの左側メニューから、ワークスペースリスト、リソースグループリスト、イメージ管理、購入済みのリソースとサービスなど、すべての管理機能にアクセスできます。DataWorks コンソールにログインします。デフォルトでは、概要ページにリダイレクトされます。このページでは、コアユースケース、頻繁に使用するワークスペース、製品の更新、その他の情報に素早くアクセスできます。
グローバルレベルの設定
以下の設定はテナントレベルであり、現在のリージョン内のすべてのワークスペースに適用されます。
ナビゲーションペインで、 を選択するか、ワークスペースの [操作] 列にある [管理] ボタンをクリックして、管理センターに移動します。
テナントのアラーム設定、テナントメンバーと役割、Extension を表示できます。
機能
説明とコアアクション
アラート設定
DataWorks のアラート連絡先を表示および設定し、アラートクォータを設定します。
• アラートリソース：アラートリソース (SMS メッセージと電話) の使用状況を表示し、1 日のアラート上限を設定します。上限に達すると、それ以上のアラートは送信されません。
• アラート連絡先：タスクアラートを受信する連絡先を設定します。RAM から連絡先を同期するか、手動で追加できます。アラートを受信するには、連絡先がアクティブである必要があります。詳細については、「アラート連絡先の表示と設定」をご参照ください。
テナントメンバーとロール
• テナントメンバー：Data Security Guard やデータマップなどのグローバルモジュールの権限を持つメンバーを設定します。
• テナントロール：グローバルロールとその権限を表示またはカスタマイズします。詳細については、「グローバルサービスの権限管理」をご参照ください。
拡張機能
オープンプラットフォームの拡張アプリケーションを有効化または設定して、開発および O&M ワークフローを検証および制御します。
詳細については、「拡張機能」をご参照ください。
ワークスペースレベルの設定
以下の設定は、現在のワークスペースにのみ適用されます。
機能 | 説明とコアアクション |
ワークスペース設定 |
詳細については、「ワークスペースの設定」をご参照ください。 |
データソース | 現在のワークスペースでデータ同期に使用されるソースとシンクの接続情報を一元管理します。 詳細については、「データソース管理」をご参照ください。 |
[コンピューティングリソース] | MaxCompute、Hologres、AnalyticDB など、ワークスペースでのデータ開発に使用されるコンピューティングリソースを関連付けて管理します。 詳細については、「コンピューティングリソースの管理」をご参照ください。 |
クラスター管理 | 自己管理型の CDH、CDP、EMR クラスターを登録・管理し、認証ファイルとアカウントマッピングを設定します。この機能は、Data Studio の新しいバージョンを使用していないワークスペースでのみ表示されます。 |
[スペースメンバーと役割] | 定義済みロールの権限を表示したり、新しいロールをカスタマイズしてその機能権限とコンピューティングリソースのロールマッピングを設定したりします。また、ワークスペースにメンバーを追加または削除し、定義済みまたはカスタムのワークスペースレベルのロールを割り当てることもできます。 詳細については、「ワークスペースレベルのサービスの権限管理」をご参照ください。 |
ワークスペース管理
コンソールの左側メニューで ワークスペース をクリックすると、特定のリージョンにある現在のテナント配下のすべてのワークスペースが表示されます。参加しているワークスペースを管理したり、新しいワークスペースを作成したりできます。
RAM ユーザーは、自分が参加しているワークスペースのみ表示できます。RAM ユーザーがワークスペースを表示できるようにするには、そのユーザーをワークスペースメンバーとして追加する必要があります。詳細については、「ワークスペースへのメンバー追加」をご参照ください。
エリア | 機能 | 説明 | 関連ドキュメント |
1 | リージョンの選択 | DataWorks リージョンを選択します。ワークスペースのリストは、選択したリージョンによって異なります。 | - |
2 | ワークスペースの作成 | DataWorks ワークスペースを作成します。 | |
3 | ワークスペースの基本情報の表示 | モードや管理者など、ワークスペースの基本情報を表示します。主な情報は次のとおりです。
|
|
4 | ワークスペース関連の操作 | 現在のワークスペースの主要なメトリクスを表示したり、特定のモジュールに素早くアクセスしたり、ワークスペース関連の操作を実行したりします。
| |
5 | エディションのアップグレード | 現在の DataWorks エディションをアップグレードします。
| エディション間の違いの詳細については、「DataWorks の各エディションの機能」をご参照ください。 |
サーバーレスリソースグループの購入 | サーバーレスリソースグループを購入できます。購入後、左側メニューで リソースグループ をクリックすると、リソースグループの詳細を表示できます。 |
AI とエージェント
左側メニューの AI メニューグループから、AI およびエージェント関連の機能に一元的にアクセスできます。
機能 | 説明とコアアクション |
Data Agent | 専用ページで AI エージェントのチャット体験を提供し、データ統合、データ開発、データガバナンス、データセキュリティなどのシナリオをカバーする組み込みの DataWorks スキルを備えています。クリックして Data Agent の会話ページに移動します。 詳細については、「新しい Data Agent」をご参照ください。 |
AI アシスタントサービス | AI アシスタントサービスは、DataWorks コンソールからの直接の会話をサポートし、DingTalk や Lark などの IM プラットフォームと統合します。IM クライアントで自然言語を使用して、アラート分析、タスク診断、コード修正、タスク O&M、データガバナンスなどのタスクを実行できます。 詳細については、「AI アシスタントサービスの概要」をご参照ください。 |
LLM サービス | 大規模言語モデル (LLM) の効率的なデプロイと簡単な呼び出しを可能にします。DataWorks サーバーレスリソースグループにモデルをデプロイし、Data Integration および Data Studio タスクで直接呼び出すことができます。 詳細については、「LLM サービスの管理」をご参照ください。 |
シート管理 | Data Agent 設定ページの[シート管理] タブを使用して、Data Agent のシート割り当てと使用状況を一元管理します。 詳細については、「シート管理」をご参照ください。 |
リソースグループ
左側メニューで リソースグループ をクリックします。対応するリージョンで必要なリソースを購入したり、購入したリソースの詳細を表示したり、管理操作を実行したりできます。
エリア | 機能 | 説明 | 関連ドキュメント |
1 | リソースグループの作成 | サーバーレスリソースグループを作成します。 | |
2 | リソースグループの基本情報の表示 | 実行ステータス、有効期限、使用状況など、リソースグループの基本情報を表示します。
| |
3 | |||
4 | リソースグループの基本操作 | リソースグループの詳細情報を表示し、関連する変更操作を実行します。
説明 リソースグループへの変更は、処理に時間がかかります。しばらくお待ちください。 |
をクリックして、スケールアウト、スケールイン、更新、解約、クォータ管理、課金方法の変更、データスケジューリングの同時実行数制限の変更などの操作をリソースグループに対して実行できます。イメージ管理
左側メニューで イメージ管理 をクリックして、公式の DataWorks イメージを表示します。サーバーレスリソースグループで実行されるタスクが、サードパーティのライブラリ依存関係など、特定の開発環境を必要とする場合は、必要な開発パッケージと依存関係を統合したカスタムイメージを作成できます。その後、タスクを実行するときに、実行リソースとしてサーバーレスリソースグループを指定し、ランタイム環境としてカスタムイメージを指定できます。詳細については、「カスタムイメージ」をご参照ください。
購入済みのリソースとサービス
左側メニューで 購入したリソース をクリックします。このページでは、サブスクリプションおよび従量課金の DataWorks サービスとリソースグループの詳細を表示できます。また、対応する[請求] と[課金ルール] を表示したり、[更新]、[アップグレード]、[ダウングレード]、[解約] などの操作を実行したりすることもできます。関連ドキュメントについては、「請求詳細の表示」および「課金の概要」をご参照ください。