DataWorks のリソース管理を容易にし、ユーザーエクスペリエンスを向上させるために、DataWorks はサーバーレスリソースグループを導入しました。サーバーレスリソースグループは、専用スケジューリングリソースグループ、データ統合専用リソースグループ、DataService Studio 専用リソースグループの主要機能を同時に実装できます。 1 つのサーバーレスリソースグループのみを使用して、データ同期、タスクのスケジュールと実行、API の呼び出しと管理などの操作を実行できます。このトピックでは、サーバーレスリソースグループを作成および使用する方法について説明します。このトピックでは、サーバーレスリソースグループを作成および使用する方法について説明します。
前提条件
仕様、パフォーマンス、課金基準など、サーバーレスリソースグループの詳細について理解している。ビジネスシナリオに基づいて、必要な仕様とサブスクリプション期間を決定している。詳細については、「DataWorks リソースグループの概要」および「サーバーレスリソースグループの課金」をご参照ください。
サーバーレスリソースグループは、中国 (北京)、中国 (張家口)、中国 (ウランチャブ)、中国 (上海)、中国 (深セン)、中国 (杭州)、中国 (香港)、シンガポール、マレーシア (クアラルンプール)、インドネシア (ジャカルタ)、日本 (東京)、英国 (ロンドン)、米国 (シリコンバレー)、ドイツ (フランクフルト)、米国 (バージニア) の各リージョンでサポートされています。
必要な権限が付与されている。
AliyunBSSOrderAccess ポリシーと AliyunDataWorksFullAccess ポリシーがアタッチされている RAM ユーザーのみがリソースグループを購入できます。RAM ユーザーに権限を付与する方法と RAM ユーザーの権限を表示する方法については、「RAM ユーザーに権限を付与する」および「RAM ユーザーの権限を表示する」をご参照ください。
ワークスペース管理者のみが、リソースグループをワークスペースに関連付けたり、リソースグループが関連付けられているワークスペースを変更したりできます。
リソースグループで他の操作を実行するために必要な権限については、「DataWorks コンソール内のエンティティに対する権限を管理するために使用されるカスタムポリシー」をご参照ください。
仮想ネットワークオペレーター (VNO) 環境でサーバーレスリソースグループを使用する場合は、まずサービスプロバイダーがサーバーレスリソースグループの購入を許可しているかどうかを確認する必要があります。
DataWorks をアクティブ化したことがない場合は、DataWorks をアクティブ化した後にのみサーバーレスリソースグループを購入して使用できます。旧バージョンのリソースグループを購入または使用することはできません。
注意事項
従量課金制サーバーレスリソースグループが 7 日間使用されない場合、システムはサーバーレスリソースグループを自動的に凍結します。サーバーレスリソースグループを引き続き使用するには、サーバーレスリソースグループを手動で再起動する必要があります。従量課金制サーバーレスリソースグループが凍結される理由と、凍結された従量課金制サーバーレスリソースグループを再起動する方法については、「従量課金制サーバーレスリソースグループの凍結と再起動」をご参照ください。
リソースグループがデータベース、データサービス、特定のネットワーク環境にあるその他のデータなどの目的のデータソースにアクセスできるようにするには、データソースの状況に基づいて、リソースグループとデータソース間のネットワーク接続を事前に確立する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
重要サーバーレスリソースグループを仮想プライベートクラウド (VPC) に関連付けることで、リソースグループが内部ネットワーク経由で複雑なネットワーク環境にあるデータソースまたはアドレスにアクセスできるようにすることができます。 デフォルトでは、サーバーレスリソースグループはインターネットにアクセスできません。サーバーレスリソースグループを使用してインターネット経由でデータソースまたはネットワーク環境にアクセスするには、リソースグループが関連付けられている VPC に インターネット NAT ゲートウェイ を構成し、インターネット NAT ゲートウェイを Elastic IP Address (EIP) に関連付ける必要があります。詳細については、このトピックの「シナリオ 5: リソースグループとインターネットにデプロイされているデータソース間のネットワーク接続を確立する」セクションをご参照ください。
サーバーレスリソースグループを VPC および vSwitch に関連付けた場合は、VPC および vSwitch の構成を変更しないでください。変更すると、サーバーレスリソースグループで実行される DataWorks タスクが失敗する可能性があります。
サーバーレスリソースグループの課金方法を従量課金制とサブスクリプション制の間で切り替えることはできません。たとえば、サーバーレスリソースグループにサブスクリプション課金方法を選択した場合、リソースグループの使用時にこの課金方法に基づいて課金されます。リソースグループの課金方法を従量課金制に変更することはできません。
サーバーレスリソースグループと旧バージョンのリソースグループの比較
比較項目 | 旧バージョンのリソースグループ (専用リソースグループと共有リソースグループ) | サーバーレスリソースグループ |
分類 | リソースグループは、その目的に基づいて、データ統合用リソースグループ、スケジューリング用リソースグループ、DataService Studio 用リソースグループに分類されます。 | リソースグループは汎用目的で使用され、分類されません。 |
機能のサポート | DataWorks の一部の機能はサポートされていません。 | DataWorks のすべての機能がサポートされています。 |
混在使用のサポート | 各タイプのリソースグループは 1 つの目的にのみ使用されます。 | リソースグループは、データ同期、スケジューリング、DataService Studio で同時に使用できます。 |
販売モード | リソースグループは、仕様とマシンの数に基づいて課金されます。 リソースグループには少なくとも 1 台のマシンが含まれている必要があり、マシンの最小仕様は 4 vCPU と 8 GiB のメモリです。リソースグループをスケールアウトするための最小ステップサイズは、仕様が 4 vCPU と 8 GiB のメモリである 1 台のマシンです。 | リソースグループは計算ユニット (CU) 単位で販売されます。 リソースグループには少なくとも 2 CU が含まれている必要があります。リソースグループをスケールアウトするための最小ステップサイズは 1 CU です。 |
課金方法 |
| サブスクリプションと従量課金制の両方の課金方法がサポートされています。詳細については、「サーバーレスリソースグループの課金」をご参照ください。 |
リソースの浪費 | DataWorks は、リソースグループに対して限られた種類の仕様のみを提供します。これにより、各タイプの仕様のマシンに特定量のリソースフラグメントが生成されます。その結果、リソースが浪費されます。 | ビジネス要件に基づいて CU の数を決定できます。これにより、リソースの浪費を防ぎます。 |
スケーラビリティ |
| リソースグループの CU の数を直接変更できます。 |
スケールアウトまたはスケールインによって生成される影響 | 実行中のタスクは影響を受けます。 | 実行中のタスクは影響を受けません。 説明 サーバーレスリソースグループの構成のスペックアップまたはスペックダウンは、サーバーレスリソースグループで実行されているタスクに影響しません。実行中 |
ネットワークセキュリティ | DataWorks は、リソースグループの送受信インターネットトラフィックを管理します。リソースグループのインターネット帯域幅は複数のユーザーで共有されます。これにより、リソースの競合が発生します。 | ユーザーは独自のインターネット機能を使用するため、ユーザーの動作を制御できます。 |
開発トレンド | 旧バージョンのリソースグループは、将来的に廃止される予定です。 | サーバーレスリソースグループは、DataWorks によってサポートされる唯一のリソースグループになります。 |
カスタムイメージのサポート | カスタムイメージはサポートされていません。 | カスタムイメージ がサポートされています。サーバーレスリソースグループを使用してタスクをデプロイする場合、タスクの実行に必要なすべてのコンポーネントを含むイメージを作成できます。これは、タスクを実行するためのより多くの条件を満たすのに役立ちます。 |
サーバーレスリソースグループの課金
サーバーレスリソースグループの課金については、「サーバーレスリソースグループの課金」をご参照ください。
ステップ 1: サーバーレスリソースグループを作成する
[リソースグループ] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
[リソースグループ] ページの [専用リソースグループ] タブで、[リソースグループの作成] をクリックして、サーバーレスリソースグループの購入ページに移動します。
パラメーター
説明
[リージョンとゾーン]
リソースグループを作成するリージョン。リージョンは、ワークスペースが存在するリージョンと同じである必要があります。
[課金方法]
[サブスクリプション]: リソースグループを使用する前に料金を支払う必要があります。
[従量課金]: リソースグループを使用する前に料金を支払う必要はありません。
説明サーバーレスリソースグループの課金方法を従量課金制とサブスクリプション制の間で切り替えることはできません。たとえば、サーバーレスリソースグループにサブスクリプション課金方法を選択した場合、リソースグループの使用時にこの課金方法に基づいて課金されます。リソースグループの課金方法を従量課金制に変更することはできません。
ビジネス要件に合わせて、異なる課金方法に基づいて課金される複数のサーバーレスリソースグループを購入できます。
[リソースグループの仕様]
[課金方法] パラメーターを [サブスクリプション] に設定した場合にのみ、このパラメーターが必要です。
有効な値: 2 ～ 99999999。単位: CU。
説明1 CU = 1 vCPU コア + 4 GiB のメモリ。購入の推奨事項と、さまざまなタイプのタスクを実行するために必要な最小仕様については、「パフォーマンスメトリックと購入の推奨事項」をご参照ください。値
99999999は、購入できる CU の数に制限がないことを示します。ただし、購入できる CU の数は在庫状況の影響を受ける場合があります。在庫が不足している場合は、サーバーレスリソースグループを購入する際に表示されるプロンプトに注意する必要があります。
[リソースグループ名]
リソースグループの名前。
[リソースグループの説明]
リソースグループの説明。
[VPC]
リソースグループに関連付ける VPC と vSwitch。リソースグループがアクセスする必要のあるネットワークに基づいて VPC を選択できます。
リソースグループが同じ Alibaba Cloud アカウントに属し、リソースグループと同じリージョンに存在するデータソースにアクセスする必要がある場合は、データソースが存在する VPC と、その VPC 内の vSwitch を選択できます。
リソースグループが複雑なネットワーク環境にあるデータソースにアクセスする必要がある場合は、VPN Gateway や Express Connect などの接続ツールを使用して、リソースグループが関連付けられている VPC とデータソースが存在する VPC との間にネットワーク接続を確立する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
説明使用可能な VPC または vSwitch がない場合は、VPC コンソール に移動して VPC または vSwitch を作成する必要があります。 VPC の詳細については、「VPC とは」をご参照ください。
リソースグループの作成後、リソースグループを 1 つ以上の他の VPC に関連付けることができます。
[課金方法] パラメーターを [サブスクリプション] に設定し、選択した VPC が DataService Studio、データコンピューティング、データ同期で使用されている場合、DataService Studio でリソースグループを使用しているときに、リソースグループを別の VPC に関連付けたり、リソースグループに関連付けられた VPC を変更したりすることはできません。事前に適切な計画を立ててください。
サーバーレスリソースグループを VPC および vSwitch に関連付けた場合は、VPC および vSwitch の構成を変更しないでください。変更すると、サーバーレスリソースグループで実行される DataWorks タスクが失敗する可能性があります。
[vSwitch]
[課金サイクル]
リソースグループのサブスクリプション期間。 [課金方法] パラメーターを [サブスクリプション] に設定した場合にのみ、このパラメーターが必要です。
重要リソースグループの有効期限切れによるサービス停止またはリソース解放によってビジネスへの影響を防ぐため、[自動更新] を選択することをお勧めします。自動更新を選択すると、リソースグループの有効期限が切れる前に、実際の価格に基づいて Alibaba Cloud アカウントから料金が自動的に差し引かれます。自動更新のサイクルは 1 か月です。
[サービスロール]
サービスロール。初めてサーバーレスリソースグループを作成するときは、AliyunServiceRoleForDataWorks という名前の [サービスロールを作成] する必要があります。後続の操作でサーバーレスリソースグループを作成すると、サービスロールが自動的に割り当てられます。
説明AliyunServiceRoleForDataWorks を作成してくださいというプロンプトが表示された場合は、Alibaba Cloud アカウントの所有者または必要な権限を持つユーザーに 認証ページの URL を提供できます。所有者またはユーザーが認証を実行した後、操作を続行できます。サービスロール AliyunServiceRoleForDataWorks は、VPC、Elastic Network Interface (ENI)、およびセキュリティグループ内のリソースにアクセスするために使用されます。サービスロールの詳細については、「DataWorks サービスロール」をご参照ください。
ステップ 2: リソースグループをワークスペースに関連付ける
リソースグループを作成したら、リソースグループをワークスペースに関連付ける必要があります。その後、ワークスペースでタスクを作成するときに、リソースグループを選択できます。
ワークスペースの作成時にリソースグループを関連付ける
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[ワークスペース] をクリックして [ワークスペース] ページに移動します。
[ワークスペース] ページで、[ワークスペースの作成] をクリックします。 [ワークスペースの作成] ページで、[デフォルトのリソースグループ] ドロップダウンリストから作成したリソースグループを選択します。
リソースグループを既存のワークスペースに関連付ける
[リソースグループ] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
[リソースグループ] ページで、作成したリソースグループを見つけ、[ワークスペースの関連付け] を [アクション] 列でクリックします。[ワークスペースの関連付け] パネルで、リソースグループに関連付けるワークスペースを見つけて、[関連付け] を [アクション] 列でクリックします。
ステップ 3: ネットワーク接続を構成する
タスクが想定どおりに実行されるようにするには、ネットワーク接続の構成を完了する必要があります。こうすることで、リソースグループは目的のデータソースにアクセスできます。詳細については、「ネットワーク接続ソリューション」をご参照ください。
サーバーレスリソースグループを仮想プライベートクラウド (VPC) に関連付けることで、リソースグループが内部ネットワーク経由で複雑なネットワーク環境にあるデータソースまたはアドレスにアクセスできるようにすることができます。 デフォルトでは、サーバーレスリソースグループはインターネットにアクセスできません。サーバーレスリソースグループを使用してインターネット経由でデータソースまたはネットワーク環境にアクセスするには、リソースグループが関連付けられている VPC に インターネット NAT ゲートウェイ を構成し、インターネット NAT ゲートウェイを Elastic IP Address (EIP) に関連付ける必要があります。詳細については、このトピックの「シナリオ 5: リソースグループとインターネットにデプロイされているデータソース間のネットワーク接続を確立する」セクションをご参照ください。
サーバーレスリソースグループが関連付けられている VPC に内部 DNS 解決レコードを構成できます。こうすることで、サーバーレスリソースグループはカスタム内部ドメイン名を使用して関連データソースにアクセスできます。たとえば、サーバーレスリソースグループを CDH クラスタがデプロイされている VPC に関連付け、VPC に内部 DNS 解決レコードを構成すると、サーバーレスリソースグループはカスタムドメイン名を使用して CDH クラスタにアクセスできます。詳細については、「準備: CDH または CDP クラスタに関する構成情報を取得し、ネットワーク接続を構成する」をご参照ください。
ステップ 4: リソースグループの構成項目を変更する
クォータを管理する
データコンピューティング、データ同期、DataService Studio でリソースグループを使用する場合は、リソースグループの [最大 CU クォータ] または [最小 CU クォータ] を構成できます。これにより、タスクが想定どおりに実行されるようになります。
リソースグループの課金方法が従量課金制の場合、リソースグループの最大 CU クォータを構成して、過剰なリソース消費を防ぐことができます。
リソースグループの課金方法がサブスクリプションの場合、リソースグループの最小 CU クォータを構成できます。
[リソースグループ] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
リソースグループのクォータを変更します。
[リソースグループ] ページでリソースグループのクォータを変更します。
[リソースグループ] ページで、リソースグループを見つけ、[アクション] 列の
アイコンをクリックし、[クォータの管理] を選択します。 アクションクォータの管理最大 CU クォータ最小 CU クォータ で、さまざまな目的に合わせて または を変更します。リソースグループの詳細ページでリソースグループのクォータを変更します。
[リソースグループ] ページで、リソースグループを見つけ、[リソースグループ名] をクリックしてリソースグループの詳細ページに移動します。詳細ページの右上隅にある [クォータの管理] をクリックします。[クォータの管理] ダイアログボックスで、リソースグループの [最大 CU クォータ] または [最小 CU クォータ] を変更します。
データスケジューリングで許可される並列タスクの最大数を変更する
データスケジューリングでリソースグループを使用する場合は、リソースグループで実行できる並列タスクの最大数を指定できます。
デフォルトでは、許可される並列タスクの最大数は 50 です。許可される並列タスクの最大数の上限は 200 です。
[リソースグループ] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
データスケジューリングで許可される並列タスクの最大数を変更します。
[リソースグループ] ページで並列タスクの最大数を変更します。
[リソースグループ] ページで、リソースグループを見つけ、[アクション] 列の
アイコンをクリックし、[データスケジューリングの並列スレッドのしきい値を指定] を選択します。 アクション[データスケジューリングの並列スレッドのしきい値を指定]データスケジューリングの最大並列スレッド数 で、 を変更します。リソースグループの詳細ページで並列タスクの最大数を変更します。
[リソースグループ] ページで、リソースグループを見つけ、[リソースグループ名] をクリックして、リソースグループの詳細ページに移動します。詳細ページの右上隅にある [データスケジューリングの並列スレッドのしきい値を指定] をクリックします。 [リソース グループ名][データスケジューリングの並列スレッドのしきい値を指定][データスケジューリングの並列スレッドのしきい値を指定] で、 パラメーターの値を変更します。
説明[データスケジューリングの並列スレッドのしきい値を指定] パラメーターに指定する値は、リソースグループで並列にスケジュールできるタスク数の上限です。この値はタスクの実行とは関係なく、タスクの実行動作を制限するものではありません。
次のステップ: さまざまなタスクのリソースグループを構成する
リソースグループを作成して構成したら、データ同期、データスケジューリング、DataService Studio タスクのリソースグループを構成して、リソースグループを使用してタスクを実行する必要があります。詳細については、「一般的なリファレンス: タスクで使用されるリソースグループを変更する」をご参照ください。
その他の操作
従量課金制のサーバーレスリソースグループのフリーズと再起動
従量課金制のサーバーレスリソースグループをフリーズする
従量課金制のサーバーレスリソースグループが 7 日間使用されていない場合、システムはサーバーレスリソースグループを自動的にフリーズします。 [リソースグループ] ページで、サーバーレスリソースグループのステータスを確認できます。
説明サーバーレスリソースグループがタスクスケジューリング、コンピューティングタスク、データ同期タスク、データ分析クエリ、ネットワーク接続テスト、メタデータ収集、個人開発環境、または DataService Studio で 7 日間使用されていない場合、システムはサーバーレスリソースグループを自動的にフリーズします。
フリーズされた従量課金制のサーバーレスリソースグループを再起動する
フリーズされたサーバーレスリソースグループを再起動するには、[リソースグループ] ページの [専用リソースグループ] タブでサーバーレスリソースグループを見つけ、[アクション] 列の
アイコンをクリックし、[開始] を選択します。
リソースグループをスケールアウトまたはスケールインする
[サブスクリプション] リソースグループの詳細ページに表示されるリソース使用量が過度に高い場合は、リソースグループをスケールアウトして、データ同期、タスクスケジューリング、DataService Studio でのリソースグループの処理パフォーマンスを向上させることができます。 [サブスクリプション] リソースグループのリソース使用量が少ない場合は、リソースグループをスケールインしてコストを削減できます。
[リソースグループ] ページに移動します。
DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループ] ページに移動します。
- アクションスケールアウト[スケールイン] ページで、リソースグループを見つけ、 列の アイコンをクリックし、 または を選択します。説明
リソースグループをスケールインすると、リソースグループを使用するタスクの実行速度が低下する可能性があります。この操作を実行する前に、スケールイン操作がビジネスに影響を与えないことを確認してください。
表示されるページで、[リソースグループの仕様] パラメーターの値を変更し、[サービス利用規約] を確認し、チェックボックスをオンにして、[今すぐ購入] をクリックします。
参考資料
リソースグループの詳細については、「リソースグループ管理」をご参照ください。
[オペレーションセンター] で提供されるインテリジェントモニタリング機能を使用して、リソースグループのリソース使用量と、リソースグループでリソースを待機しているインスタンスの数を監視できます。インテリジェントモニタリング機能の使用方法の詳細については、「カスタムアラートルールを作成する」をご参照ください。
[リソースグループ] ページでリソースグループのステータスを表示する場合は、次の項目に注意してください。
リソースグループの [有効期限] が切れている場合は、
[アクション] 列の 更新 アイコンをクリックし、 をクリックして、リソースグループを更新できます。リソースグループのリソース使用量が
アクションスケールアウトリソースグループをスケールアウトまたはスケールインする に達した場合は、 列の アイコンをクリックし、 を選択して、リソースグループをスケールアウトできます。詳細については、このトピックの「」セクションをご参照ください。
サーバーレスリソースグループでタスクを実行するために、サードパーティライブラリの依存関係を持つ環境など、特定の開発環境が必要な場合は、必要なすべての開発 [パッケージ] と依存関係を含む カスタムイメージ を作成できます。その後、サーバーレスリソースグループでタスクを実行するときに、カスタムイメージを実行時環境として使用できます。
サーバーレスリソースグループの [サブスクリプション] を解除する場合は、
アクションサブスクライブ解除一般的なリファレンス：DataWorks コモディティの使用停止 ページでサーバーレスリソースグループを見つけ、 列の アイコンをクリックし、 を選択します。詳細については、「」をご参照ください。