タスクを実行およびスケジュールするには、ビジネスニーズに合った仕様の専用スケジューリングリソースグループを購入できます。リソースグループを購入した後、使用する前にネットワーク設定とホワイトリストを構成する必要があります。このトピックでは、専用スケジューリングリソースグループの購入方法と使用方法について説明します。
2024 年 6 月 10 日より前にいずれかのリージョンで DataWorks をアクティベートしていない場合、DataWorks をアクティベートした後は、サーバーレスリソースグループのみを購入して使用できます。レガシーリソースグループは購入も使用もできません。長期間 DataWorks を使用しているユーザーで、サーバーレスリソースグループに切り替える必要がある場合は、「レガシーリソースグループのアップグレード」をご参照ください。
DataWorks は専用スケジューリングリソースグループを推奨しなくなりました
DataWorks は、専用スケジューリングリソースグループの使用を推奨しなくなりました。代わりにサーバーレスリソースグループを使用してください。サーバーレスリソースグループは、専用スケジューリングリソースグループ、データ統合専用リソースグループ、DataService Studio 専用リソースグループ、パブリックリソースグループなど、以前のリソースグループタイプのコア機能を提供します。単一のサーバーレスリソースグループで、データの同期、タスクのスケジュールと実行、API サービスの呼び出しと管理が可能です。
前提条件
専用スケジューリングリソースグループの仕様、パフォーマンス、課金方法をよく理解してください。さまざまな仕様で同時に実行できるタスクの数と、それらがどのように課金されるかを理解する必要があります。次に、ビジネスニーズに基づいてリソースグループの仕様とサブスクリプション期間を計画します。詳細については、「専用スケジューリングリソースグループの課金」をご参照ください。
専用スケジューリングリソースグループの適用可能なシナリオを理解します。詳細については、「専用スケジューリングリソースグループのシナリオ」をご参照ください。
注意事項
(オプション) 専用スケジューリングリソースグループがデータソースまたは別のネットワーク環境と対話する必要がある場合は、ネットワーク接続ソリューションとホワイトリスト構成を理解する必要があります。これは、Shell ノードを使用してプライベート IP アドレスで自己管理データベースにアクセスしたり、専用スケジューリングリソースグループを必要とする EMR または CDH エンジンを使用したりするなどのシナリオで必要です。さまざまなシナリオのネットワーク接続ソリューションとホワイトリスト構成の詳細については、「専用スケジューリングリソースグループの課金」をご参照ください。
データベースインスタンスに接続する必要がなく、共有スケジューリングリソースの不足によるタスクの待機時間を解決したいだけの場合は、このトピックのネットワーク関連情報を無視できます。ネットワーク設定を構成せずに、任意のゾーンで専用スケジューリングリソースグループを購入できます。
デフォルトでは、専用スケジューリングリソースグループはインターネットにアクセスできます。ただし、共有帯域幅を使用するため、アクセスの品質は保証されません。インターネットアクセスへの依存度が高い場合は、サーバーレスリソースグループを使用してください。
制限事項
Alibaba Cloud アカウント、または AliyunBSSOrderAccess および AliyunDataWorksFullAccess 権限を持つ RAM ユーザーのみがリソースグループを購入できます。
ワークスペース管理者のみがリソースグループをワークスペースにアタッチしたり、アタッチメントを変更したりできます。
リソースグループ操作に必要な権限の詳細については、「リソースグループ権限の制御ポリシー」をご参照ください。
カスタムポリシーの作成と付与の詳細については、「カスタムポリシーの作成 (オプション)」をご参照ください。
4c8g仕様の専用スケジューリングリソースグループは、最大2つの VPC にアタッチできます。その他の仕様は、最大3つの VPC にアタッチできます。専用リソースグループは廃止されます。いずれかのリージョンで DataWorks をアクティベートしていない場合、DataWorks をアクティベートした後は、サーバーレスリソースグループのみを購入して使用できます。レガシーリソースグループは購入も使用もできません。サーバーレスリソースグループのリリースに関する詳細については、「DataWorks サーバーレスリソースグループのローンチに関するお知らせ」をご参照ください。
タスクが専用スケジューリングリソースグループで実行される場合、デフォルトで最大
100個のファイルを作成できます。単一ファイルのサイズは150 MBを超えることはできません。
ステップ 1: リソースグループの購入
DataWorks は、別途購入する必要があるサブスクリプションベースの専用リソースグループを提供します。リソースグループを購入するには、次の手順を実行します。
AliyunBSSOrderAccess および AliyunDataWorksFullAccess 権限を持つユーザーのみがリソースグループを購入できます。
DataWorks コンソールにログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックして [リソースグループリスト] ページを開きます。[専用リソースグループ] タブで、[レガシースケジューリングリソースグループの作成] をクリックします。購入ページで、必要に応じてパラメーターを構成します。主要なパラメーターを以下に説明します。
パラメーター
説明
リージョン
この専用リソースグループを使用するリージョンを選択します。
説明専用スケジューリングリソースグループはリージョンをまたいで使用することはできません。たとえば、中国 (上海) リージョンの専用リソースは、中国 (上海) リージョンのワークスペースでのみ使用できます。
専用リソースタイプ
これを [専用スケジューリングリソース] に設定します。
専用スケジューリングリソース
専用スケジューリングリソースグループの仕様を選択します。料金と同時実行インスタンスの最大数は仕様によって異なります。詳細については、「専用スケジューリングリソースグループの課金: サブスクリプション」をご参照ください。
リソース数
リソースグループ内のマシンの数。本番環境で高可用性を確保するには、2 台以上のマシンを選択することをお勧めします。
課金サイクル
専用リソースグループはサブスクリプションサービスです。中断のないサービスを確保するには、[自動更新] を選択します。リソースグループを作成した後、Alibaba Cloud コンソールの [更新管理] ページに移動して、自動更新を有効または無効にすることもできます。詳細については、「課金の無効化」をご参照ください。
リソース名
リソースグループの名前を設定します。名前はテナント内で一意である必要があります。名前が重複すると、確認中にエラーが発生します。
説明テナントは Alibaba Cloud アカウントです。テナント (Alibaba Cloud アカウント) は複数のユーザー (RAM ユーザー) を持つことができます。
[今すぐ購入] をクリックし、プロンプトに従って専用スケジューリングリソースグループを購入します。
購入後、DataWorks は専用リソースグループの初期化を開始します。リソースグループは、ステータスが [実行中] に変わった後、コンソールに追加されます。
説明専用リソースグループの初期化には約 20 分かかります。ステータスが [実行中] に変わるまでお待ちください。
専用リソースグループがコンソールに追加された後、タスク構成で選択する前に、ワークスペースにアタッチする必要があります。
ステップ 2: ワークスペースへのアタッチ
ワークスペース管理者のみがリソースグループをワークスペースにアタッチしたり、アタッチメントを変更したりできます。
専用スケジューリングリソースグループは、使用する前にワークスペースにアタッチする必要があります。単一の専用スケジューリングリソースグループは複数のワークスペースに割り当てることができますが、リージョンをまたいで使用することはできません。たとえば、中国 (上海) リージョンの専用スケジューリングリソースグループは、中国 (上海) リージョンのワークスペースにのみアタッチできます。リソースグループをワークスペースにアタッチするには、次の手順を実行します。
DataWorks コンソールにログインします。
[リソースグループリスト] ページで、[専用リソースグループ] タブをクリックします。ターゲットリソースグループを見つけて、[ワークスペースのアタッチ] をクリックします。
[ワークスペースのアタッチ] ページで、専用リソースグループをアタッチするワークスペースを見つけて、[アタッチ] をクリックします。
ステップ 3: ネットワーク設定の構成
VPC のアタッチ
専用スケジューリングリソースグループがデータソースまたは別のネットワーク環境と対話する必要がある場合は、VPC アタッチメントとホワイトリスト設定を構成する必要があります。これは、Shell ノードを使用してプライベート IP アドレスで自己管理データベースにアクセスしたり、専用スケジューリングリソースグループを必要とする EMR または CDH エンジンを使用したりするなどのシナリオで必要です。
専用リソースグループは、DataWorks によって管理される VPC にデプロイされます。他のデータソースとの接続を有効にするには、独自に VPC をリソースグループにアタッチする必要があります。VPC をアタッチするには、次の手順を実行します。
4c8g 仕様の専用スケジューリングリソースグループは、最大 2 つの VPC にアタッチできます。その他の仕様は、最大 3 つの VPC にアタッチできます。
DataWorks コンソールにログインします。
[リソースグループリスト] ページの [専用リソースグループ] タブで、ターゲットリソースグループを見つけて [ネットワーク設定] をクリックしてアタッチメントページを開きます。
VPC をアタッチする前に、Alibaba Cloud アカウントを使用して RAM 権限を付与します。この権限を持つのは Alibaba Cloud アカウントのみです。この権限付与により、DataWorks はクラウドリソースにアクセスできるようになります。
VPC をバインドします。
[VPC バインディング] ページの左上隅にある [バインディングの追加] をクリックします。[VPC バインディングの追加] ダイアログボックスで、パラメーターを構成します。パラメーターはネットワーク環境によって異なります。
説明Alibaba Cloud インスタンスや自己管理 ECS インスタンスなどのシナリオでは、DataWorks ワークスペースとデータソースが同じ Alibaba Cloud アカウントにあるかどうかに基づいて、ネットワーク接続ソリューションを選択し、設定を構成できます。
パラメーター
構成 (データソースと専用リソースグループが同じアカウントとリージョンにある場合)
構成 (データソースと専用リソースグループが異なるアカウントまたはリージョンにある場合)
VPC のアタッチ
データソースと専用リソースグループが同じ Alibaba Cloud アカウントにある場合は、データソースが存在する VPC を選択します。
異なる Alibaba Cloud アカウントにある場合は、異なるリージョンにある場合のシナリオの指示に従ってください。
データソースと専用リソースグループが異なるリージョンにあるか、異なる Alibaba Cloud アカウントに属している場合は、ターゲットデータソースのネットワークに接続されている仮想プライベートクラウド (VPC) を選択します。たとえば、データソースが Alibaba Cloud VPC にない場合は、[VPC の作成] をクリックして専用リソースグループ用の VPC を作成します。VPC が作成されたら、新しい VPC またはターゲットデータベースネットワークにすでに接続されている VPC を選択します。
説明DataWorks ワークスペースとデータソースが異なるリージョンにあるか、異なる Alibaba Cloud アカウントに属している場合は、VPN Gateway または Express Connect を使用して、専用リソースグループにバインドされている VPC をデータソースの VPC に接続します。次に、2 つのネットワーク間の接続を確保するために、ターゲットデータベースの IP アドレスを指すルートを手動で追加する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
ゾーン
データベースが存在するゾーンを選択します。
ターゲットデータベースへのネットワーク接続があるゾーンを選択します。
VSwitch
データソースが存在する VPC を選択した場合は、データソースが接続されている vSwitch を選択します。
説明データ統合専用リソースグループをデータソースの VPC とその VPC 内の任意の vSwitch にバインドすると、VPC の CIDR ブロックへのルートが自動的に追加されます。これにより、リソースグループが VPC 内のデータソースにアクセスできるようになります。
ターゲットデータベースネットワークに接続されている vSwitch を選択します。利用可能な vSwitch がない場合は、[VSwitch の作成] をクリックして専用リソースグループ用の vSwitch を作成します。vSwitch を作成したら、それを選択します。
[OK] をクリックして VPC をバインドします。
説明データソースと専用リソースグループが異なるリージョンまたは異なる Alibaba Cloud アカウントにある場合は、VPC をバインドした後、ターゲットデータベースの IP アドレスを指すルーティングルールを追加する必要があります。
オプション: ホストを構成します。
データソースが IP アドレスではなくドメイン名でアクセスされる場合は、ホストマッピングを構成する必要があります。そうしないと、ドメイン名を使用してデータソースを追加するときに接続テストが失敗します。
[ホスト名と IP のマッピング] をクリックし、左上隅にある [追加] をクリックします。[ホスト名と IP のマッピングを作成] ダイアログボックスで、パラメーターを構成します。パラメーターは次のように説明されています。
パラメーター
説明
IP アドレス
データソースの実際の IP アドレス。
ホスト名
データソースへのアクセスに使用されるホスト名。複数のホスト名を追加するには、それぞれを別の行に配置します。
ドメイン名を複数の IP アドレスにマッピングするには、[追加] をクリックします。
説明新しいホスト構成の IP アドレスとドメイン名は、既存のホスト構成のものと同じにすることはできません。
ホスト構成では、IP アドレスとドメイン名の関係は 1 対多です。1 つの IP アドレスを複数のドメイン名にマッピングできますが、1 つのドメイン名は 1 つの IP アドレスにしかマッピングできません。
ホワイトリストへの追加
リソースグループとデータソースが同じゾーン、VPC、vSwitch にあるが、ネットワークが接続されていない場合、原因はデータソースのホワイトリスト制限である可能性があります。この場合、次の情報をデータソースのホワイトリストに追加します。
データソースと専用リソースグループを内部ネットワーク経由で接続するには、アタッチされた VPC の vSwitch CIDR ブロックをデータソースのホワイトリストに追加します。
専用リソースグループに VPC をアタッチした後、DataWorks の ページに移動します。対応するリソースグループの [ネットワーク設定] をクリックします。[VPC アタッチメント] タブで、[VSwitch CIDR ブロック] を表示できます。
データソースをインターネット経由で専用リソースグループに接続するには: 専用リソースグループの [EIP アドレス] をデータソースのホワイトリストに追加します。
ステップ 4: ネットワーク接続のテスト
ネットワーク構成が完了したら、次の手順に従ってリソースグループとデータソース間のネットワーク接続をテストします。
[データソース] ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、を選択します。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターへ移動] をクリックします。
SettingCenter ページの左側のナビゲーションウィンドウで、[データソース] をクリックします。
ターゲットデータソースの [操作] 列で、[編集] をクリックします。
データソース編集ページで、対応するデータスケジューリングリソースグループの [接続のテスト] をクリックします。ステータスが [接続済み] であれば、接続は成功です。
説明構成インターフェイスはデータソースの種類によって異なります。実際のインターフェイスが優先されます。
データソースが開発環境と本番環境の両方で使用される場合は、各環境でデータソースとリソースグループ間のネットワーク接続をテストする必要があります。
さまざまなネットワーク環境における専用リソースグループとデータソース間のネットワーク接続の詳細については、「ネットワーク接続ソリューション」をご参照ください。
その他の操作
リソースグループの使用状況の表示とリソースグループの監視
DataWorks コンソールでリソースグループの使用状況とキューのステータスを表示できます。また、オペレーションセンターのインテリジェント監視機能を使用して、リソースグループの使用率とリソースを待機しているインスタンスの数を監視することもできます。タスクの実行に過度の時間がかかる場合は、リソースグループの使用状況をチェックして、すべてのリソースが使用中かどうかを判断します。詳細については、「専用リソースグループの使用状況の表示」をご参照ください。リソースグループの監視の詳細については、「カスタムルールの作成」をご参照ください。
O&M アシスタントを使用したリソースグループでのコマンドの実行
開発中に、O&M アシスタント機能を使用して、専用スケジューリングリソースグループでコマンドを実行できます。たとえば、この機能を使用してサードパーティの PyODPS パッケージをインストールできます。O&M アシスタントの使用方法の詳細については、「O&M アシスタント」をご参照ください。
リソースグループのゾーンの変更
リソースグループのゾーンを変更するには、次の手順を実行します。
DataWorks コンソールにログインします。
左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。[リソースグループリスト] ページで、[専用リソースグループ] タブをクリックし、[目的] が [データスケジューリング] のリソースグループを見つけます。
リソースグループの [アクション] 列で、
アイコンをクリックし、[ゾーンの変更] を選択します。[リソースグループゾーンの変更] ダイアログボックスが開きます。[リソースグループのゾーンを変更] ダイアログボックスで、[現在のゾーン] を選択し、[マシン数] を入力します。次に、[新しいゾーン] を選択し、[変更するマシン数] を入力します。
[変更の確認] ボタンをクリックして、ゾーンの変更を完了します。
リソースグループのゾーンを変更すると、次のネットワーク変更が発生する可能性があります。
リソースグループの CIDR ブロック: リソースグループ内の各ゾーンは独立した CIDR ブロックに対応します。したがって、CIDR ブロックはリソースグループのゾーンが変更された場合にのみ変更されます。リソースグループのゾーンが変更されると、対応する CIDR ブロックも調整されます。
リソースグループのプライマリネットワークインターフェイスコントローラー (NIC) IP アドレス: 交換された ECS インスタンスのプライマリ NIC IP アドレスが変更されます。新しい IP アドレスは、宛先ゾーンの CIDR ブロックから再割り当てされます。
リソースグループにアタッチされたエラスティックネットワークインターフェイス (ENI): vSwitch CIDR ブロックがホワイトリストに追加されている場合、この変更は影響しません。ただし、リソースグループにアタッチされた ENI の IP アドレスがホワイトリストに追加されている場合は、継続的なアクセスと通常の操作を確保するためにホワイトリスト構成を更新する必要があります。
付録: スケジューリングリソースグループの切り替え
タスクが専用スケジューリングリソースグループを使用するように構成した後、次の方法でタスクが使用するリソースグループを切り替えることができます。
操作環境 | サポートされる切り替え操作 | インターフェイスエントリ |
本番環境リソースグループの切り替え | バッチ切り替え |
重要 ゼロロードノード、ワークフロー、Platform for AI (PAI) ノードなどのタスクタイプのリソースグループは変更できません。それらを選択しないでください。 |
開発環境リソースグループの切り替え |
| [DataStudio] ページに移動して構成します:
|
DataStudio デバッグリソースグループの切り替え | 単一タスクの切り替え | [DataStudio] の単一ノードのコード編集ページに移動します。ツールバーの |
アイコンをクリックし、リソースグループを変更するタスクを選択し、下部のメニューバーにある 
ボタンをクリックして、コードデバッグフェーズ中にタスクで使用されるスケジューリングリソースグループを切り替えます。