スケジューリング専用リソースグループの購入 - DataWorks

DataWorks は専用スケジューリングリソースグループを推奨しなくなりました

DataWorks は、専用スケジューリングリソースグループの使用を推奨しなくなりました。代わりにServerless リソースグループを使用してください。Serverless リソースグループには、専用スケジューリングリソースグループ、Data Integration 専用リソースグループ、DataService Studio 専用リソースグループ、スケジュールの共有リソースグループなど、以前のリソースグループタイプのコア機能が含まれています。単一の Serverless リソースグループを使用して、データの同期、タスクのスケジュールと実行、API サービスの呼び出しと管理を行うことができます。

前提条件

「スケジューリング専用リソースグループの課金」で仕様、同時実行数の上限、および料金を確認します。ビジネス要件に基づいて、リソースグループの仕様とサブスクリプション期間を計画します。
「スケジューリング専用リソースグループのユースケース」を確認します。

注意事項

(任意)：スケジューリング専用リソースグループが、自己管理データベースへのアクセスや Shell スクリプトによる内部アドレスへのアクセス、または EMR や CDH のようなスケジューリング専用リソースグループを必要とするエンジンを使用するなど、データソースや他のネットワーク環境とやり取りする必要がある場合は、ネットワーク接続性と許可リストの設定を理解しておく必要があります。「ネットワーク接続性と許可リストの設定」をご参照ください。

共有スケジューリングリソースグループでのリソース競合によるタスクの遅延を緩和するだけで、データベース接続が不要な場合は、ネットワーク設定の手順をスキップできます。ネットワーク設定を行わずに、任意のアベイラビリティゾーンで専用リソースグループを購入できます。
スケジューリング専用リソースグループはデフォルトでインターネットにアクセスできますが、帯域幅は共有であり、パフォーマンスは保証されません。タスクがインターネットアクセスに大きく依存する場合は、代わりにサーバーレスリソースグループを使用してください。

制限事項

リソースグループを購入できるのは、Alibaba Cloud アカウント、またはAliyunBSSOrderAccess と AliyunDataWorksFullAccess の権限を持つ RAM ユーザーのみです。
リソースグループをワークスペースに関連付けたり、関連付けを変更したりできるのは、ワークスペース管理者のみです。
詳細な権限については、「リソースグループの権限制御ポリシー」に記載されています。
カスタムポリシーを作成して、アクセスを微調整することもできます。「カスタムポリシーの作成と権限の付与」をご参照ください。
4c8g タイプのスケジューリング専用リソースグループは、最大 2 つの VPC とのバインドをサポートします。他の仕様のスケジューリング専用リソースグループは、最大 3 つの VPC とのバインドをサポートします。
スケジューリング専用リソースグループの購入時に選択した VPC はプライマリ VPC であり、バインドを解除することはできません。バインドを解除できるのは、購入後に追加でバインドした VPC のみです。プライマリ VPC を変更するには、現在のリソースグループを解約して再購入し、購入時に新しい VPC を選択します。
スケジューリング専用リソースグループは将来的に廃止される予定です。いずれかのリージョンで DataWorks をアクティベートしたことがない場合、アクティベート後に購入および使用できるのはサーバーレスリソースグループのみであり、レガシーリソースグループの購入や使用はできません。「サーバーレスリソースグループのリリースノート」をご参照ください。
スケジューリング専用リソースグループで実行されるタスクは、実行時に最大 100 個のファイルを作成でき、各ファイルのサイズは 150 MB を超えることはできません。

ステップ1：リソースグループの購入

スケジューリング専用リソースグループはサブスクリプション課金を採用しており、別途購入する必要があります。

リソースグループを購入できるのは、AliyunBSSOrderAccess と AliyunDataWorksFullAccess の権限を持つユーザーのみです。

DataWorks コンソールにログインします。

左側メニューでリソースグループをクリックし、リソースグループの一覧ページに移動します。専用リソースグループタブで、レガシースケジューリングリソースグループの作成をクリックします。購入ページで、ビジネスニーズに基づいて次の主要なパラメーターを設定します。

パラメーター	説明
リージョン	この専用リソースグループを使用するリージョンを選択します。説明専用リソースグループはリージョンをまたいで使用することはできません。たとえば、中国 (上海) のリソースグループは、中国 (上海) のワークスペースでのみ使用できます。
[専用リソースタイプ]	このパラメーターをスケジュール専用リソースに設定します。
[スケジュール専用リソース]	リソースグループの仕様を選択します。仕様によってコストと同時実行数の上限が異なります。「スケジューリング専用リソースグループの課金」をご参照ください。
[リソース数]	リソースグループ内のマシンの数。本番環境の高可用性を確保するために、少なくとも 2 つを選択します。
[課金サイクル]	サブスクリプション課金。サービスの中断を避けるために自動更新を選択します。自動更新は、後で Alibaba Cloud の更新管理ページで管理できます。「専用リソースグループの更新」をご参照ください。
[リソース名]	テナント内で一意の名前をリソースグループに設定します。名前が重複していると、確認時にエラーが発生します。説明テナントとは Alibaba Cloud アカウントのことで、複数の RAM ユーザーを持つことができます。

今すぐ購入をクリックし、画面の指示に従って支払いを完了し、スケジューリング専用リソースグループを購入します。

購入後、DataWorks は専用リソースグループを初期化します。ステータスがRunningになると、リソースグループがコンソールに表示されます。

説明
専用リソースグループの初期化には約 20 分かかります。ステータスが [実行中] に変わるまでお待ちください。

リソースグループの準備が整ったら、タスク設定で使用する前にワークスペースに関連付けます。

ステップ2：ワークスペースとの関連付け

リソースグループをワークスペースに関連付けたり、関連付けを変更したりできるのは、ワークスペース管理者のみです。

スケジューリング専用リソースグループは、使用する前にワークスペースに関連付ける必要があります。リソースグループは複数のワークスペースに関連付けることができますが、同じリージョン内に限られます。たとえば、中国 (上海) のリソースグループは、中国 (上海) のワークスペースにのみ関連付けることができます。

DataWorks コンソールにログインします。
リソースグループの一覧ページで、専用リソースグループタブをクリックし、対象のリソースグループの行にある所属ワークスペースの変更をクリックします。
所属ワークスペースの変更ページで、対象のワークスペースの行にあるアタッチをクリックして、専用リソースグループをワークスペースに関連付けます。

ステップ3：ネットワーク設定の構成

VPCのバインド

スケジューリング専用リソースグループが、自己管理データベースへのアクセスや Shell スクリプトによる内部アドレスへのアクセス、または EMR や CDH のようなスケジューリング専用リソースグループを必要とするエンジンを使用するなど、データソースや他のネットワーク環境とやり取りする必要がある場合は、以下で説明するように VPC のバインドと許可リストの設定も構成する必要があります。

専用リソースグループは DataWorks が管理する VPC にデプロイされます。データソースへの接続を有効にするには、独自の VPC をリソースグループにバインドします。

4c8g タイプのスケジューリング専用リソースグループは、最大 2 つの VPC とのバインドをサポートします。他の仕様では、最大 3 つの VPC とのバインドをサポートします。

DataWorks コンソールにログインします。
リソースグループの一覧ページで、専用リソースグループタブをクリックし、対象のリソースグループの行にあるネットワーク設定をクリックしてバインドページに移動します。

バインドする前に、Alibaba Cloud アカウント (必要な権限を持つのは Alibaba Cloud アカウントのみ) を使用して、DataWorks がクラウドリソースにアクセスするための RAM 承認を完了します。[クラウドリソースアクセス承認]ページで、AliyunDataWorksAccessingENIRoleロールを選択し、[承認ポリシーの確認]をクリックします。

VPC をバインドします。

VPC のアタッチ ページで、左上隅にある アタッチの追加 をクリックします。VPC のアタッチ ダイアログボックスで、ネットワーク環境に基づいてパラメーターを設定します。

説明

Alibaba Cloud インスタンスまたは自己管理 ECS インスタンスを利用するユースケースでは、ネットワーク接続性ソリューションと設定は、DataWorks ワークスペースとデータソースが同じメインアカウントに属しているかどうかによって異なります。

パラメーター	同一アカウントおよび同一リージョン	異なるアカウントまたはリージョン
[VPC のアタッチ]	データソースと専用リソースグループが同じ Alibaba Cloud アカウントにある場合は、データソースが配置されている VPC を選択することを推奨します。同じ Alibaba Cloud アカウントにない場合は、異なるリージョンにある場合のシナリオの指示に従ってください。	データソースと専用リソースグループが異なるリージョンまたは異なるメインアカウントにある場合は、現在のアカウント内でデータソースネットワークに接続されている VPC を選択します。たとえば、データソースが Alibaba Cloud VPC にない場合は、VPC の作成をクリックして専用リソースグループ用の VPC を作成できます。VPC の作成後、新しい VPC またはすでに対象のデータベースネットワークに接続されている VPC を選択します。説明 DataWorks ワークスペースとデータソースが異なるリージョンまたは異なるメインアカウントにある場合は、VPN Gateway や Express Connect などのサービスを使用して、専用リソースグループにバインドされている VPC をデータソースが配置されている VPC に接続する必要もあります。また、ネットワーク間の接続性を確保するために、対象のデータベース IP アドレスを指すルートを手動で追加する必要があります。詳細については、「ネットワーク接続性ソリューション」をご参照ください。
[ゾーン]	データベースが配置されているゾーンを選択します。	すでに対象のデータベースネットワークに接続されているゾーンを選択します。
[vSwitch]	データソースが配置されている VPC を選択した場合は、データソースに関連付けられている vSwitch を選択することを推奨します。説明データソースの VPC 内の任意の vSwitch をバインドすると、その VPC 内でデータ統合専用リソースグループのネットワーク接続性を確保するために、VPC の CIDR ブロック全体へのルートが自動的に追加されます。	すでに対象のデータベースネットワークに接続されている vSwitch を選択します。利用可能な vSwitch がない場合は、vSwitch の作成をクリックして専用リソースグループ用の vSwitch を作成します。vSwitch の作成後、ここでそれを選択します。

OK をクリックして VPC へのバインドを完了します。

説明

データソースと専用リソースグループが異なるリージョンまたは異なるメインアカウントにある場合は、VPC をバインドしてから、対象のデータベース IP アドレスを指すルートルールを追加する必要があります。

オプション： ホスト名と IP アドレスのマッピングを設定します。

データソースが IP アドレスではなくホスト名を使用してアクセスされる場合は、ホスト名と IP アドレスのマッピングを設定する必要があります。そうしないと、データソースを追加する際にホスト名を使用した接続性テストが失敗します。

Host 構成 をクリックします。ページで、左上隅にある作成をクリックします。ドメイン Host 設定の追加 ダイアログボックスで、次のパラメーターを設定します。

パラメーター	説明
[IP アドレス]	データソースの実際の IP アドレスを入力します。
[Host ドメイン名]	データソースが外部アクセスに使用するホストドメインを入力します。複数のホストドメインがある場合は、それぞれ改行して入力します。

複数のマッピングを追加するには、作成を再度クリックします。
説明
- 新しいマッピングの IP アドレスとホストドメインは、既存のマッピングの IP アドレスまたはホストドメインと重複してはなりません。
- 単一のマッピングは、IP アドレスとホストドメイン間の 1 対多の関係をサポートします。IP アドレスは複数のホストドメインにマッピングできますが、ホストドメインは 1 つの IP アドレスにのみマッピングできます。

許可リストの追加

リソースグループとデータソースが同じアベイラビリティゾーンにあり、同じ VPC と vSwitch を共有しているにもかかわらず接続できない場合、データソースに許可リストの制限がある可能性があります。データソースの許可リストに次のエントリを追加します。

内部ネットワーク：リソースグループを VPC にバインドするときに使用した vSwitch CIDR ブロックをデータソースの許可リストに追加します。

VPC をバインドした後、リソースグループの一覧 > 専用リソースグループページに移動します。対象のリソースグループのネットワーク設定をクリックし、VPC のアタッチタブをクリックしてvSwitch CIDR ブロックを表示します。[vSwitch CIDR ブロック]列で CIDR ブロックアドレスを見つけます。
インターネット：リソースグループのEIP アドレスをデータソースの許可リストに追加します。リソースグループの[基本情報]ページで[EIP アドレス]を確認します。

ステップ4：ネットワーク接続のテスト

ネットワーク設定が完了したら、リソースグループとデータソース間の接続性をテストします。

[データソース] ページに移動します。
1. DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、[Management Center] をクリックします。表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[管理センターに移動] をクリックします。
2. 表示されるページの左側のナビゲーションウィンドウで、[データソース] をクリックします。 [データソース] ページが表示されます。
対象のデータソースの操作列にある編集をクリックします。
データソースの編集ページで、対象のスケジューリングリソースグループの横にある接続テストをクリックします。接続ステータスが到達可能であれば、接続は成功です。

[接続設定]セクションで、[データスケジューリング]タブをクリックして、リソースグループリストと開発環境および本番環境の両方の接続ステータスを確認します。[編集を終了]をクリックして保存します。
説明
- 設定インターフェイスはデータソースの種類によって異なります。
- データソースに開発環境と本番環境が別々にある場合は、各環境で個別に接続テストを行います。
- ネットワーク環境によっては、特定の設定が必要になる場合があります。「ネットワーク接続ソリューション」をご参照ください。

付録：スケジューリングリソースグループの切り替え

タスクが使用するリソースグループは、次の方法で切り替えることができます。

環境	サポートされる切り替え操作	インターフェイスエントリ
本番環境リソースグループの切り替え	一括切り替え	オペレーションセンターの左側メニューで、定期タスクの運用保守 > 定期タスクをクリックします。リソースグループを変更するタスクを選択し、下部のツールバーでスケジューリングリソースグループの変更をクリックして、リソースグループを一括で変更します。重要仮想ノード、ワークフロー、および Machine Learning Platform for AI (PAI) タスクは、リソースグループの変更をサポートしていません。これらのタスクタイプは選択しないでください。
開発環境リソースグループの切り替え	単一タスクの切り替え一括切り替え	[Datastudio]ページに移動し、次のように設定します。単一タスクの切り替え対象ノードの編集ページに移動します。スケジューリング設定 > リソースプロパティでリソースグループを変更できます。一括切り替えアイコンをクリックし、リソースグループを変更するタスクを選択し、下部のツールバーでもっと見る > スケジューリングリソースグループの変更をクリックして、リソースグループを一括で変更します。
Data Studioデバッグリソースグループの切り替え	単一タスクの切り替え	[Datastudio]の単一ノードのコード編集ページに移動し、ツールバーのボタンをクリックして、コードのデバッグに使用するスケジューリングリソースグループを切り替えます。

DataWorks:スケジューリング専用リソースグループの作成と使用