ビジネス要件に合った仕様で専用スケジューリングリソースグループを購入し、タスクの実行およびスケジューリングを行うことができます。リソースグループを購入後、使用するには VPC のバインドやホワイトリストなどのネットワーク設定を構成する必要があります。本トピックでは、専用スケジューリングリソースグループの購入および使用方法について説明します。
2024 年 6 月 10 日以前にどのリージョンでも DataWorks を有効化していない場合、有効化後に購入および使用できるのはサーバーレスリソースグループのみです。レガシーリソースグループはサポートされていません。既存の DataWorks ユーザーがサーバーレスリソースグループに切り替えたい場合は、「レガシーリソースグループからの切り替え」をご参照ください。
DataWorks は専用スケジューリングリソースグループを推奨しません
DataWorks は専用スケジューリングリソースグループを推奨しません。代わりに、サーバーレスリソースグループを使用することを推奨します。 サーバーレスリソースグループは、レガシーリソースグループ(専用スケジューリングリソースグループ、データ統合専用リソースグループ、Data Service 専用リソースグループ、共有リソースグループ)の中核機能を単一のリソースグループに統合しており、これによりデータの同期、タスクのスケジューリングおよび実行、API サービスの呼び出しと管理が可能になります。
前提条件
-
専用スケジューリングリソースグループの仕様、パフォーマンス(各仕様で同時に実行可能なタスク数)、請求明細(異なる仕様の課金方法)を理解してください。ビジネス要件に基づいて、リソースグループの仕様およびサブスクリプション期間を計画してください。詳細については、「専用スケジューリングリソースグループの課金」をご参照ください。
-
専用スケジューリングリソースグループの利用シーンを把握してください。詳細については、「専用スケジューリングリソースグループのユースケース」をご参照ください。
注意事項
(任意)専用スケジューリングリソースグループがデータソースや他のネットワーク環境(自己管理データベースへのアクセス、内部アドレスへの Shell スクリプトによるアクセス、または EMR や CDH などのエンジンを使用する場合など)とやり取りする必要がある場合は、ネットワーク接続およびホワイトリストの構成を理解しておく必要があります。詳細については、「ネットワーク接続およびホワイトリストの構成」をご参照ください。
-
共有スケジューリングリソースグループにおけるリソース競合によるタスク遅延を軽減したいだけであり、データベースインスタンスへの接続が不要な場合は、本トピックのネットワーク構成手順をスキップできます。ネットワーク設定を構成せずに、任意のアベイラビリティゾーンで専用スケジューリングリソースグループを購入できます。
-
デフォルトで、専用スケジューリングリソースグループはインターネットにアクセスできます。ただし、このアクセスは共有帯域幅を使用するため、パフォーマンスは保証されません。タスクがインターネットアクセスに大きく依存する場合は、サーバーレスリソースグループを使用してください。
制限事項
-
Alibaba Cloud アカウントまたは AliyunBSSOrderAccess 権限および AliyunDataWorksFullAccess 権限を持つ RAM ユーザーのみがリソースグループを購入できます。
-
ワークスペース管理者のみが、ワークスペースとリソースグループの関連付けまたは関連付けの変更を行えます。
-
リソースグループインターフェイスの権限に関する詳細については、「リソースグループの権限制御ポリシー」をご参照ください。
-
カスタムポリシーの作成および権限付与方法については、「カスタムポリシーの作成および権限付与」をご参照ください。
-
4c8gタイプの専用スケジューリングリソースグループは、最大2つの VPC のバインドをサポートします。その他の仕様の専用スケジューリングリソースグループは、最大3つの VPC のバインドをサポートします。 -
将来的に専用リソースグループは非推奨となるため、これまでどのリージョンでも DataWorks を有効化したことがない場合は、DataWorks 有効化後に購入および使用できるのはサーバーレスリソースグループのみであり、レガシーリソースグループの購入または使用はできません。サーバーレスリソースグループの提供状況については、「サーバーレスリソースグループリリースノート」をご参照ください。
-
専用スケジューリングリソースグループ上で実行されるタスクは、ランタイム中に最大
100個のファイルを作成でき、各ファイルのサイズは150 MBを超えることはできません。
ステップ 1:リソースグループの購入
DataWorks リソースグループは、別途購入が必要なサブスクリプション型の専用リソースグループを提供しています。以下の手順に従って購入できます。
AliyunBSSOrderAccess 権限および AliyunDataWorksFullAccess 権限を持つユーザーのみがリソースグループを購入できます。
-
DataWorks コンソールにログインします。
-
左側のナビゲーションウィンドウで、Resource Groupをクリックしてリソースグループページに移動します。Exclusive Resource Groupタブで、レガシスケジューリングリソースグループの作成をクリックします。購入ページで、ビジネス要件に基づき以下の主要なパラメーターを設定します。
パラメーター
説明
リージョン
この専用リソースグループを使用するリージョンを選択します。
説明専用スケジューリングリソースグループはリージョン間での使用はできません。たとえば、中国 (上海) リージョンの専用リソースグループは、中国 (上海) リージョンのワークスペースでのみ使用できます。
排他的リソースタイプ
このパラメーターを排他的スケジューリングリソースに設定します。
排他的スケジューリングリソース
専用スケジューリングリソースグループの仕様を選択します。仕様によってコストおよび同時に実行可能なインスタンスの最大数が異なります。詳細については、「専用スケジューリングリソースグループの課金」をご参照ください。
リソース数
リソースグループ内のマシン数です。本番環境で高可用性を確保するため、少なくとも 2 台のマシンを選択することを推奨します。
課金サイクル
専用リソースグループはサブスクリプション課金モデルを使用します。サービスの中断を防ぐため、有効期限時の自動更新を選択することを推奨します。リソースグループ作成後、Alibaba Cloud の更新ページにアクセスして、自動更新を有効または無効にすることもできます。詳細については、「専用リソースグループの更新」をご参照ください。
Resource Name
リソースグループの名前を設定します。名前はテナント内で一意である必要があります。重複する名前は避けてください。そうでないと、確認ステップでエラーが発生します。
説明テナントとは Alibaba Cloud アカウントのことです。1 つのテナント(Alibaba Cloud アカウント)に複数のユーザー(RAM ユーザー)を含めることができます。
-
Buy Nowをクリックし、画面の指示に従って支払いを完了し、専用スケジューリングリソースグループを購入します。
購入後、DataWorks は専用リソースグループの初期化を開始します。リソースグループのステータスが「実行中」に変わると、コンソールに専用リソースグループが追加されます。
説明専用リソースグループの初期化には約 20 分かかります。Runningステータスになるまでお待ちください。
専用リソースグループがコンソールに追加された後、タスク構成で選択および使用するには、ワークスペースに関連付ける必要があります。
ステップ 2:ワークスペースとの関連付け
ワークスペース管理者のみが、ワークスペースとリソースグループの関連付けまたは関連付けの変更を行えます。
専用スケジューリングリソースグループは、そのワークスペースで使用する前にワークスペースに関連付ける必要があります。専用スケジューリングリソースグループは複数のワークスペースに関連付けられますが、リージョン間での使用はできません。たとえば、中国 (上海) リージョンの専用スケジューリングリソースグループは、中国 (上海) リージョンのワークスペースにのみ関連付けられ、他のリージョンのワークスペースには関連付けられません。ワークスペースとリソースグループを関連付けるには、以下の手順を実行します。
-
DataWorks コンソールにログインします。
-
リソースグループページで、Exclusive Resource Groupタブをクリックし、対象のリソースグループの行にあるホームスペースの変更をクリックします。
-
ホームスペースの変更ページで、対象のワークスペースの行にあるバインドをクリックして、専用リソースグループをワークスペースに関連付けます。
ステップ 3:ネットワーク設定の構成
VPC のバインド
専用スケジューリングリソースグループがデータソースや他のネットワーク環境(自己管理データベースへのアクセス、内部アドレスへの Shell スクリプトによるアクセス、または EMR や CDH などのエンジンを使用する場合など)とやり取りする必要がある場合は、以下に示す VPC バインドおよびホワイトリスト設定を構成する必要があります。
専用リソースグループは、DataWorks が管理する VPC 内にデプロイされます。他のデータソースに接続できるようにするには、ご利用の VPC を専用リソースグループにバインドする必要があります。VPC をバインドするには、以下の手順を実行します。
4c8g タイプの専用スケジューリングリソースグループは、最大 2 つの VPC のバインドをサポートします。その他の仕様の専用スケジューリングリソースグループは、最大 3 つの VPC のバインドをサポートします。
-
DataWorks コンソールにログインします。
-
リソースグループページで、Exclusive Resource Groupタブをクリックし、対象のリソースグループの行にあるネットワーク設定をクリックしてバインドページに移動します。
バインド前に、Alibaba Cloud アカウント(Alibaba Cloud アカウントのみが必要な権限を持ちます)を使用して RAM 認可を完了し、DataWorks がご利用のクラウドリソースにアクセスできるようにしてください。クラウドリソースアクセス認可ページで、AliyunDataWorksAccessingENIRoleロールを選択し、認可ポリシーの確認をクリックします。
-
VPC をバインドします。
-
Vpcバインディングページで、左上隅のバインディングの追加をクリックします。VPC バインディングの追加ダイアログボックスで、パラメーターを設定します。次の表は、ネットワーク環境ごとのパラメーターを示しています。
説明Alibaba Cloud データベースインスタンスまたは ECS インスタンス上の自己管理データベースを使用するシナリオでは、DataWorks ワークスペースとデータソースが同一のプライマリアカウントに属しているかどうかに基づいて、ネットワーク接続ソリューションを選択し、パラメーターを設定できます。
パラメーター
同一アカウントおよびリージョン
異なるアカウントまたはリージョン
VPCのバインド
データソースと専用リソースグループが同一のプライマリアカウント下にある場合は、データソースが配置されている VPC を選択することを推奨します。
同一のプライマリアカウント下にない場合は、リージョンが異なるシナリオの手順に従ってください。
データソースと専用リソースグループが異なるリージョンにある、または異なるプライマリアカウントに属している場合は、データソースのネットワークに接続されている VPC を選択する必要があります。たとえば、データソースが Alibaba Cloud VPC 内にない場合は、VPC の作成をクリックして、専用リソースグループ用の VPC を作成します。VPC 作成後、新規 VPC またはターゲットデータベースネットワークにすでに接続されている VPC を選択します。
説明DataWorks ワークスペースとデータソースが異なるリージョンにある、または異なるプライマリアカウントに属している場合は、VPN GatewayまたはExpress Connectなどのサービスを使用して、専用リソースグループにバインドされた VPC とデータソースの VPC を接続する必要があります。また、接続性を確保するために、宛先データベース IP アドレスを指すルートルールを手動で追加する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
ゾーン
データベースが配置されているゾーンを選択します。
ターゲットデータベースネットワークにすでに接続されているゾーンを選択します。
スイッチ
VPC がデータソースが配置されているものに設定されている場合は、データソースに関連付けられている vSwitch を選択することを推奨します。
説明データソースの VPC をバインドすると、その VPC 内の任意の vSwitch をバインドすることで、自動的に VPC の CIDR ブロック全体へのルートが追加され、その VPC 内でのデータ統合専用リソースグループのネットワークリーチャビリティが確保されます。
ターゲットデータベースネットワークにすでに接続されている vSwitch を選択します。利用可能な vSwitch がない場合は、VSwitch の作成をクリックして、専用リソースグループ用の vSwitch を作成します。vSwitch 作成後、ここで選択します。
-
Determineをクリックして、VPC バインドを完了します。
説明データソースと専用リソースグループが異なるリージョンにある、または異なるプライマリアカウントに属している場合は、VPC をバインドした後、宛先データベース IP アドレスを指すルートルールを追加する必要があります。
-
-
任意: ホスト名マッピングを構成します。
データソースに IP アドレスではなくホスト名でアクセスする場合は、ホスト名から IP アドレスへのマッピングを構成する必要があります。構成しないと、ホスト名を使用してデータソースを追加する際に接続テストが失敗します。
-
ホスト設定タブをクリックします。タブの左上隅で、Addをクリックします。ドメイン名ホスト設定の追加ダイアログボックスで、パラメーターを設定します。次の表は、パラメーターを示しています。
パラメーター
説明
Ipアドレス
データソースの IP アドレスを入力します。
ホストドメイン名
データソースにアクセスするために使用するホスト名を入力します。複数のホスト名がある場合は、各行に 1 つずつ入力します。
-
さらにマッピングを追加するには、再度Addをクリックします。
説明-
新しいマッピングの IP アドレスおよびホスト名は、既存のマッピングと同一であってはなりません。
-
マッピングは、IP アドレスとホスト名の間に 1 対多の関係があります。つまり、1 つの IP アドレスを複数のホスト名にマッピングできますが、1 つのホスト名は 1 つの IP アドレスにのみマッピングできます。
-
-
ホワイトリストの追加
専用スケジューリングリソースグループとデータソースが同一のアベイラビリティゾーンにあり、同一の VPC および vSwitch 内にあってもネットワーク接続が利用できない場合は、データソースにホワイトリスト制限がかかっている可能性があります。データソースのホワイトリストに以下のエントリを追加してください。
-
内部ネットワーク経由でデータソースを専用リソースグループに接続する場合:専用リソースグループを VPC にバインドする際に使用した vSwitch CIDR ブロックを、データソースのホワイトリストに追加します。
専用リソースグループの VPC バインド後、DataWorks のページに移動します。対象のリソースグループの行にあるネットワーク設定をクリックし、Vpcバインディングタブをクリックしてネットワークセグメントの切り替えを表示します。このタブにはテーブル形式でバインド情報が表示されます。vSwitch CIDR ブロック列で CIDR ブロックアドレスを確認できます。
-
インターネット経由でデータソースを専用リソースグループに接続する場合:専用リソースグループのEipアドレスを、データソースのホワイトリストに追加します。このアドレスは、リソースグループの基本情報ページで確認できるEIP アドレスであり、データソースのホワイトリストに追加する必要のあるパブリック IP アドレスです。
ステップ 4:ネットワーク接続のテスト
ネットワーク構成を完了したら、リソースグループとデータソース間のネットワーク接続をテストする必要があります。
DataWorks コンソールにログインします。対象のリージョンで、左側のナビゲーションウィンドウのをクリックします。ドロップダウンリストからワークスペースを選択し、入力管理センターをクリックします。
ワークスペース管理ページで、左側のナビゲーションウィンドウのデータソースをクリックして、データソースページを開きます。
-
対象のデータソースのOperation列にあるEditをクリックします。
-
データソース編集ページで、対象のスケジューリングリソースグループの横にあるテスト接続をクリックします。接続ステータスが接続可能の場合、接続は成功しています。
接続設定セクションで、データスケジューリングタブをクリックして、リソースグループリストおよび開発環境と本番環境それぞれの接続ステータスを確認します。テスト完了後、編集の終了をクリックして設定を保存します。
説明-
データソースの種類によって構成インターフェイスが異なります。実際のインターフェイスを参照してください。
-
データソースに開発環境と本番環境が別々に存在する場合、それぞれの環境でリソースグループとデータソース間のネットワーク接続を個別にテストする必要があります。
-
異なるネットワーク環境で専用リソースグループとデータソースを接続する方法の詳細については、「ネットワーク接続ソリューション」をご参照ください。
-
その他の操作
リソースグループの使用量およびモニタリングの表示
DataWorks コンソールでリソースグループの使用量およびキュー状態を確認できます。また、オペレーションセンターのインテリジェントモニタリング機能を使用して、リソースグループの使用量およびリソース待機中のインスタンス数をモニタリングできます。タスクの実行に時間がかかりすぎる場合は、リソースグループの使用量を確認して、リソースが完全に消費されているかどうかをチェックできます。詳細については、「リソースグループの使用量の表示」をご参照ください。リソースグループモニタリングの詳細については、「リソースグループモニタリング」をご参照ください。
O&M アシスタントを使用したリソースグループでのコマンド実行
開発中に専用スケジューリングリソースグループ上でコマンドを実行する必要がある場合は、O&M アシスタント機能を使用できます。たとえば、サードパーティの PyODPS パッケージをインストールするために使用できます。O&M アシスタントの使用方法の詳細については、「O&M アシスタント」をご参照ください。
リソースグループのアベイラビリティゾーンの変更
リソースグループのアベイラビリティゾーンを変更するには、以下の手順を実行します。
-
DataWorks コンソールにログインします。
-
左側のナビゲーションウィンドウで、Resource Groupをクリックします。リソースグループページで、Exclusive Resource Groupタブをクリックし、使用がデータスケジューリングであるリソースグループを見つけます。
-
対象のリソースグループのOperation列で
アイコンをクリックし、可用性ゾーンの交換を選択して、リソースグループゾーンの置き換えダイアログを開きます。 -
リソースグループゾーンの置き換えダイアログで、変更するリソースグループの現在の可用性ゾーンおよびマシンの数を選択し、対象の可用性ゾーンに置き換えおよび取り替えの単位の数を選択します。
-
交換を決定するをクリックして、リソースグループのアベイラビリティゾーン変更を完了します。
リソースグループのアベイラビリティゾーンを変更すると、ネットワークに以下の変更が生じる可能性があります。
-
リソースグループ CIDR ブロック:リソースグループ内の各アベイラビリティゾーンは、独立した CIDR ブロックに対応しています。ゾーン変更後に CIDR ブロックが変更されるかどうかは、リソースグループのアベイラビリティゾーンが変更されたかどうかによります。アベイラビリティゾーンが変更された場合、対応する CIDR ブロックも変更されます。
-
リソースグループのプライマリ NIC IP:置き換えられた ECS インスタンスのプライマリ NIC IP は常に変更されます。対象のアベイラビリティゾーンの CIDR ブロック内から新しい IP が再割り当てされます。
-
リソースグループにバインドされたエラスティックネットワークインターフェース:ホワイトリストに vSwitch CIDR ブロックが追加されている場合、この変更の影響を受けません。ただし、ホワイトリストにリソースグループにバインドされたエラスティックネットワークインターフェースの IP が含まれている場合は、継続的なアクセスおよび通常の操作を確保するために、ホワイトリストの構成を適切に更新する必要があります。
付録:スケジューリングリソースグループの切り替え
タスクの専用スケジューリングリソースグループを再構成した後、以下の方法でタスクで使用するリソースグループを切り替えることができます。
|
環境 |
サポートされる切り替え操作 |
インターフェイスのエントリ |
|
本番環境リソースグループの切り替え |
バッチ切り替え |
重要 仮想ノード、ワークフロー、AI の Machine Learning Platform for AI (PAI) などのタスクタイプは、リソースグループの変更をサポートしていません。これらのタスクを選択しないでください。 |
|
開発環境リソースグループの切り替え |
|
DataStudioページに移動し、以下のように構成します。
|
|
Data Studio デバッグリソースグループの切り替え |
シングルタスク切り替え |
DataStudioで単一ノードのコード編集ページに移動し、ツールバーの |