DataWorks は、スケジューリング、Data Integration、DataService Studio 用の専用リソースグループのコア機能を統合したサーバーレスリソースグループをリリースしました。このドキュメントでは、DataWorks でサーバーレスリソースグループを使用するプロセス全体 (作成、ネットワーク設定からワークスペースへのバインド、日常の管理まで) を説明します。
「リソースグループ管理」をお読みいただき、サーバーレスリソースグループの主要な概念と利点を理解しておいてください。
前提条件
-
リソースグループに必要な権限:
-
購入権限:
AliyunBSSOrderAccessとAliyunDataWorksFullAccessの権限が必要です。VPC 情報を読み取るには、AliyunVPCReadOnlyAccess 権限も必要です。
-
管理権限:対象の DataWorks ワークスペースのワークスペース管理者のみが、リソースグループをそのワークスペースにバインドしたり、バインドを変更したりできます。
権限を付与する方法が不明な場合は、「RAMユーザーの権限の表示」および「RAMユーザーの権限の管理」をご参照ください。他のリソースグループ操作の権限管理については、「コンソールでのオブジェクトレベルの権限制御ポリシー」をご参照ください。
-
-
環境とネットワークの計画:
-
同一リージョンの原則:サーバーレスリソースグループは、DataWorks ワークスペースと同じリージョンにある必要があります。
-
VPC 計画 (必須):サーバーレスリソースグループには Virtual Private Cloud (VPC) が必要です。あらかじめVPC と VSwitch を準備しておく必要があります。
重要-
サーバーレスリソースグループにバインドされている VPC と VSwitch の環境は変更しないでください。環境を変更すると、DataWorks のタスクが失敗する可能性があります。
-
サーバーレスリソースグループは、21.0.0.0/8 CIDR ブロックの IP アドレスを使用する VPC をサポートしていません。つまり、
21.0.X.Xから21.255.XXX.XXXまでの IP アドレスは禁止されています。
-
-
ネットワーク接続:リソースグループがデータソースにアクセスできるように、ご使用の環境に応じてネットワーク接続を設定してください。
重要デフォルトでは、サーバーレスリソースグループはインターネットにアクセスできません。インターネット経由でデータソースにアクセスするには、サーバーレスリソースグループにバインドされている VPC にInternet NAT Gateway と EIP を設定する必要があります。
-
サーバーレスリソースグループの作成
[リソースグループ] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。
-
新しいリソースグループ をクリックして、購入ページを開きます。主要なパラメーターを以下に説明します:
以前のバージョンのユーザーは、デフォルトのExclusive Resource Groupタブで操作を実行します。
パラメーター
説明
リージョンとゾーン
DataWorks ワークスペースと同じリージョンを選択します。
課金モード
DataWorks では、前払いのサブスクリプションと後払いの従量課金の 2 つのモードが利用できます。
-
従量課金:ワークロードの変動が大きい場合やテストシナリオに適しています。アイドル状態のリソースには課金されません。従量課金のリソースグループをサブスクリプションに変換できます。
重要従量課金の CU の上限:単一の従量課金リソースグループは、最大 500 CU まで利用できます。
-
サブスクリプション:長期的で安定した本番ワークロードに適しており、より費用対効果が高くなります。サブスクリプションのリソースグループを従量課金に変換することはできません。
ビジネス要件に合わせて、異なる課金モードの複数のリソースグループを購入できます。
リソースグループの仕様
Subscription 課金モードでは、リソースグループの仕様を設定する必要があります。
1 CU = 1 vCPU + 4 GiB メモリ。購入に関する推奨事項および各種タスクの実行に必要な最小仕様については、「パフォーマンスメトリック」をご参照ください。VPC
リソースグループのネットワーク接続要件に基づいて VPC を選択します。ドロップダウンリストにオプションがない場合は、VPC コンソールで作成してください。
VPC の詳細については、「VPCとは」をご参照ください。
-
データソースとサーバーレスリソースグループが同じアカウントとリージョンにある場合:データソースが存在する VPC と VSwitch を設定します。
-
データソースが異なる、または複雑なネットワーク環境にある場合:リソースグループの VPC を、VPN Gateway や Express Connect などのサービスを使用してデータソースの VPC に接続する必要があります。詳細については、「ネットワーク接続ソリューション」をご参照ください。
重要-
リソースグループは複数の VPC にバインドできます。購入完了後に他の VPC をバインドできます。
-
リソースグループの課金モードが Subscription であり、ここで設定された VPC が DataService Studio、データコンピューティング、およびデータ統合に適用される場合、DataService Studio に新しい VPC をバインドしたり、VPC を変更したりすることはできません。事前にネットワークを計画してください。
VSwitch
請求期間
課金モードがSubscriptionの場合、請求期間を設定する必要があります。
重要リソースの有効期限切れによるサービスの中断を防ぐために、有効期限時の自動更新 を選択することをお勧めします。このオプションを選択すると、リソースは毎月自動的に更新されます。料金は、インスタンスの有効期限が切れる前に、リアルタイム価格に基づいてアカウントから自動的に引き落とされます。
サービス連携ロール
初回購入では、[サービスリンクロールの作成] (AliyunServiceRoleForDataWorks) を行う必要があります。以降の購入では、自動的にこのロールが使用されます。
このロールは、VPC、Elastic Network Interface (ENI)、およびセキュリティグループのリソースにアクセスするために使用されます。
Please create AliyunServiceRoleForDataWorksというメッセージが表示された場合は、プライマリアカウント所有者または必要な権限を持つ別のユーザーに この認証 URL を提供して承認を依頼し、操作を続行してください。 -
リソースグループの設定と使用
1. リソースグループのワークスペースへのバインド
リソースグループを作成した後、ワークスペースにバインドする必要があります。バインドが完了すると、対象のワークスペースでタスクを作成する際に、サーバーレスリソースグループを選択して使用できるようになります。
-
ワークスペース作成時にリソースグループをバインドする
-
DataWorksコンソールにログインします。 左側のナビゲーションウィンドウで、[ワークスペース] をクリックします。
-
Create a workspace をクリックします。Create a workspace ページの詳細設定で、デフォルトのリソースグループ設定 パラメーターの値を、作成したリソースグループに変更します。
-
-
既存のワークスペースにリソースグループをバインドする
[リソースグループ] ページに移動します。
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[リソースグループ] をクリックします。
-
対象のリソースグループを見つけ、Operation 列で ホームスペースの変更 をクリックします。リソースグループをバインドするワークスペースを見つけ、Operation 列で バインド をクリックします。
2. ネットワーク接続の設定
リソースグループがデータソースにアクセスできるように、ネットワーク接続を設定する必要があります。
シナリオ1:VPC 内のデータソース (RDS や ECS 上の自己管理データベースなど) へのアクセス
リソースグループにバインドされている VPC がデータソースの VPC と同じであること、または VPC 同士が CEN や VPC ピアリングなどのサービスを使用して接続されていることを確認してください。
シナリオ2:パブリックエンドポイントへのアクセス
インターネットアクセスを有効にするには、リソースグループにバインドされている VPC に Internet NAT Gateway と EIP を設定する必要があります。
シナリオ3:オンプレミスのデータセンターへのアクセス
VPC とオンプレミスのデータセンターネットワークを、VPN Gateway または Express Connect を使用して接続する必要があります。
より複雑なネットワークシナリオについては、「ネットワーク接続ソリューション」をご参照ください。
3. タスクでのリソースグループの使用
サーバーレスリソースグループを作成して設定した後、Data Integration、スケジューリング、および DataService Studio のタスクに割り当てます。
-
Data Integration タスクの場合:同期タスクの[リソースグループ設定] セクションで、作成したサーバーレスリソースグループを選択します。
-
データ開発タスク (Shell や Python など): ノード編集ページで、右側のペインの セクションで、作成したサーバーレスリソースグループを選択します。
-
DataService Studio API の場合: API 設定ページで、右側のペインにある Resource Group for DataService Studio ドロップダウンリストからサーバーレスリソースグループを選択します。
関連するすべてのリソースグループ設定を表示するには、「一般的なリファレンス:リソースグループの切り替え」をご参照ください。
リソースグループの管理と監視
タスクへの CU クォータの割り当て
データコンピューティング、データ統合、DataService Studio、個人開発環境などのさまざまなサービスに対して、CUの上限 または CU保証 (保証 CU) を設定して、タスクのスムーズな実行を保証できます。
-
従量課金のリソースグループの場合、過剰なリソース使用を防ぐため、CU の上限を設定します。
-
サブスクリプションのリソースグループの場合、保証 CU の下限クォータを設定します。
手順: リソースグループリストページで、対象のリソースグループを見つけ、Operation 列の
アイコンをクリックし、クォータ管理を選択し、用途に応じて CUの上限 または CU保証 の値を変更します。
別の方法として、リソースグループのリストページで、対象のリソースグループ名をクリックすると、詳細ページに移動します。右上隅でクォータ管理をクリックし、目的に応じて CUの上限 または CU保証の値を変更します。
タスクごとの推奨 CU 割り当て:Python、Notebook、PyODPS などの計算集約型タスクについては、最適な起動と実行時の安定性を確保するため、タスクごとに16 CU 以下 (最大 64 CU) を割り当てることを推奨します。リアルタイム同期タスクを除く同期タスクについては、タスクごとに最大16 CU を割り当てることができます。
スケジューリングの同時実行数の上限の調整
スケジューリングでは、同時に実行されるタスクの最大数を制御するため、同時実行数の上限を設定できます。この制限は、同時実行タスクの数にのみ適用され、個々のタスクの実行には適用されません。デフォルトでは、単一のリソースグループで最大50 のスケジューリングタスクを同時に実行できます。この上限は最大200 まで増やすことができます。
手順: 「リソースグループ」リストページで対象のリソースグループを見つけ、Operation 列の
アイコンをクリックし、データスケジューリングの同時実行上限 を選択して、データスケジューリングの同時実行上限 の値を変更します。
別の方法として、リソースグループのリストページで、目的のリソースグループ名をクリックして詳細ページに移動します。 右上隅で、データスケジューリングの同時実行上限をクリックし、データスケジューリングの同時実行上限の値を変更します。
リソースグループ使用率の表示
サブスクリプションリソースグループの計算リソース使用率が高い場合、CU が不足しているために新しくサブミットされたタスクがキューに入れられ、リソースが利用可能になるまで待機することがあります。リソースグループで実行中のタスク、現在の使用率、過去のリソース使用状況、および各タスクによって消費されたリソースを表示できます。
手順: 「リソースグループリスト」ページで、対象のリソースグループの使用状況を現在の利用 列で確認します。
別の方法として、リソースグループの一覧ページで対象のリソースグループ名をクリックして詳細ページに移動します。[リソース使用量] チャートを使用して、過去のリソース使用量を確認し、各使用シナリオの実行中または待機中のタスクの詳細を表示します。
リソースグループのスケーリング
Subscription リソースグループの使用率が継続的に高い場合は、手動でスケールアウトして、Data Integration、スケジューリング、および DataService Studio タスクの処理性能を向上させることができます。 Subscription リソースグループの使用率が低い場合は、手動でスケールインしてコストを削減できます。
-
リソースグループリストで、対象のリソースグループを見つけ、Operation 列の
アイコンをクリックし、スケールアウト または スケールイン を選択します。重要スケールインするとタスクが遅くなる可能性があります。影響を評価し、注意して進めてください。
-
リソーススケーリングページで、リソースグループの仕様を調整し、サービス契約 チェックボックスを選択し、次に Buy Now をクリックします。
コスト管理
従量課金リソースグループのフリーズとアクティベート
-
従量課金サーバーレスリソースグループのフリーズ:リソースグループが未使用と見なされる条件は次のとおりです。
-
スケジューリングタスク:リソースグループがスケジューリングタスクの実行に使用されていない。
-
データコンピューティングタスク:リソースグループが計算集約型タスクの実行に使用されていない。
-
Data Integration タスク:リソースグループが Data Integration タスクの実行に使用されていない。
-
データ分析クエリ:リソースグループがデータ分析クエリの実行に使用されていない。
-
接続テスト:リソースグループが接続テストに使用されていない。
-
メタデータ収集:リソースグループがメタデータ収集タスクに使用されていない。
-
個人開発環境:リソースグループが個人開発環境に使用されていない。
-
DataService Studio:リソースグループが DataService Studio のサポートに使用されていない。
-
大規模モデルサービス:リソースグループが大規模モデルサービスのサポートに使用されていない。
-
-
凍結されたサーバーレスリソースグループのアクティブ化:凍結されたサーバーレスリソースグループを再アクティブ化するには、リストでリソースグループを見つけ、[操作] 列で をクリックします。
従量課金からサブスクリプションへの変換
従量課金のサーバーレスリソースグループをサブスクリプション課金モードに変換できます。変換後、リソースグループはサブスクリプション単価で課金されます。
-
リソースグループリストで目的のリソースグループを見つけ、Operation 列の
アイコンをクリックし、有料タイプの変換 を選択すると、従量課金パッケージ ダイアログボックスが開きます。 -
ダイアログボックスで、必要に応じてリソースグループの ターゲット仕様 と 購入期間 を調整します。
-
調整後、Confirmをクリックし、決済ページで[サブスクライブ]をクリックします。
従量課金からサブスクリプションへの変換には約1~2 分かかります。実行中のタスクに影響はありません。
リソースグループの更新または解約
リソースグループリストで、インスタンスのステータスを確認します。リソースグループのステータスが 期限切れ の場合は、対象のリソースグループの Operation 列にある
アイコンをクリックし、更新 を選択します。
サーバーレスリソースグループを解約するには、対象のリソースグループの Operation 列にある
アイコンをクリックし、撤退 を選択します。 詳細については、「DataWorks の停止に関する課金」をご参照ください。
よくある質問
Q:購入に地域的な制限はありますか?
A:以下の購入制限が適用されます。
-
仮想オペレーター環境で汎用サーバーレスリソースグループを使用する必要がある場合は、まずプロバイダーがこの製品の販売に対応しているかご確認ください。
-
タイ (バンコク) リージョンでは購入はサポートされていません。
Q:サーバーレスの無料トライアルリソースプランを購入しましたが、DataWorks でバインドするためのリソースグループがリストに見つかりません。なぜですか?
A:無料トライアルリソースプランは料金控除用のバウチャーであり、リソースグループを自動的に作成するものではありません。手動で従量課金のサーバーレスリソースグループを作成する必要があります。その後、システムがこのグループから発生するコストを相殺するためにリソースプランを自動的に使用します。プランのクォータを使い切った後は、アカウント残高から従量課金制で請求されます。
Q:サーバーレスリソースグループはホスト名にどのようにアクセスできますか?
A: サーバーレスリソースグループでは、ローカルの hosts ファイルを使用してホスト名を解決することはできません。内部ホスト名の解決には、[Private DNS (PrivateZone)] を使用する必要があります。
-
説明
すでに Private DNS をアクティベートしている場合は、このステップをスキップできます。
-
たとえば、ホスト名
header-1-cn-shanghaiを解決するには、header-1-cn-shanghaiドメインの権威解決を設定します。 お使いのホスト名に合わせてこのパラメーターを調整します。 -
[レコード値] を、ドメインにバインドされているホストの
プライベート IP アドレスに設定します。 -
解決範囲の VPC を設定する際は、リソースグループにバインドされている VPC を選択します。
関連資料
-
運用センターのスマート監視機能を使用して、リソースグループの使用率やリソース待機中のインスタンス数を監視できます。詳細については、「カスタムルールの作成」をご参照ください。
-
サーバーレスリソースグループで実行されるタスクが、サードパーティ製ライブラリへの依存関係など、特定の開発環境を必要とする場合は、必要な開発パッケージと依存関係を含むカスタムイメージを作成できます。タスクを実行する際に、実行リソースとしてサーバーレスリソースグループを、ランタイム環境としてカスタムイメージをそれぞれ指定します。