リソースグループとネットワーク接続に関する FAQ - DataWorks

バッチ同期のための DataWorks ネットワーク機能

Data Integration を使用してデータを同期する前に、以下を把握しておく必要があります：

同期するデータベースの VPC、vSwitch、リージョン、および DataWorks ワークスペースのリージョン。
データベースと DataWorks ワークスペースが異なる Alibaba Cloud アカウントまたはリージョンにあるかどうか。

データ同期タスク中に問題が発生した場合は、トラブルシューティングの手順について、「サポートされるデータソースと読み書きプラグイン」をご参照ください。

データソースの接続テストが失敗した場合は、解決策について、「ネットワーク接続ソリューション」をご参照ください。

Data Integration 専用リソースグループを使用する場合は、リソースグループの購入、データベースの VPC との関連付け、ルートを追加する必要があるかどうかの評価、データベースの IP アドレスホワイトリストの設定、ワークスペースとのリソースグループの関連付けといった手順に従ってください。詳細については、「Data Integration 専用リソースグループの使用」をご参照ください。

セルフマネージド ECS データベースとのネットワーク接続

Data Integration 専用リソースグループを使用して、内部ネットワーク経由で Elastic Compute Service (ECS) インスタンス上のセルフマネージドデータベースを同期する必要がある場合は、リソースグループのネットワークを設定する必要があります。詳細については、「Data Integration 専用リソースグループの使用」をご参照ください。接続ソリューションの要点は次のとおりです：

Data Integration 専用リソースグループを、ECS インスタンスが存在する VPC に関連付けます。VPC の CIDR ブロックへのルートが自動的に追加されます。このルートは手動で削除しないでください。削除すると、他のデータベースへのアクセスに失敗し、タスクエラーにつながる可能性があります。
データベースの IP アドレスホワイトリストに、Data Integration 専用リソースグループに関連付けられている vSwitch の CIDR ブロックを追加します。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。

クロスリージョンネットワーク接続

開始する前に、「ネットワーク接続ソリューション」の解決策を確認し、ご自身のシナリオに合ったものを選択してください。要点は次のとおりです：

インターネット経由でクロスリージョンのデータベースからデータを同期する場合、データベースの IP アドレスホワイトリストに Data Integration 専用リソースグループの EIP を追加する必要があります。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。

説明

インターネット経由のデータ転送には料金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。

クロスアカウントネットワーク接続

開始する前に、「ネットワーク接続ソリューション」の解決策を確認し、ご自身のシナリオに合ったものを選択してください。

インターネット経由でクロスアカウントのデータベースからデータを同期する場合、データベースの IP アドレスホワイトリストに Data Integration 専用リソースグループの EIP を追加する必要があります。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。

説明
インターネット経由のデータ転送には料金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。
内部ネットワーク経でクロスアカウントのデータベースからデータを同期するには、次の手順に従ってください：
1. VPN ゲートウェイや Express Connect などのサービスを使用して、2 つの Alibaba Cloud アカウントのネットワークを接続します。
2. Data Integration 専用リソースグループを、もう一方のアカウントのネットワークに接続されている VPC に関連付けます。
3. VPC を関連付けた後、カスタムルートを追加します。ネクストホップを 作成した接続インスタンス (VPN ゲートウェイなど) に設定し、ターゲットデータベースの IP アドレスを指定します。
4. データベースの IP アドレスホワイトリストに、Data Integration 専用リソースグループに関連付けられている vSwitch の CIDR ブロックを追加します。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。

VPC 接続障害のトラブルシューティング

VPC エンドポイントを使用してデータソースを追加した場合：
1. Data Integration 専用リソースグループが、データベースが存在する VPC に関連付けられていることを確認します。
2. データベースの IP アドレスホワイトリストに、Data Integration 専用リソースグループに関連付けられている vSwitch の CIDR ブロックが追加されていることを確認します。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。
パブリックエンドポイントを使用してデータソースを追加し、Data Integration 専用リソースグループを使用しているときに接続テストが失敗した場合は、データベースの IP アドレスホワイトリストにリソースグループの EIP が追加されていることを確認します。詳細については、「IP アドレスホワイトリストの追加」をご参照ください。

説明
インターネット経由のデータ転送には料金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。

断続的な接続のトラブルシューティング

タスクが共有リソースグループを使用しているかどうかを確認します。これらのグループのネットワーク接続は不安定になる可能性があります。安定した接続のためには、Data Integration 専用リソースグループを使用することを推奨します。

サーバーレスリソースグループと Hologres のネットワーク接続

サーバーレスリソースグループは、Hologres インスタンスが配置されている VPC に関連付ける必要があります。これを行うには、次の手順に従ってください：

DataWorks コンソールにログインし、リソースグループリストでターゲットのサーバーレスリソースグループを見つけます。
ネットワーク設定 をクリックします。[データスケジューリングとデータ統合] 領域で、新しいバインディング をクリックします。
Hologres インスタンスが配置されている VPC、アベイラビリティーゾーン、vSwitch を選択し、[OK] をクリックします。
関連付けが完了したら、Data Integration で Hologres データソースを作成します。テスト接続 をクリックして、接続が確立できることを確認します。

リソースグループにすでに関連付けられている VPC と Hologres VPC との間で CIDR ブロックの競合がある場合は、まず競合する VPC の関連付けを解除してから、Hologres VPC を追加する必要があります。VPC を関連付けると、VPC 内にエラスティックネットワークインターフェイスが作成され、クォータが消費されます。エラスティックネットワークインターフェイスは削除しないでください。

Hologres ネットワークの切り替えに関する詳細な手順については、「DataWorks On Hologres のネットワーク切り替えガイダンス」をご参照ください。

Data Integration 専用リソースグループが見つからない

Data Integration 専用リソースグループが DataWorks ワークスペースに関連付けられていることを確認します。詳細については、「Data Integration 専用リソースグループの使用」をご参照ください。

ログからリソースグループのタイプを確認

タスクがデフォルトリソースグループで実行される場合、ログには次のようなメッセージが含まれます： running in Pipeline[basecommon_group_xxxxxxxxx]。
タスクがカスタムリソースグループで実行される場合、ログには次のようなメッセージが含まれます： running in Pipeline[basecommon_xxxxxxxxx]。
タスクが Data Integration 専用リソースグループで実行される場合、ログには次のようなメッセージが含まれます： running in Pipeline[basecommon_S_res_group_xxx]。

Change the resource group for a task

To change the scheduling resource group and the resource group for a Data Integration task in Operation Center, go to the Operation Center > Scheduled Task O&M > Scheduled Tasks page. Select the tasks that you want to modify, and then click Modify Scheduling Resource Group or Modify Data Integration Resource Group at the bottom of the page to make batch changes.
Change the resource group for production tasks in DataStudio and then deploy the task.

説明
When using these methods to change a resource group, you must deploy the task for the changes to apply. In standard mode, committed changes apply only to the development environment. The changes apply to scheduled tasks in the production environment only after you deploy the task. You can then verify the update on the Scheduled Tasks page in Operation Center.

1. To change the scheduling resource group, open the Schedule panel for the task node. In the Resource Properties section, click the Scheduling Resource Group drop-down list and select the target resource group, such as shared scheduling resource group.

2. To change the resource group for a Data Integration task, click the Configure Resource Group for Data Integration tab in the right-side pane. From the Exclusive resource group for Data Integration drop-down list, select the target resource group, such as xiangcui_vpc.

カスタムリソースグループのゲートウェイに関する問題のトラブルシューティング

DataWorks コンソールにログインします。左側メニューで [リソースグループ] をクリックし、[カスタムリソースグループ] タブに移動します。タスクのスケジューリングリソースグループの [サーバー管理] をクリックし、サーバーが停止しているか、または他のタスクによって占有されているかを確認します。

上記の手順で問題が解決しない場合は、次のコマンドを実行してサービスを再起動します：

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

リソースグループのパブリック IP の確認

Data Integration 専用リソースグループを使用してインターネット経由でデータを同期するには、データベースの IP アドレスホワイトリストにリソースグループの EIP アドレスを追加する必要があります。EIP アドレスを取得するには、次の手順に従ってください：

DataWorks コンソールで、[リソースグループ] ページに移動します。[専用リソースグループ] タブで、Data Integration 専用リソースグループの横にある [詳細] をクリックします。[基本情報] セクションで、[EIP アドレス] をコピーし、データベースの IP アドレスホワイトリストに追加します。

「リソース不足」エラーのトラブルシューティング

リソースグループの詳細を確認します。このエラーは通常、新しいタスクを開始するのに十分なリソースが残っていない場合に発生します。たとえば、他のタスクがリソースグループのキューに入っている場合などです。

サーバーレスリソースグループの VPC バインディングクォータ

各サーバーレスリソースグループは、最大 2 つの VPC をバインドできます。

DataWorks コンソールにログインします。リソースグループ ページで、ターゲットのサーバーレスリソースグループを見つけて詳細をクリックします。リソースグループの詳細ページの [基本情報] セクションにある プライベートネットワークにバインドできます フィールドに、現在のクォータ使用量が バインド済み： X、残り： Y の形式で表示されます。

2 つの VPC のクォータが上限に達した場合 (バインド済み： 2、残り： 0)、それ以上 VPC をバインドすることはできません。この問題は、次のいずれかの方法で解決できます：

バインド済みの VPC にデータソースをデプロイするか、Cloud Enterprise Network (CEN) を使用してデータソースの VPC をバインド済みの VPC に接続します。
CEN を使用して、クロス VPC 接続を確立します。バインド済みの VPC とターゲット VPC を同じ CEN インスタンスに追加してネットワークを接続します。これにより、VPC バインディングクォータを消費することなく、ターゲット VPC 内のデータソースにアクセスできます。

リソースグループのネットワーク設定における VPC バインディングは、データサービスとデータスケジューリングの 2 つの目的で使用されます。2 つの VPC クォータはリソースグループの合計制限であり、両方の目的で共有されます。