リソースグループのネットワーク接続と操作 - DataWorks

データ同期のネットワーク接続
リソースグループの構成と操作

データ同期タスクを構成する前に、DataWorks とそのネットワーク機能について理解しておく必要がある情報はありますか?

データ同期タスクを構成する前に、以下の項目に注意してください。

データを同期するデータソースの VPC、vSwitch、リージョン、および DataWorks リソースグループが存在するリージョン。
データソースと DataWorks リソースグループが異なるリージョンに存在するか、異なる Alibaba Cloud アカウントに属しているかどうか。

データ同期タスクの構成と実行時に発生する問題のトラブルシューティングについては、「サポートされているデータソースの種類、Reader プラグイン、Writer プラグイン」をご参照ください。

データソースのネットワーク接続をテストする際に問題が発生した場合は、「ネットワーク接続ソリューション」を参照して問題のトラブルシューティングを行うことができます。

Data Integration 専用リソースグループを使用する場合、データ同期タスクを構成する前に、以下の操作を実行する必要があります。Data Integration 専用リソースグループを購入し、データソースが存在する VPC にリソースグループを関連付け、ルートを追加する必要があるかどうかを評価し、データソースの IP アドレスホワイトリストを構成し、DataWorks ワークスペースにリソースグループを関連付けます。詳細については、「Data Integration 専用リソースグループの作成と使用」をご参照ください。

ECS インスタンスでホストされているセルフマネージドデータソースからデータを同期する場合、DataWorks リソースグループとデータソース間のネットワーク接続を確保するにはどうすればよいですか?

Data Integration 専用リソースグループを使用して、内部ネットワーク経由で ECS インスタンスでホストされているセルフマネージドデータソースにアクセスする場合、リソースグループのネットワーク設定を構成する必要があります。詳細については、「Data Integration 専用リソースグループの作成と使用」をご参照ください。ネットワーク設定を構成する際には、以下の項目に注意してください。

Data Integration 専用リソースグループを ECS インスタンスが存在する VPC に関連付けると、VPC の CIDR ブロックを指すルートが自動的に追加されます。追加されたルートは削除しないことをお勧めします。追加されたルートを削除すると、他のデータソースにアクセスできなくなり、データ同期の際にエラーが報告される可能性があります。
Data Integration 専用リソースグループが関連付けられている vSwitch の CIDR ブロックを、データソースの IP アドレスホワイトリストに追加する必要があります。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。

リソースグループとは異なるリージョンにあるデータソースからデータを同期する場合、DataWorks リソースグループとデータソース間のネットワーク接続を確保するにはどうすればよいですか?

データ同期タスクを構成して実行する前に、適切なネットワーク接続ソリューションを選択して、リソースグループとデータソース間のネットワーク接続を確立することをお勧めします。詳細については、「ネットワーク接続ソリューション」をご参照ください。以下の項目に注意する必要があります。

DataWorks リソースグループとは異なるリージョンにあるデータソースからインターネット経由でデータを同期する場合、Data Integration 専用リソースグループの Elastic IP アドレス (EIP) をデータソースの IP アドレスホワイトリストに追加する必要があります。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。

説明

インターネット経由でデータを同期する場合、データ同期中に生成されるトラフィックに対して課金されます。詳細については、「インターネットトラフィックの課金」をご参照ください。

リソースグループとは異なる Alibaba Cloud アカウントに属するデータソースからデータを同期する場合、DataWorks リソースグループとデータソース間のネットワーク接続を確保するにはどうすればよいですか?

データ同期タスクを構成して実行する前に、適切なネットワーク接続ソリューションを選択して、リソースグループとデータソース間のネットワーク接続を確立することをお勧めします。詳細については、「ネットワーク接続ソリューション」をご参照ください。

アカウント間でインターネット経由でデータを同期する場合、Data Integration 専用リソースグループの EIP をデータソースの IP アドレスホワイトリストに追加する必要があります。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。
説明
インターネット経由でデータを同期する場合、データ同期中に生成されるトラフィックに対して課金されます。詳細については、「インターネットトラフィックの課金」をご参照ください。
内部ネットワーク経由でデータソースからデータを同期し、データソースが Data Integration 専用リソースグループとは異なる Alibaba Cloud アカウントに属している場合、以下の操作を実行する必要があります。
1. データソースが存在する VPC と、Data Integration 専用リソースグループが属する Alibaba Cloud アカウント内の VPC (VPC 1 と呼ぶ) との間のネットワーク接続を確立します。VPN ゲートウェイまたは Express Connect 回線などのネットワーク接続ツールを使用して、ネットワーク接続を確立できます。
2. Data Integration 専用リソースグループを VPC 1 に関連付けます。
3. DataWorks コンソールで、Data Integration 専用リソースグループのカスタムルートを追加します。カスタムルートを追加する際には、「接続先タイプ」パラメーターを「IDC」、「接続方法」パラメーターを「固定 IP アドレス」に設定し、「固定 IP アドレス」フィールドにデータソースの IP アドレスを入力します。
4. Data Integration 専用リソースグループが関連付けられている vSwitch の CIDR ブロックを、データソースの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。

VPC 内のデータソースのネットワーク接続テストが失敗した場合はどうすればよいですか?

VPC エンドポイントを使用して追加されたデータソースの場合:
1. 使用する Data Integration 専用リソースグループを、データソースが存在する VPC に関連付けていることを確認します。
2. Data Integration 専用リソースグループが関連付けられている vSwitch の CIDR ブロックを、データソースの IP アドレスホワイトリストに追加していることを確認します。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。
パブリックエンドポイントを使用して追加されたデータソースの場合、ネットワーク接続テストが失敗した場合は、Data Integration 専用リソースグループの EIP をデータソースの IP アドレスホワイトリストに追加しているかどうかを確認します。詳細については、「IP アドレスホワイトリストの構成」をご参照ください。
説明
インターネット経由でデータを同期する場合、データ同期中に生成されるトラフィックに対して課金されます。詳細については、「インターネットトラフィックの課金」をご参照ください。

データソースに対して実行されたネットワーク接続テストが、成功したり失敗したりすることがあります。どうすればよいですか?

Data Integration 共有リソースグループが使用されているかどうかを確認します。Data Integration 共有リソースグループのネットワークは不安定です。ネットワーク接続の安定性を確保するために、Data Integration 専用リソースグループを使用することをお勧めします。

データソースのネットワーク接続をテストしたり、データ同期タスクを実行したりするときに、購入した Data Integration 専用リソースグループが見つかりません。どうすればよいですか?

使用する DataWorks ワークスペースに Data Integration 専用リソースグループを関連付けていることを確認します。詳細については、「Data Integration 専用リソースグループの作成と使用」をご参照ください。

ログからデータ同期タスクが実行されているリソースグループの種類を表示するにはどうすればよいですか?

データ同期タスクが Data Integration 共有リソースグループで実行されている場合、タスク用に生成されたログには、running in Pipeline[basecommon_ group_xxxxxxxxx] という情報が含まれています。
データ同期タスクが Data Integration カスタムリソースグループで実行されている場合、タスク用に生成されたログには、running in Pipeline[basecommon_xxxxxxxxx] という情報が含まれています。
データ同期タスクが Data Integration 専用リソースグループで実行されている場合、タスク用に生成されたログには、running in Pipeline[basecommon_S_res_group_xxx] という情報が含まれています。

データ同期タスクが実行されるリソースグループの種類を変更するにはどうすればよいですか?

本番環境のオペレーションセンターで、データ同期タスクが実行されるスケジューリング用リソースグループと Data Integration 用リソースグループを変更します。
DataStudio ページで本番環境のデータ同期タスクが実行されるリソースグループを変更し、変更操作をデプロイします。
説明
以下の操作を実行してデータ同期タスクが実行されるリソースグループを変更した後、変更操作をデプロイする必要があります。標準モードのワークスペースの場合、変更操作をコミットするだけでは、変更は開発環境でのみ有効になります。本番環境で変更を有効にするには、変更操作をデプロイする必要があります。変更操作がデプロイされた後、本番環境のオペレーションセンターの「サイクルタスク」ページで、データ同期タスクで使用されるリソースグループが変更されているかどうかを確認できます。
1. データ同期タスクで使用されるスケジューリング用リソースグループを変更します。
2. データ同期タスクで使用される Data Integration 用リソースグループを変更します。

スケジューリング用のカスタムリソースグループがゲートウェイリソースを待機している問題のトラブルシューティングを行うにはどうすればよいですか?

DataWorks コンソールにログインします。左側のナビゲーションウィンドウで、「リソースグループ」をクリックします。「リソースグループ」ページで、「カスタムリソースグループ」をクリックします。スケジューリング用リソースグループを見つけ、「操作」列の「サーバー管理」をクリックします。表示されるダイアログボックスで、サーバーが「停止」状態になっているかどうか、およびサーバーが他のタスクによって占有されているかどうかを確認します。

問題が解決しない場合は、次のコマンドを実行してサービスを再起動します。

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

リソースグループの EIP を表示し、データを同期するデータソースの IP アドレスホワイトリストにリソースグループの EIP を追加するにはどうすればよいですか?

Data Integration 専用リソースグループを使用して、インターネット経由でデータソースからデータを同期するタスクを実行する場合、専用リソースグループの EIP をデータソースの IP アドレスホワイトリストに追加します。Data Integration 専用リソースグループの EIP を取得してデータソースの IP アドレスホワイトリストに追加するには、次の操作を実行します。

DataWorks コンソールの [リソースグループ] ページの [専用リソースグループ] タブに移動し、EIP を表示する Data Integration 専用リソースグループを見つけ、「操作」列の [詳細] をクリックします。「専用リソースグループ」ダイアログボックスで、[EIPAddress] をコピーします。次に、コピーした EIP をデータソースの IP アドレスホワイトリストに追加します。

リソースグループにまだリソースがあるのに、リソースグループのリソースが不足しているためタスクを実行できないことを示すメッセージが表示されるのはなぜですか?

ほとんどの場合、リソースグループの残りのリソースがタスクを実行するのに十分でない場合に、この問題が発生します。この場合、一部のタスクがリソースグループのリソースを待機している可能性があります。この問題を解決するには、リソースグループの詳細を表示します。