オフライン同期におけるネットワーク接続の問題
リソースグループの構成に関する問題
DataWorks のオフライン同期におけるネットワーク機能
データ同期を実行する前に、以下の点を確認してください。
データベースの Virtual Private Cloud (VPC)、vSwitch、およびリージョン、および DataWorks ワークスペースのリージョン。
データベースと DataWorks ワークスペースが異なる Alibaba Cloud アカウントまたは異なるリージョンに配置されているかどうか。
データ同期中に問題が発生した場合は、トラブルシューティングのために、「サポートされるデータソースの種別、Reader プラグイン、Writer プラグイン」をご参照ください。
データソースの接続性テストが失敗した場合は、「ネットワーク接続のソリューション」に記載された解決方法をご参照ください。
Data Integration 用にデータ統合専用リソースグループを使用する場合は、以下の手順に従ってください：リソースグループの購入、VPC との関連付けによるネットワーク接続の確立、ルート追加の必要性評価、データベースの IP アドレスホワイトリストの設定、およびワークスペースへのデータ統合専用リソースグループの関連付け。詳細については、「Data Integration 用の専用リソースグループの使用」をご参照ください。
ECS 上の自己管理データベースにおけるネットワーク接続
内部ネットワーク経由で Elastic Compute Service (ECS) インスタンス上に構築した自己管理データベースからデータを同期する場合、Data Integration 用のデータ統合専用リソースグループを使用するには、リソースグループのネットワーク設定を構成する必要があります。「Data Integration 用の専用リソースグループの使用」をご参照ください。ネットワーク接続を確立するための主な手順は以下のとおりです。
Data Integration 用のデータ統合専用リソースグループを ECS インスタンスが配置されている VPC に関連付けます。VPC の CIDR ブロックへのルートが自動的に追加されます。このルートを手動で削除しないことを推奨します。削除すると、他のデータベースへのアクセスが失敗し、タスクエラーが発生する可能性があります。
Data Integration 用のデータ統合専用リソースグループに関連付けられた vSwitch の CIDR ブロックをデータベースの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
クロスリージョンにおけるネットワーク接続
開始する前に、「ネットワーク接続のソリューション」から適切なソリューションを選択してください。ネットワーク接続を確立するための主な手順は以下のとおりです。
別のリージョンにあるデータベースからインターネット経由でデータを同期する場合、データ統合専用リソースグループの Elastic IP Address (EIP) をデータベースの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
インターネット経由のデータ転送には課金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。
クロスアカウントにおけるネットワーク接続
開始する前に、「ネットワーク接続のソリューション」から適切なソリューションを選択してください。
異なる Alibaba Cloud アカウントにあるデータベースからインターネット経由でデータを同期する場合、データ統合専用リソースグループの Elastic IP Address (EIP) をデータベースの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
説明インターネット経由のデータ転送には課金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。
異なる Alibaba Cloud アカウントにあるデータベースから内部ネットワーク経由でデータを同期する場合は、以下の手順を実行します。
VPN Gateway や Express Connect などのクラウドプロダクトを活用して、2 つの Alibaba Cloud アカウントのネットワーク間を接続します。
Data Integration 用のデータ統合専用リソースグループを、他方の Alibaba Cloud アカウントのネットワークと接続された VPC に関連付けます。
VPC の関連付け後に、カスタムルートを追加します。ネクストホップを「ローカル IDC」に設定し、ターゲットデータベースの IP アドレスを指定します。
Data Integration 用のデータ統合専用リソースグループに関連付けられた vSwitch の CIDR ブロックをデータベースの IP アドレスホワイトリストに追加します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
VPC 接続性テストの失敗時のトラブルシューティング
VPC エンドポイントを使用してデータソースを追加した場合：
Data Integration 用のデータ統合専用リソースグループをデータベースが配置されている VPC に関連付けていることを確認します。
Data Integration 用のデータ統合専用リソースグループに関連付けられた vSwitch の CIDR ブロックをデータベースの IP アドレスホワイトリストに追加していることを確認します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
パブリックエンドポイントを使用してデータソースを追加し、Data Integration 用のデータ統合専用リソースグループでの接続性テストが失敗した場合、リソースグループの Elastic IP Address (EIP) をデータベースの IP アドレスホワイトリストに追加していることを確認します。詳細については、「IP アドレスホワイトリストの設定」をご参照ください。
説明インターネット経由のデータ転送には課金が発生します。詳細については、「インターネットトラフィックの課金」をご参照ください。
断続的な接続性障害のトラブルシューティング
共有リソースグループを使用していないか確認してください。共有リソースグループではネットワーク接続が不安定になる場合があります。安定した接続を確保するには、Data Integration 用のデータ統合専用リソースグループの使用を推奨します。
データ統合専用リソースグループが見つからない
データ統合専用リソースグループが DataWorks ワークスペースに関連付けられていることを確認してください。詳細については、「Data Integration 用の専用リソースグループの使用」をご参照ください。
ログにおけるリソースグループの種別
タスクがデフォルトリソースグループで実行される場合、次のログエントリが表示されます：
running in Pipeline[basecommon_ group_xxxxxxxxx]。タスクが Data Integration 用のカスタムリソースグループで実行される場合、次のログエントリが表示されます：
running in Pipeline[basecommon_xxxxxxxxx]。タスクが Data Integration 用のデータ統合専用リソースグループで実行される場合、次のログエントリが表示されます：
running in Pipeline[basecommon_S_res_group_xxx]。
定期タスクのリソースグループ変更
オペレーションセンターで、Data Integration タスクのスケジューリング用リソースグループおよび実行用リソースグループを切り替えます：
DataStudio で、変更内容を本番環境にデプロイしてタスクのリソースグループを変更します。
説明この方法を使用する場合は、必ず変更内容をデプロイしてください。標準モードでは、コミット操作は開発環境でのみ有効になります。本番環境の定期タスクに変更を適用するには、変更内容を本番環境にデプロイする必要があります。デプロイ後、オペレーションセンターでサイクルタスクのリソースグループ変更を確認できます。
1. スケジューリング用リソースグループの変更：
2. Data Integration タスクの実行用リソースグループの変更：
ゲートウェイを待機中のカスタムリソースグループのトラブルシューティング
DataWorks コンソール にログインします。左側のナビゲーションウィンドウで [リソースグループ] をクリックし、「カスタムリソースグループ」タブに移動します。タスクのスケジューリング用リソースグループに対し、[サーバー管理] をクリックします。サーバーが停止しているか、他のタスクによって占有されていないかを確認します。
問題が継続する場合は、次のコマンドを実行してサービスを再起動します。
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restartホワイトリスト登録用のパブリック IP の確認
インターネット経由で Data Integration 用のデータ統合専用リソースグループを使用してデータを同期する場合、リソースグループの Elastic IP Address (EIP) をデータベースの IP アドレスホワイトリストに追加します。EIP を取得するには、以下の手順を実行します。
[DataWorks コンソール] の [リソースグループ] ページで、[専用リソースグループ] タブに移動します。Data Integration リソースグループの横にある [詳細] をクリックします。基本情報セクションで、[EIPAddress] をコピーし、データベースの IP アドレスホワイトリストに追加します。
利用可能なリソースがあるにもかかわらず「リソース不足」エラーが発生する
リソースグループの詳細情報を確認してください。この問題は、通常、新しいタスクを開始するのに十分なリソースが残っていないために発生します。たとえば、他のタスクがリソースグループ内でキューに並んでいる状態である可能性があります。