データ同期のネットワーク接続に関する問題
リソースグループの設定に関する問題
バッチ同期タスク実行前に知っておくべき DataWorks とネットワーク機能
Data Integration を使用してデータを同期する前に、次の情報を確認してください。
データを同期したいデータベースの VPC、vSwitch、リージョン、および DataWorks ワークスペースのリージョン。
データベースと DataWorks ワークスペースが異なる Alibaba Cloud アカウントに属している、または異なるリージョンにあるといった特別な条件の有無。
タスクの同期中に問題が発生した場合は、まず「データ同期の問題のトラブルシューティング」を参照して、セルフサービスでトラブルシューティングを行ってください。
データソースの接続テストで問題が発生した場合は、まず「データソース接続の問題のトラブルシューティング」を参照して、トラブルシューティングに適した解決策を選択してください。
データ統合専用リソースグループを使用する場合は、リソースグループの購入、データベースが接続されている VPC との関連付け、ルート追加の要否の評価、データベースの許可リストの設定、および専用リソースグループとワークスペースの関連付けという手順に従ってください。詳細については、「データ統合専用リソースグループの設定」をご参照ください。
DataWorks と ECS インスタンス上のセルフマネージドデータベース間のネットワーク接続を確保する方法
データ統合専用リソースグループを使用して、内部ネットワーク経由で ECS インスタンス上のセルフマネージドデータベースからデータを同期する場合、データ統合専用リソースグループのネットワーク設定が必要です。詳細については、「データ統合専用リソースグループの設定」をご参照ください。接続ソリューションの要点は次のとおりです。
データ統合専用リソースグループを、ECS インスタンスが存在する VPC に関連付けます。VPC の CIDR ブロックを指すルートが自動的に追加されます。このルートを手動で削除すると、他のデータベースへのアクセスに失敗したり、タスクエラーが発生したりする可能性があるため、削除しないでください。
データ統合専用リソースグループに関連付けられている vSwitch の CIDR ブロックをデータベースの許可リストに追加します。詳細については、「許可リストエントリの追加」をご参照ください。
データベースと DataWorks ワークスペースが異なるリージョンにある場合のネットワーク接続確保
事前に、「データソース接続の問題のトラブルシューティング」を参照して、適切なネットワーク接続ソリューションを選択してください。接続ソリューションの要点は次のとおりです。
インターネットを使用して異なるリージョンのデータベースからデータを同期する場合、専用リソースグループの Elastic IP アドレス (EIP) をデータベースの許可リストに追加する必要があります。詳細については、「許可リストエントリの追加」をご参照ください。
インターネットベースのデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。
データベースと DataWorks ワークスペースが異なる Alibaba Cloud アカウントに属する場合のネットワーク接続確保
事前に、「データソース接続の問題のトラブルシューティング」を参照して、トラブルシューティングに適したソリューションを選択してください。
インターネットを使用して別のアカウントのデータベースからデータを同期する場合、専用リソースグループの EIP をデータベースの許可リストに追加する必要があります。詳細については、「許可リストエントリの追加」をご参照ください。
説明インターネットベースのデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。
内部ネットワークを介して別のアカウントのデータベースからデータを同期する場合は、次の手順を実行します。
VPN Gateway や Express Connect などのネットワークサービスを使用して、2 つの Alibaba Cloud アカウントのネットワークを接続します。
データ統合専用リソースグループを、他の Alibaba Cloud アカウントのネットワークにすでに接続されている VPC に関連付けます。
VPC を関連付けた後、カスタムルートを追加し、[オンプレミス IDC] を選択して、宛先データベースの IP アドレスを追加します。
専用リソースグループに関連付けられている vSwitch の CIDR ブロックをデータベースの許可リストに追加します。vSwitch の CIDR ブロックは、リソースグループに関連付けられているものであることにご注意ください。詳細については、「許可リストエントリの追加」をご参照ください。
VPC 内データベースの接続テストが失敗した場合の対処法
VPC エンドポイントを使用してデータソースを追加した場合：
データ統合専用リソースグループが、データベースが存在する VPC に関連付けられていることを確認します。
データ統合専用リソースグループに関連付けられている vSwitch の CIDR ブロックが、データベースの許可リストに追加されていることを確認します。詳細については、「許可リストエントリの追加」をご参照ください。
パブリックエンドポイントを使用してデータソースを追加し、データ統合専用リソースグループでの接続テストが失敗した場合は、データ統合専用リソースグループの EIP がデータベースの許可リストに追加されているかどうかを確認します。詳細については、「許可リストエントリの追加」をご参照ください。
説明インターネットベースのデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。
データソース接続が断続的になる場合の対処法
共有リソースグループを使用しているかどうかを確認してください。共有リソースグループのネットワークは不安定です。接続の安定性を確保するために、データ統合専用リソースグループの使用を推奨します。
Data Integration でのデータ同期における、サーバーレスリソースグループと Hologres 間のネットワーク接続確保
サーバーレスリソースグループは、Hologres インスタンスが存在する VPC に関連付ける必要があります。次の手順を実行します。
DataWorks コンソールにログインし、リソースグループリストで対象のサーバーレスリソースグループを見つけます。
ネットワーク設定 をクリックします。データスケジューリングとデータ統合セクションで、アタッチの追加 をクリックします。
Hologres インスタンスが存在する VPC、ゾーン、vSwitch を選択し、[OK] をクリックします。
関連付けが完了したら、Data Integration のデータソース管理セクションで Hologres データソースを作成し、接続テスト をクリックして接続が成功したことを確認します。
リソースグループにすでに関連付けられている VPC の CIDR ブロックが Hologres の VPC の CIDR ブロックと競合する場合、まず競合する VPC の関連付けを解除してから、Hologres の VPC を追加します。VPC を関連付けると、VPC 内に Elastic Network Interface (ENI) が作成され、クォータが消費されます。これらの ENI は削除しないでください。
Hologres のネットワーク切り替えに関する詳細な操作については、「Hologres ネットワーク設定の切り替え」をご参照ください。
advertised.listeners の不一致が原因で DataWorks から Kafka への接続に失敗した場合のトラブルシューティング
DataWorks から Kafka クラスターへの接続に失敗する場合は、次のシナリオに基づいて問題をトラブルシューティングします。
ECS セキュリティグループで、タスクに使用される DataWorks リソースグループにバインドされている vSwitch の CIDR ブロック (例: 172.17.112.0/20) からのアクセスを許可します。
Kafka クラスターのアドレスが、各ブローカーの
server.propertiesファイル内のadvertised.listenersパラメーターの値と一致していること、およびクラスター内のすべてのブローカーが正常に実行されていることを確認します。プライベート IP アドレスを使用して Kafka に接続する場合、DataWorks リソースグループにバインドされている VPC がこのプライベート IP アドレスにアクセスできることを確認します。
パブリック IP アドレスを使用して Kafka に接続する場合、DataWorks リソースグループにバインドされている VPC に対して NAT ゲートウェイと EIP を設定します。
ドメイン名の解決に失敗した場合は、PrivateZone を使用して内部 DNS 解決を設定します。
購入した専用リソースグループが接続テストやタスク実行時に見つからない場合の対処法
専用リソースグループが DataWorks ワークスペースに関連付けられていることを確認してください。詳細については、「リソースグループとワークスペースの関連付け」をご参照ください。
ログからタスク実行中のリソースグループの種類を特定する方法
タスクがデフォルトのリソースグループで実行されている場合、ログに次の情報が表示されます：
running in Pipeline[basecommon_ group_xxxxxxxxx]タスクがサーバーレスリソースグループで実行されている場合、ログに次の情報が表示されます：
running in Pipeline[basecommon_xxxxxxxxx]タスクがデータ統合専用リソースグループで実行されている場合、ログに次の情報が表示されます：
running in Pipeline[basecommon_S_res_group_xxx]
スケジューリングシステムでタスクが使用するリソースグループを切り替える方法
オペレーションセンターでタスク実行のためのスケジューリングリソースグループと Data Integration リソースグループを切り替える： [オペレーションセンター] > [定期タスク O&M] > [定期タスク] ページで、リソースグループを切り替えたいタスクを選択し、ページ下部の [スケジューリングリソースグループの変更] または [Data Integration リソースグループの変更] をクリックして一括変更します。
Data Studio のデプロイプロセスを通して、本番環境のタスクが使用するリソースグループを変更します。
説明次の方法でリソースグループを変更する場合、変更をデプロイすることを忘れないでください。標準モードでは、変更を送信しただけでは開発環境でのみ有効です。本番環境の定期タスク自動スケジューリングに変更を反映させるには、デプロイが必要です。デプロイ後、オペレーションセンターの定期タスクセクションでリソースグループの変更が反映されたかを確認できます。
1. タスクスケジューリングのリソースグループを変更する：タスクノードの [スケジューリング設定] パネルを開きます。[リソースプロパティ] セクションで、[スケジューリングリソースグループ] ドロップダウンリストをクリックし、ターゲットのリソースグループ (例: [共有スケジューリングリソースグループ]) を選択します。
2. タスク実行の Data Integration リソースグループを変更する：右側のサイドバーの [Data Integration リソースグループ設定] タブをクリックします。[データ統合専用リソースグループ] ドロップダウンリストで、ターゲットのリソースグループ (例: [xiangcui_vpc]) を選択します。
カスタムリソースグループがゲートウェイ待機中となる場合のトラブルシューティング
DataWorks コンソールにログインします。左側メニューで、[リソースグループリスト] をクリックし、[カスタムリソースグループ] タブに移動します。タスクが使用するスケジューリングリソースグループの横にある [サーバー管理] をクリックし、サーバーが停止しているか、他のタスクによって占有されていないかを確認してください。
上記のトラブルシューティングで問題が解決しない場合は、次のコマンドを実行してサービスを再起動してください。
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restartIP アドレス許可リストに追加するリソースグループのパブリック IP アドレスの確認方法
データ統合専用リソースグループを使用してインターネット経由でデータを同期する場合、データ統合専用リソースグループの EIP をデータベースの許可リストに追加する必要があります。EIP は次のように取得できます。
DataWorks コンソールの [リソースグループ] ページで、[専用リソースグループ] タブをクリックします。 データ統合リソースグループの横にある [詳細] をクリックし、基本情報セクションから [EIP] をデータベースの許可リストにコピーします。
リソースグループに利用可能なリソースがあるにもかかわらず「リソース不足」エラーが表示される原因
リソースグループの詳細を確認してください。ほとんどの場合、リソースグループの残りのリソースは新しいタスクを実行するには不十分です。たとえば、この時点でリソースグループにキューに入っているタスクがある可能性があります。
サーバーレスリソースグループに関連付け可能な VPC 数とクォータ上限に達した場合の対処法
各サーバーレスリソースグループは、最大 2 つの VPC 関連付けをサポートします。
DataWorks コンソールにログインします。リソースグループの一覧 ページで、対象のサーバーレスリソースグループを探し、詳細 をクリックします。リソースグループ詳細ページの基本情報セクションで、VPC アタッチ フィールドに、現在のクォータ使用量が X 関連付け済み, Y 残り の形式で表示されます。
2 つの VPC のクォータがすべて使用されている場合 (2 個関連付け済み、残り 0 個)、VPC 関連付けをこれ以上追加することはできません。この問題は、次の方法で解決できます。
既に関連付けられている VPC を再利用できるか評価します。接続が必要なデータソースを既に関連付けられている VPC にデプロイするか、データソースが存在する VPC を Cloud Enterprise Network (CEN) を使用して既に関連付けられている VPC に接続します。
VPC 間の接続には CEN を使用します。既に関連付けられている VPC とターゲット VPC を同じ CEN インスタンスに追加してネットワーク接続を確立します。これにより、追加の VPC 関連付けクォータを消費することなく、ターゲット VPC 内のデータソースにアクセスできます。
リソースグループのネットワーク設定における VPC 関連付けは、Data Service とデータスケジューリングの 2 つのセクションに分かれています。2 つの VPC というクォータは、これら 2 つのセクションで共有される、リソースグループレベルの合計クォータです。
DataWorks リソースグループと ApsaraDB RDS for MySQL インスタンスが同一 VPC 内にあり、許可リスト設定済みでも接続に失敗する場合の対処法
この問題は通常、タスクがデータベースの VPC に関連付けられているリソースグループで実行されなかったために発生します。タスクを設定または実行する際には、ApsaraDB RDS for MySQL インスタンスが存在する VPC に関連付けられており、必要なデータベースの許可リストが設定済みのリソースグループを明示的に選択してください。
Data Integration でタスクを開発およびデバッグするだけであれば、データソースの接続テストが成功することを確認できれば十分です。このシナリオでは、Data Service モジュールの接続性を考慮する必要はありません。
ApsaraDB RDS インスタンスからデータソースを作成する際にターゲットインスタンスが見つからない場合の対処法
ApsaraDB RDS インスタンスからデータソースを作成する際に、使用したいインスタンスがインスタンスリストに表示されない場合は、まず RDS インスタンスのタイプが MySQL または PostgreSQL であるかを確認してください。次に、データソースのタイプを実際の RDS インスタンスのタイプに合わせて設定し、ページを更新してインスタンスリストを再読み込みしてください。
DataWorks からインターネット経由での外部データベース (MongoDB Atlas など) への接続に失敗し、UnknownHostException エラーが報告された場合の対処法
DataWorks を使用してインターネット経由で外部データベースに接続する際に、接続障害または UnknownHostException エラーが発生した場合は、次のように問題をトラブルシューティングします。
サーバーレスリソースグループの VPC に NAT ゲートウェイが設定されており、NAT ゲートウェイに EIP がバインドされていることを確認してください。たとえば、ping テストを実行するなどして、この EIP がインターネットからアクセス可能であることを確認してください。
外部データベース側 (例: MongoDB Atlas) で、NAT ゲートウェイの EIP がアクセス許可リストに追加されているか、またはデータベースがすべての IP アドレスからのアクセスを許可するように設定されているかを確認してください。
上記の手順を完了しても接続に失敗する場合、通常、ターゲットデータベースは MongoDB Atlas や Microsoft Azure などの別のクラウド環境に存在します。異なるクラウド環境間のインターネット接続は、国境を越えるネットワークの制限や不安定性の影響を受ける可能性があります。この場合、IPsec VPN や Express Connect を使用して、Alibaba Cloud VPC とターゲットクラウド環境の間に内部ネットワーク接続を確立してください。その後、内部ネットワークアドレスを使用してデータソースを設定することで、接続性と安定性が向上します。