リソースグループの操作とネットワーク接続性に関するFAQと解決策 - DataWorks

データ同期におけるネットワーク接続性の問題
リソースグループの構成に関する問題
データソースを一括アップロード後、エントリが表示されない、またはページが応答しない場合の対処方法
ApsaraDB RDS インスタンスからデータソースを作成する際に対象インスタンスが見つからない場合の対処方法
DataWorks からインターネット経由で外部データベース (MongoDB Atlas など) に接続できず、UnknownHostException エラーが発生する場合の対処方法

バッチ同期タスクを実行する前に知っておくべきDataWorksのネットワーク機能

Data Integration を使用してデータを同期する前に、以下の情報を把握してください。

同期元データベースの VPC、vSwitch、リージョン、および DataWorks ワークスペースのリージョン。
データベースと DataWorks ワークスペースが異なる Alibaba Cloud アカウントにある、または異なるリージョンにあるなどの特殊な条件が存在するかどうか。

タスクの同期中に問題が発生した場合は、まずデータ同期の問題のトラブルシューティングを参照し、ご自身でトラブルシューティングを行ってください。

データソースの接続テスト時に問題が発生した場合は、まずデータソースの接続性に関する問題のトラブルシューティングを参照して、適切な解決策を選択してトラブルシューティングを行ってください。

データ統合専用リソースグループを使用する場合は、次の手順に従ってください。リソースグループを購入し、データベースが接続されている VPC に関連付け、ルートを追加するかどうかを評価し、データベースの許可リストを設定してから、データ統合専用リソースグループをワークスペースに関連付けます。詳細については、「データ統合専用リソースグループの設定」をご参照ください。

DataWorksとECSインスタンス上のセルフマネージドデータベース間のネットワーク接続性を確保する方法

データ統合専用リソースグループを使用して、ECS インスタンス上のセルフマネージドデータベースから内部ネットワーク経由でデータを同期する場合は、データ統合専用リソースグループのネットワーク設定を構成する必要があります。詳細については、「データ統合専用リソースグループの設定」をご参照ください。接続ソリューションの重要なポイントは次のとおりです。

データ統合専用リソースグループを、ECS インスタンスが存在する VPC に関連付けます。VPC CIDR ブロックを指すルートが自動的に追加されます。このルートを手動で削除すると、他のデータベースへのアクセスが失敗したり、タスクエラーが発生したりする可能性があるため、削除しないことを推奨します。
データ統合専用リソースグループに関連付けられた vSwitch CIDR ブロックをデータベースの許可リストに追加します。詳細については、「許可リストエントリの追加」をご参照ください。

データベースとDataWorksワークスペースが異なるリージョンにある場合のネットワーク接続性の確保

開始する前に、データソースの接続性に関する問題のトラブルシューティングを参照して、適切なネットワーク接続ソリューションを選択してください。接続ソリューションの重要なポイントは次のとおりです。

インターネットを使用して異なるリージョンのデータベースからデータを同期する場合は、データ統合専用リソースグループの EIP をデータベースの許可リストに追加する必要があります。詳細については、「許可リストエントリの追加」をご参照ください。

説明

インターネット経由のデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。

データベースとDataWorksワークスペースが異なるAlibaba Cloudアカウントにある場合のネットワーク接続性の確保

開始する前に、データソースの接続性に関する問題のトラブルシューティングを参照して、適切な解決策を選択してトラブルシューティングを行ってください。

インターネットを使用して異なるアカウントのデータベースからデータを同期する場合は、データ統合専用リソースグループの EIP をデータベースの許可リストに追加する必要があります。詳細については、「許可リストエントリの追加」をご参照ください。

説明
インターネット経由のデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。
内部ネットワーク経由で異なるアカウントのデータベースからデータを同期する場合は、次の手順を実行してください。
1. VPN Gateway や Express Connect などのネットワークサービスを使用して、2つの Alibaba Cloud アカウントのネットワークを接続します。
2. データ統合専用リソースグループを、他の Alibaba Cloud アカウントのネットワークにすでに接続されている VPC に関連付けます。
3. VPC を関連付けた後、カスタムルートを追加し、「オンプレミス IDC」を選択して、宛先データベースの IP アドレスを追加します。
4. データ統合専用リソースグループに関連付けられた vSwitch CIDR ブロックをデータベースの許可リストに追加します。この vSwitch CIDR ブロックは、リソースグループに関連付けられているものであることに注意してください。詳細については、「許可リストエントリの追加」をご参照ください。

VPC内のデータベースに対する接続テストが失敗した場合の対処方法

VPC エンドポイントを使用してデータソースを追加した場合：
1. データ統合専用リソースグループが、データベースが存在する VPC に関連付けられていることを確認してください。
2. データ統合専用リソースグループに関連付けられた vSwitch CIDR ブロックが、データベースの許可リストに追加されていることを確認してください。詳細については、「許可リストエントリの追加」をご参照ください。
パブリックエンドポイントを使用してデータソースを追加し、データ統合専用リソースグループで接続テストが失敗した場合は、データ統合専用リソースグループの EIP がデータベースの許可リストに追加されているかどうかを確認してください。詳細については、「許可リストエントリの追加」をご参照ください。

説明
インターネット経由のデータ同期には、インターネットトラフィック料金が発生します。詳細については、「料金」をご参照ください。

データソースへの接続が断続的になる場合の対処方法

共有リソースグループを使用しているかどうかを確認してください。共有リソースグループのネットワークは不安定な場合があります。接続の安定性を確保するために、データ統合専用リソースグループを使用することを推奨します。

Data Integrationでのデータ同期における、サーバーレスリソースグループとHologres間のネットワーク接続性の確保

サーバーレスリソースグループは、Hologres インスタンスが存在する VPC に関連付ける必要があります。次の手順を実行してください。

DataWorks コンソールにログオンし、リソースグループリストで対象のサーバーレスリソースグループを見つけます。
ネットワーク設定 をクリックします。[データスケジューリングと Data Integration] セクションで、アタッチの追加 をクリックします。
Hologres インスタンスが存在する VPC、ゾーン、vSwitch を選択し、[OK] をクリックします。
関連付けが完了したら、Data Integration のデータソース管理セクションで Hologres データソースを作成し、接続テスト をクリックして接続が成功することを確認してください。

リソースグループにすでに関連付けられている VPC の CIDR ブロックが Hologres VPC CIDR ブロックと競合する場合は、まず競合する VPC の関連付けを解除してから、Hologres VPC を追加してください。VPC を関連付けると、VPC 内に Elastic Network Interface (ENI) が作成され、クォータが消費されます。これらの ENI は削除しないでください。

Hologres のネットワーク切り替えに関する詳細な操作については、「Hologres ネットワーク設定の切り替え」をご参照ください。

advertised.listenersの不一致によりDataWorksがKafkaに接続できない場合のトラブルシューティング

DataWorks が Kafka クラスターに接続できない、または接続エラーが報告される場合は、次のシナリオに基づいて問題をトラブルシューティングしてください。

ECS セキュリティグループで、タスクに使用される DataWorks リソースグループにバインドされている vSwitch の CIDR ブロックからのアクセスを許可してください (例：172.17.112.0/20)。
Kafka クラスターのアドレスが、各ブローカーの server.properties ファイルの advertised.listeners パラメーターの値と一致していること、およびクラスター内のすべてのブローカーが正常に実行されていることを確認してください。
内部 IP アドレスを使用して Kafka に接続する場合は、DataWorks リソースグループにバインドされている VPC がこの内部 IP アドレスにアクセスできることを確認してください。
パブリック IP アドレスを使用して Kafka に接続する場合は、DataWorks リソースグループにバインドされている VPC に NAT ゲートウェイと Elastic IP アドレス (EIP) を設定してください。
ドメイン名の解決が失敗する場合は、PrivateZone を使用して内部 DNS 解決を設定してください。

購入したデータ統合専用リソースグループが接続テストやタスク実行時に見つからない場合の対処方法

データ統合専用リソースグループが DataWorks ワークスペースに関連付けられていることを確認してください。詳細については、「リソースグループとワークスペースの関連付け」をご参照ください。

ログから、タスクを実行しているリソースグループのタイプを判断する方法

タスクがデフォルトリソースグループで実行されている場合、ログに次の情報が表示されます： running in Pipeline[basecommon_ group_xxxxxxxxx]。
タスクが Data Integration 用のカスタムリソースグループで実行されている場合、ログに次の情報が表示されます： running in Pipeline[basecommon_xxxxxxxxx]。
タスクがデータ統合専用リソースグループで実行されている場合、ログに次の情報が表示されます： running in Pipeline[basecommon_S_res_group_xxx]。

スケジューリングシステムでタスクが使用するリソースグループを切り替える方法

オペレーションセンターでタスク実行のスケジューリングリソースグループと Data Integration リソースグループを切り替えるには、[オペレーションセンター] > [スケジュール済みタスク O&M] > [スケジュール済みタスク] ページで、対象タスクを選択し、ページ下部の [スケジューリングリソースグループの変更] または [Data Integrationリソースグループの変更] をクリックして一括変更します。
Data Studio でデプロイプロセスを実行し、本番環境でタスクが使用するリソースグループを変更します。

説明
次の方法でリソースグループを変更する場合は、必ず変更をデプロイしてください。標準モードでは、変更を送信しただけでは開発環境でのみ有効になります。本番環境でのスケジュール済みタスクの自動スケジューリングに変更が適用されるのは、デプロイ後です。デプロイ後、オペレーションセンターの [スケジュール済みタスク] セクションで、リソースグループの変更が有効になったかどうかを確認できます。

1. タスクスケジューリング用のリソースグループを変更するには、タスクノードの [スケジュール設定] パネルを開きます。[リソースプロパティ] セクションで、[スケジューリングリソースグループ] ドロップダウンリストから対象のリソースグループ (例：[共有スケジューリングリソースグループ]) を選択します。

2. タスク実行用の Data Integration リソースグループを変更するには、右側のサイドバーで [Data Integrationリソースグループ設定] タブをクリックします。[データ統合専用リソースグループ] ドロップダウンリストから対象のリソースグループ (例：[xiangcui_vpc]) を選択します。

「ゲートウェイ待機中」のカスタムリソースグループのトラブルシューティング

DataWorks コンソールにログオンします。左側のナビゲーションペインで、[リソースグループリスト] をクリックし、[カスタムリソースグループ] タブに移動します。タスクで使用されるスケジューリングリソースグループの横にある [サーバー管理] をクリックし、サーバーが停止しているか、他のタスクによって占有されているかを確認してください。

上記のトラブルシューティングで問題が解決しない場合は、次のコマンドを実行してサービスを再起動してください。

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

IP アドレス許可リスト用のリソースグループのパブリック IP アドレスを確認する方法

データ統合専用リソースグループを使用してインターネット経由でデータを同期する場合は、データ統合専用リソースグループの EIP をデータベースの許可リストに追加する必要があります。EIP は次の手順で取得できます。

DataWorks コンソールの [リソースグループ] ページで、[専用リソースグループ] タブをクリックします。データ統合リソースグループの横にある [詳細] をクリックし、基本情報セクションから [EIP] をデータベースの許可リストにコピーします。

リソースグループに空きがあるにもかかわらず「リソース不足」エラーが発生する原因

リソースグループの詳細を確認してください。ほとんどの場合、リソースグループの残りのリソースが新しいタスクの実行に不十分なことが原因です。たとえば、その時点でリソースグループにキューイングされているタスクが存在する可能性があります。

サーバーレスリソースグループに関連付け可能なVPC数とクォータ上限に達した場合の対処方法

各サーバーレスリソースグループは、最大2つの VPC 関連付けをサポートします。

DataWorks コンソールにログインします。リソースグループの一覧 ページで、目的のサーバーレスリソースグループを見つけ、詳細をクリックします。リソースグループの詳細ページの基本情報セクションで、VPC アタッチ フィールドに、現在のクォータ使用量が X 個が関連付け済み、Y 個が残っています の形式で表示されます。

2つの VPC のクォータが完全に使用されている場合 (2 関連付け済み、0 残り)、VPC 関連付けを追加できません。この問題は、次の方法で解決できます。

すでに関連付けられている VPC を再利用できるか評価してください。接続が必要なデータソースを、すでに関連付けられている VPC にデプロイするか、Cloud Enterprise Network (CEN) を使用して、データソースが存在する VPC をすでに関連付けられている VPC に接続します。
Cloud Enterprise Network (CEN) を使用して、VPC 間の接続性を確保します。すでに関連付けられている VPC と対象の VPC を同じ CEN インスタンスに追加し、ネットワーク接続を確立してください。これにより、追加の VPC 関連付けクォータを消費することなく、対象の VPC 内のデータソースにアクセスできます。

リソースグループのネットワーク設定における VPC 関連付けは、Data Integration と Data Scheduling の2つのセクションに分かれています。2つの VPC のクォータは、リソースグループレベルの合計クォータであり、2つのセクションで共有されます。

DataWorksリソースグループとApsaraDB RDS for MySQLインスタンスが同一VPC内にあり、許可リスト設定後も接続に失敗する場合の対処方法

この問題は通常、タスクがデータベースの VPC に関連付けられたリソースグループで実行されなかったことが原因で発生します。タスクを設定または実行する際には、ApsaraDB RDS for MySQL インスタンスが存在する VPC にバインドされ、かつ必要なデータベース許可リストのエントリが設定済みであるリソースグループを明示的に選択してください。

Data Integration でタスクを開発・デバッグするだけであれば、データソースの接続テストに合格することを確認すれば十分です。このシナリオでは、Data Integration モジュールの接続性を考慮する必要はありません。

データソースを一括アップロード後、エントリが表示されない、またはページが応答しない場合の対処方法

データソースを一括でアップロードした後、エントリがデータソースリストに表示されない、またはページが応答しなくなる場合は、次の手順で問題をトラブルシューティングしてください。

アップロード後に[作成開始]をクリックしたことを確認し、ページを更新してください。
アップロードされたテーブルに、既存のデータソースと名前が重複するエントリが含まれているかどうかを確認してください。重複するエントリは作成時にスキップされるため、ページにフィードバックが表示されない原因にもなります。重複するエントリを削除して、テーブルを再度アップロードしてください。
ワークスペースのモードと環境フィールドを確認します。ワークスペースが 基本モード の場合、本番環境 のみをサポートします。アップロードしたテーブルの環境フィールドが dev に設定されている場合は、Prod に変更してテーブルを再度アップロードします。 標準モード の場合にのみ、開発環境 と 本番環境 を区別する必要があります。
ブラウザのシークレットモードまたはプライベートブラウジングモードでアップロードを試して、キャッシュデータによる干渉を排除してください。

説明

[作成開始] ボタンの正確な実装と重複エントリ処理ロジックについて、このFAQのためにメインコンソールのコードベースをレビューしましたが、特定には至りませんでした。上記の手順は、動作が確認されているトラブルシューティング手順を反映したものです。

ApsaraDB RDSインスタンスからデータソースを作成する際に対象インスタンスが見つからない場合の対処方法

ApsaraDB RDS インスタンスからデータソースを作成する際に、使用したいインスタンスがインスタンスリストに表示されない場合は、まず RDS インスタンスのタイプが MySQL または PostgreSQL であるかどうかを確認してください。次に、データソースのタイプを実際の RDS インスタンスのタイプに合わせて設定し、ページを更新して完全なインスタンスリストを再読み込みしてください。

DataWorksからインターネット経由で外部データベース (MongoDB Atlasなど) に接続できず、UnknownHostExceptionエラーが発生する場合の対処方法

DataWorks を使用してインターネット経由で外部データベースに接続する際に、接続に失敗するか UnknownHostException エラーが発生した場合は、次の手順で問題をトラブルシューティングしてください。

サーバーレスリソースグループの VPC に NAT ゲートウェイが設定されており、NAT ゲートウェイに Elastic IP アドレス (EIP) がバインドされていることを確認してください。この EIP がインターネットからアクセスできることを確認してください (たとえば、ping テストを実行して確認します)。
外部データベース側 (たとえば、MongoDB Atlas) で、NAT ゲートウェイの EIP がアクセス許可リストに追加されているか、またはデータベースがすべての IP アドレスからのアクセスを許可するように設定されているかを確認してください。
上記の確認を完了しても接続が失敗する場合、対象のデータベースは通常、MongoDB Atlas や Microsoft Azure などの別のクラウド環境に存在します。異なるクラウド環境間のインターネット接続は、国境を越えたネットワーク制限や不安定性の影響を受ける可能性があります。この場合、IPsec VPN、Express Connect、または専用線を使用して、Alibaba Cloud VPC と対象のクラウド環境間に内部ネットワーク接続を確立してください。次に、内部ネットワークアドレスを使用してデータソースを設定し、接続性と安定性を向上させてください。