DataWorks には、大量のデータを無料でクラウドに移行するためのリソースグループがデフォルトで用意されています。 ただし、高い伝送速度が必要な場合、またはデータストアが複雑な環境にデプロイされている場合、デフォルトのリソースグループでは不十分です。 このような場合、カスタムリソースグループを使用して同期ノードを実行できます。 データストアへの接続が保証され、より高い伝送速度がサポートされます。

ワークスペースの管理者は、Data Integration の[カスタムリソースグループ] ページでカスタムリソースグループを追加または変更できます。

デフォルトのリソースグループが、複雑なネットワーク環境にデプロイされたデータストアにアクセスできない場合、カスタムリソースグループを追加して任意のネットワーク環境間のデータ同期を有効にすることができます。

注
  • Data Integration の [カスタムリソースグループ] ページで追加されたカスタムリソースグループは、現在のワークスペースの同期ノードでのみ実行できます。 リソースグループリストには表示されません。 現在、[カスタムリソースグループ] ページで追加されたカスタムリソースグループは、手動でトリガーされたワークフローで同期ノードを実行できません。
  • 1 つの ECS (Elastic Compute Service) インスタンスには、 1 つだけカスタムリソースグループを追加できます。 1 つのカスタムリソースグループには、1 つだけネットワークタイプを選択できます。
  • カスタムリソースグループをホストする ECS インスタンスを登録する場合、ネットワークタイプをクラシックネットワークに設定できるのは、ECS インスタンスが中国 (上海)リージョンに配置されている場合に限られます。 この場合、ECS インスタンスのホスト名を入力する必要があります。 ネットワークタイプを優先的にVPC (Virtual Private Cloud) に設定することを推奨します。 他のリージョンでは、ECS インスタンスに設定可能なネットワークタイプは VPC のみです。 この場合、登録するECSインスタンスの UUID (汎用一意識別子) を入力する必要があります。
  • カスタムリソースグループをホストする ECS インスタンスのファイルにアクセスする際、管理者権限が必要となる場合があります。 たとえば、ノードのシェルスクリプトを作成する際、ECS インスタンスでシェルまたは SQL ファイルを呼び出すには、admin 権限が必要となります。
  • スケジューリング用のリソースグループは、主にノードのスケジュールに使用されます。 リソースが限られているため、コンピューティングノードには適していません。 そのため、リソースグループの ECSインスタンスに、スケジューリング用としてカスタムリソースグループを追加しないことを推奨します。 MaxCompute は大量のデータを処理できます。 ビッグデータコンピューティングには MaxCompute の使用を推奨します。

制限事項

  • カスタムリソースグループが存在する ECS インスタンスの時刻と現在のインターネット時刻の差は 2 分以内である必要があります。 2 分を超えている場合、サービスリクエストがタイムアウトし、カスタムリソースグループでノードが実行されない場合があります。
  • alisatasknode のログファイルに、タイムアウトエラーメッセージresponse code not 200 が存在する場合、カスタムリソースグループにアクセスできない期間があったことを示しています。 カスタムリソースグループをホストしている ECS サーバーは、例外が 10 分を超えて継続しない限り動作できます。 例外の詳細を確認するには、/home/admin/alisatasknode/logs ディレクトリの heartbeat.log を参照します。

ECS インスタンスの購入

ECS インスタンスの購入
注
  • OS は、CentOS V6、CentOS V7、または AliOS を推奨します。
  • 追加する ECS インスタンスで MaxCompute ノードまたは同期ノードを実行する必要がある場合、現在の ECS インスタンスの Python バージョンが V2.6 または V2.7 であることを確認してください。 (CentOS V5 の Python バージョンは V2.4 です。他のオペレーティングシステムの Python バージョンは V2.6 以降です。)
  • ECS インスタンスがインターネットにアクセスできることを確認します。 ECS インスタンスで www.alibabacloud.com に対して ping を実行し、URL が ping 可能であることを確認します。
  • ECS インスタンスは、8 コア CPU、 16 GB メモリで構成することを推奨します。

ECS インスタンスのホスト名および内部 IP アドレスの表示

ECS コンソールにログインします。 左側のナビゲーションペインで、[インスタンスとイメージ] > [インスタンス] を選択します。 表示されるページで、購入した ECS インスタンスのホスト名と IP アドレスを確認します。

ログを読み込むためのポート 8000 を有効化

注 ECS インスタンスが VPC 内にある場合、ポート 8000 を有効化する必要はありません。 このセクションの手順は、クラシックネットワークの ECS インスタンスにのみ適用されます。
  1. セキュリティグループル ールを追加します。

    ECS コンソールにログインします。 左側のナビゲーションペインで [ネットワークとセキュリティ] > [セキュリティグループ] を選択します。 表示されるページでルールを追加するセキュリティグループを確認し、[操作] 列で [ルールの追加] をクリックします。

  2. [セキュリティグループルール] > [インバウンド] ページで、右上に表示される [セキュリティグループルールの追加] をクリックします。
  3. [セキュリティグループルールの追加] ダイアログボックスで、必要なパラメーターを設定します。 認証オブジェクトを Data Integration の固定 IP アドレスに設定し、ポート範囲を"8000/8000" に設定します。

カスタムリソースグループの追加

  1. 左側のナビゲーションペインで [カスタムリソースグループ] をクリックします。 [カスタムリソースグループ] ページが表示されます。
  2. 右上に表示される [新しい連絡先グループ] をクリックします。
    注 デフォルトでは、[カスタムリソースグループ] ページにはカスタムリソースグループのみ表示され、デフォルトのリソースグループは表示されません。
  3. [リソースグループの追加] ダイアログボックスで [リソースグループ名] を設定し、[次へ] をクリックします。
  4. [サーバーの追加] ダイアログボックスでパラメーターを設定し、 [次へ] をクリックします。
    パラメーター 説明
    ネットワークタイプ ECS インスタンスのネットワークタイプを設定します。 現在、クラシックネットワークタイプは中国 (上海) リージョンの ECS インスタンスでのみサポートされています。 他のリージョンの ECS インスタンスでは、 VPC のみ設定できます。
    Server Name または ECS UUID
    • Network Type が Classic Network に設定されている場合は、 ECS インスタンスのホスト名を設定します。 ホスト名を取得するには、ECSインスタンスにログインし、hostname コマンドを実行します。
    • Network Type が VPC に設定されている場合は、ECS インスタンスの UUID を設定します。 UUID を取得するには、ECS インスタンスにログインして dmidecode | grep UUID コマンドを実行します。
    Server IP Address ECS インスタンスの内部 IP アドレスを設定します。
    Server CPU (Cores) ECS インスタンス上の CPU コア数を設定します。 カスタムリソースグループをホストする ECS インスタンスには、少なくとも 4 つの CPU コアを設定することを推奨します。
    Server RAM (GB) ECS インスタンスのメモリを設定します。 カスタムリソースグループをホストする ECS インスタンスには、少なくとも 8 GB の RAM および 80 GB のディスク容量を設定することを推奨します。
    注 VPC に ECS インスタンスを追加するには、ECS インスタンスの UUID を入力します。 UUID を取得するには、ECS インスタンスにログインして dmidecode | grep UUID コマンドを実行します。

    たとえば、dmidecode | grep UUID コマンドで UUID: 713F4718-8446-4433-A8EC-6B5B62D7**** が返された場合、UUID は 713F4718-8446-4433-A8EC-6B5B62D7**** です。

  5. エージェントをインストールして初期化します。
    ECS インスタンスを新規に購入し、未使用の 場合は以下の手順に従います。
    1. SSH を使用して、root ユーザーとしてECSインスタンスにログインします。
    2. 以下のコマンドを実行します。 
      chown admin:admin /opt/taobao  //Grant the admin user the permission to access the /opt/taobao directory.
wget https://alisaproxy.shuju.aliyun.com/install.sh --no-check-certificate
sh install.sh --user_name=*****19d --password=****h1bm --enable_uuid=false
    3. しばらく待ってから、[サーバーの追加]ダイアログボックスで [更新] をクリックし、サービスのステータスが[利用可能] になることを確認します。
    4. ECS インスタンスのポート 8000 を有効化します。
      注 install.sh スクリプトの実行時にエラーが発生した場合、または再度実行する必要がある場合、install.shスクリプトと同じディレクトリで rm –rf install.sh コマンドを実行して作成されたファイルを削除します。 次に、 install.sh スクリプトを再度実行します。 インストールおよび初期化プロセス中に実行する必要があるコマンドは、ユーザーごとに異なります。 初期化インターフェイスの指示に従って関連するコマンドを実行します。
前述の手順を実行してもサービスのステータスが停止の場合、下図のように、ホスト名が IP アドレスにバインドされていない可能性があります。Stopped
ホスト名を IP アドレスにバインドするには、以下の手順に従います。
  1. admin ユーザーに切り替えます。
  2. hostname -i コマンドを実行して、ホスト名のバインド情報を表示します。
  3. vim/etc/hosts コマンドを実行して、IP アドレスとホスト名のバインドを追加します。
  4. サービスのステータスを更新し、ECS インスタンスが登録されているかどうかを確認します。
注
  • ページを更新した後も ECS インスタンスのステータスが "停止" のままの場合は、alisatasknode を再起動します。
    admin ユーザーに切り替えて、以下のコマンドを実行します。 
    /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart
  • このコマンドを実行するには、AccessKey を入力する必要があります。 AccessKey の情報は厳重に管理してください。

同期ノードに対するカスタムリソースグループの選択

同期ノードの [設定] タブで、[チャネル] セクションの[リソースグループ] に対するカスタムリソースグループを選択します。Configuring a channel