エージェントの作成、デプロイ、スケール、アップグレードの方法を説明します。
エージェントの作成
エージェントは、パブリックネットワークと VPC の 2 つのネットワークタイプをサポートしています。VPC 接続は、専用線または VPN を使用して確立できます。要件に基づいてネットワークタイプを選択してください。各エージェントは既存のトンネルに関連付ける必要があるため、先にトンネルを作成する必要があります。トンネルの作成方法については、「トンネル管理」をご参照ください。
-
専用線または VPN 経由でデータをクラウドに移行する場合、自己管理型ストレージからデータを移行する場合、またはローカルファイルシステムを移行元として使用する場合は、トンネルとエージェントを作成する必要があります。
-
エージェントは、カーネル 2.6 以降が稼働する 64-bit Linux (x86_64) マシンにデプロイする必要があります。これらの要件を満たすマシンを用意してください。
-
各リージョンで作成できるエージェントは最大 100 個です。これに合わせてリソースを計画してください。
-
ecs.c7.xlarge など、第 7 世代以降の ECS インスタンスタイプの使用を推奨します。
-
Data Online Migration コンソールにログインします。
-
左側のナビゲーションウィンドウで、Agent Management を選択します。
-
Agent Management ページで、New Agent をクリックします。
-
New Agent ダイアログボックスで、次のパラメータを設定し、OK をクリックします。
パラメータ
必須
説明
名前
はい
エージェントの名前。
-
名前は 3~63 文字である必要があります。
-
名前には、英字、数字、ハイフン (-)、アンダースコア (_) を含めることができます。名前では大文字と小文字が区別されます。
-
名前は UTF-8 でエンコードされている必要があり、先頭にハイフン (-) またはアンダースコア (_) は使用できません。
-
[Network Type]
はい
エージェントのネットワーク接続タイプ。次のオプションが利用可能です:
-
VPC (推奨):エージェントは VPC 経由で Data Online Migration サービスに接続します。この方法では、エージェントが稼働するマシンが、該当リージョンの Data Online Migration の内部エンドポイントにアクセスできる必要があります。たとえば、中国 (北京) リージョンで Data Online Migration を使用する場合、エージェントが稼働するマシンは内部エンドポイント {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com にアクセスできる必要があります。Data Online Migration コンソールと同じリージョンの ECS インスタンスを使用してエージェントをデプロイすることを推奨します。
-
パブリックネットワーク:エージェントはパブリックネットワーク経由で Data Online Migration サービスに接続します。この方法では、エージェントが稼働するマシンが、該当リージョンの Data Online Migration のパブリックエンドポイントにアクセスできる必要があります。たとえば、中国 (北京) リージョンで Data Online Migration を使用する場合、エージェントが稼働するマシンはパブリックエンドポイント {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com にアクセスできる必要があります。
説明-
{TunnelId} はトンネル ID のプレースホルダーです。
-
pingコマンドを使用して、エージェントと Data Online Migration サービス間のネットワーク接続性をテストできます。
デプロイ方法
はい
エージェントのデプロイ方法。現在は、スタンドアロンプロセスデプロイのみがサポートされています。
[Tunnel]
はい
エージェントに関連付けるトンネル。1 つのエージェントに関連付けられるトンネルは 1 つだけです。エージェントの帯域幅は、トンネルの合計帯域幅によって制限されます。
たとえば、tunnel-1 という名前のトンネルの最大帯域幅が 10 Gbit/s に設定されているとします。tunnel-1 は、agent-1、agent-2、agent-3 の 3 つのエージェントに関連付けられています。これら 3 つのエージェントの合計帯域幅は 10 Gbit/s を超えることはできません。agent-1 に 3 Gbit/s の帯域幅を割り当てると、agent-2 と agent-3 で使用できる帯域幅は、残り 7 Gbit/s となります。帯域幅を慎重に計画し、割り当ててください。
-
エージェントデプロイメントスクリプトの生成
前提条件
-
マシンには、少なくとも 4 CPU コア、8 GB のメモリ、およびログ用に 4 GB の利用可能な領域が必要です。
-
エージェントをデプロイするために、新しい RAM ユーザーを作成します。RAM ユーザーに [AliyunOSSImportReadOnlyAccess] 権限を付与し、[リソース範囲] を [アカウント] に設定します。
説明1 つの RAM ユーザーのアクセスキーペアを使用して、競合なく複数のエージェントをデプロイできます。
手順
-
Agent Management ページで、エージェント名をクリックして詳細ページを開きます。
-
Deploy and Run をクリックします。Deploy and Run ダイアログボックスの AccessKey Pairs セクションで、次のパラメーターを設定します。
パラメーター
必須
説明
AccessKey ID
はい
エージェントがデータオンライン移行サービスとのトンネルを確立する際に、エージェントを認証します。mgw:VerifyAgentTunnel 権限が必要です。
説明最小権限の原則に従い、mgw:VerifyAgentTunnel 権限を含むカスタムポリシーのみを付与することを推奨します。また、必要に応じて次のいずれかのシステムポリシーを付与することもできます。
-
AliyunOSSImportReadOnlyAccess (Data Online Migration を管理するための読み取り専用権限)
-
AliyunOSSImportFullAccess (完全な管理権限)
AccessKey Secret
はい
-
-
Advanced Settings の横にある
アイコンをクリックして、次のパラメーターを設定します。パラメーター
必須
説明
[CPU Cores]
いいえ
エージェントが使用できる CPU コア数です。
-
このパラメーターを指定しない場合、デフォルトでマシンのすべての CPU コアが使用されます。
-
このパラメーターを指定する場合は、コンソールの案内に従って値を慎重に評価してください。
[Maximum Memory Size (GB)]
いいえ
エージェントが使用できる最大メモリです。
-
このパラメーターを指定しない場合、デフォルトでマシンのすべてのメモリが使用されます。
-
このパラメーターを指定する場合は、コンソールの案内に従って値を慎重に評価してください。
[Space Used by Logs (GB)]
いいえ
エージェントログの最大ディスク領域です。この制限に達すると、最も古いログが破棄されます。
-
このパラメーターを指定しない場合、デフォルトで 4 GB の領域が使用されます。
-
このパラメーターを指定する場合は、移行するファイル数に基づいて値を評価し、コンソールの案内を参照してください。100 万個のファイルを移行すると、約 4 GB のディスクログが生成されます。
[Maximum Bandwidth]
いいえ
エージェントの最大帯域幅です。この値は、関連付けられているトンネルの帯域幅制限を超えることはできません。例:
-
トンネルの最大帯域幅が 5 Gbit/s の場合、単一エージェントの最大利用可能帯域幅は 5 Gbit/s を超えることはできません。
-
トンネルに最大帯域幅が指定されていない場合、エージェントの最大利用可能帯域幅は 100 Gbit/s を超えることはできません。
説明各エージェントは 1 つのトンネルにのみ関連付けることができ、帯域幅はそのトンネルの合計帯域幅によって制限されます。
たとえば、tunnel-1 という名前のトンネルの最大帯域幅が 10 Gbit/s に設定されているとします。tunnel-1 は、agent-1、agent-2、agent-3 の 3 つのエージェントに関連付けられています。これら 3 つのエージェントの合計帯域幅は 10 Gbit/s を超えることはできません。agent-1 に 3 Gbit/s の帯域幅を割り当てると、agent-2 と agent-3 で使用できる帯域幅は、残り 7 Gbit/s となります。帯域幅を慎重に計画し、割り当ててください。
-
-
[コマンドでデプロイ] をクリックします。
エージェントのデプロイ
-
各デプロイコマンドは、エージェント ID などの一意の情報で自動生成され、1 つのエージェントのみをデプロイできます。複数のエージェントをデプロイするには、エージェントごとに個別のコマンドを生成し、それぞれ異なるマシンで実行してください。そうしないと、デプロイが失敗したり、エージェントのステータスが異常になったりする可能性があります。
-
LocalFS データ (LocalFS から OSS、OSS から LocalFS、または LocalFS システム間) を移行する場合は、エージェントを root ユーザーとして実行する必要があります。そうしないと、
chownやchmodなどのシステムコールに対する権限が不足しているため、ファイルの移行が失敗する可能性があります。
オンラインデプロイ
エージェントの Network Type を [Internet] に設定した場合は、エージェントをオンラインでデプロイします。
-
Use commands to deploy and run the agent ダイアログボックスでコマンドを確認し、デプロイマシンにログインします。Workbench や VNC などの Alibaba Cloud ツール、またはサードパーティのクライアントツールを使用できます。
-
デプロイマシンで、curl がインストールされていることを確認します。次に、
curl -I https://www.aliyun.comコマンドを実行して、インターネット接続性を確認します。 -
ダイアログボックスからエージェントデプロイコマンドをコピーします。デプロイマシンのローカルディスクディレクトリでコマンドを実行してください。NAS ディレクトリなどのリモートマウントディレクトリでは実行しないでください。正常に実行されると、エージェントがデプロイされたことになります。コンソールに表示されるコマンドは変更される可能性があるため、最新バージョンについては実際の出力を参照してください。
wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>パラメータ
説明
TunnelID
トンネル ID。
UID
Alibaba Cloud アカウント ID。
AK
アクセスキー ID。
SK
アクセスキーシークレット。
AgentName
エージェント名。
AgentID
エージェント ID。
Endpoint
エンドポイント。
publicはインターネット接続を示します。AgentDeployMethod
エージェントのデプロイ方法。
defaultは、エージェントがスタンドアロンプロセスとして実行されることを示します。CpuUsage
CPU コア数。このパラメータは、値が設定されている場合のみコマンドに含まれます。
MemoryUsage
使用するメモリ量 (GB 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
LogMemoryUsage
ログ用のディスク領域 (GB 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
MaxBandwidth
使用する最大帯域幅 (MB/s 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
-
エージェントを正常にデプロイした後、データアドレスを作成してエージェントに関連付けます。このデータアドレスを使用する移行タスクは、エージェントのマシンで実行されます。
オフラインデプロイ
エージェントの Network Type を [Leased Line/VPN (VPC)] に設定した場合は、エージェントをオフラインでデプロイします。
-
Use commands to deploy and run the agent ダイアログボックスでコマンドを確認し、デプロイマシンにログインします。Workbench や VNC などの Alibaba Cloud ツール、またはサードパーティのクライアントツールを使用できます。
-
エージェントインストールパッケージ aliyun_import_agent_offline_bundle.tar.gz を手動でダウンロードし、デプロイマシンにアップロードします。
-
デプロイマシンで、インストールパッケージが保存されているディレクトリに移動し、
tar -zxvf aliyun_import_agent_offline_bundle.tar.gzコマンドを実行してパッケージを展開します。 -
パッケージの展開後、aliyun_import_agent_offline_bundle ディレクトリに移動します。ダイアログボックスからエージェントデプロイコマンドをコピーします。デプロイマシンのローカルディスクディレクトリでコマンドを実行してください。NAS ディレクトリなどのリモートマウントディレクトリでは実行しないでください。正常に実行されると、エージェントがデプロイされたことになります。コンソールに表示されるコマンドは変更される可能性があるため、最新バージョンについては実際の出力を参照してください。
chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>パラメータ
説明
TunnelID
トンネル ID。
UID
Alibaba Cloud アカウント ID。
AK
アクセスキー ID。
SK
アクセスキーシークレット。
AgentName
エージェント名。
AgentID
エージェント ID。
Endpoint
エンドポイント。
vpcは、専用線または VPN 経由の接続を示します。AgentDeployMethod
エージェントのデプロイ方法。
defaultは、エージェントがスタンドアロンプロセスとして実行されることを示します。CpuUsage
CPU コア数。このパラメータは、値が設定されている場合のみコマンドに含まれます。
MemoryUsage
使用するメモリ量 (GB 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
LogMemoryUsage
ログ用のディスク領域 (GB 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
MaxBandwidth
使用する最大帯域幅 (MB/s 単位)。このパラメータは、値が設定されている場合のみコマンドに含まれます。
VPCType
VPC ネットワークタイプに関連する設定。
-
エージェントを正常にデプロイした後、データアドレスを作成してエージェントに関連付けます。このデータアドレスを使用する移行タスクは、エージェントのマシンで実行されます。
エージェントのスケールアウト
エージェントをスケールアウトするには、新しいエージェントを作成し、デプロイメントスクリプトを生成します。エージェントのデプロイ後、[Address Management] ページに移動して、対応するアドレスを変更し、新しいエージェントに関連付けます。このプロセスは、実行中の移行タスクに影響を与えません。
-
新しいエージェントを作成します。詳細については、「エージェントの作成」をご参照ください。
-
エージェントのデプロイメントスクリプトを生成します。詳細については、「エージェントデプロイメントスクリプトの生成」をご参照ください。
-
エージェントをデプロイします。詳細については、「エージェントのデプロイ」をご参照ください。
-
データアドレスに新しいエージェントを追加します。
-
ナビゲーションペインで、[Address Management] を選択します。
-
[Address Management] ページで、アクション列の [Modify] をクリックして、[Modify Address] ダイアログ ボックスを開きます。
-
ダイアログ ボックスで、[Agent] ドロップダウンリストをクリックし、新しいエージェントのチェックボックスを選択します。
-
[OK] をクリックします。
-
エージェントのスケールイン
エージェントをスケールインするには、まず [アドレス管理] ページで、対応するアドレスからエージェントを削除します。次に、[エージェント管理] ページでエージェントを削除します。エージェントインスタンスが移行のみに使用されており、削除しても他のサービスに影響しない場合は、リリースできます。このプロセスは、進行中の移行に影響しません。
-
アドレスからのエージェントの削除
-
Data Online Migration コンソールにログインします。ナビゲーションペインで、[アドレス管理] を選択します。
-
[アドレス管理] ページで、管理するアドレスを見つけ、[操作] 列の [変更] をクリックします。[Modify Address] ダイアログボックスが表示されます。
-
ダイアログボックスで、Agent ドロップダウンリストをクリックし、除外するエージェントを削除します。
-
[OK] をクリックします。
-
-
エージェントの削除
-
Data Online Migration コンソールでエージェントを削除します。
-
ナビゲーションペインで、Agent Management を選択します。
-
[エージェント管理] ページで、削除するエージェントを見つけ、Delete 列の Delete をクリックします。[削除の確認] ダイアログボックスが表示されます。
-
OK をクリックします。
-
-
-
エージェントインスタンスのリリース (オプション)
エージェントインスタンスが移行のみに使用されており、削除しても他のサービスに影響しない場合は、エージェントインスタンスをリリースできます。
エージェントのアップグレード
-
移行タスクを一時停止します。
-
Data Online Migration コンソールにログインします。ナビゲーションペインで、[Migration Tasks] を選択します。
-
[Migration Tasks] ページで、[Actions] 列の [Manage] をクリックして、移行タスク詳細ページを開きます。
-
移行タスク詳細ページの下部にある [History] セクションで、Suspended をクリックします。移行タスク詳細ページには、移行の進行状況と実行履歴テーブルが表示されます。このテーブルの [Actions] 列で、[Pause] をクリックします。
-
-
エージェントマシンでエージェントプログラムを停止します。
-
エージェントマシンにログインし、エージェントプログラムのルートディレクトリ (例:
/root/aliyun_import_agent_online_res) に移動します。 -
bash bin/stop.shコマンドを実行し、エージェントプログラムが停止するまで待ちます。
-
-
古いエージェントのバージョン番号を確認します。
-
エージェントマシンにログインし、
./bin/drs_import_agent -vコマンドを実行して、Version番号を記録します。[r xxx : aliyun_import_agent_online_res]# ./bin/drs_import_agent -v Version: 1.4.2.992 BuildTime: 2024-11-11_16:04:36_CST Bu xxx p_ts-1.5.6
-
-
エージェントをデプロイします。
-
エージェントのデプロイスクリプトを生成します。詳細については、「エージェントデプロイメントスクリプトの生成」をご参照ください。
-
エージェントをデプロイします。詳細については、「エージェントのデプロイ」をご参照ください。
-
-
エージェントがアップグレードされたことを検証します。
-
エージェントマシンにログインし、エージェントプログラムのルートディレクトリ (例:
/root/aliyun_import_agent_online_res) に移動します。 -
./bin/drs_import_agent -vコマンドを実行し、新しいバージョン番号を古いバージョン番号と比較します。バージョン番号が更新されていれば、アップグレードは成功です。
-
エージェントプロセスの管理
-
エージェントのデプロイが成功すると、エージェントプロセスは自動的に起動します。通常、それ以上の操作は必要ありません。
-
エージェントプロセスは、起動時に自動実行されるよう設定されていません。そのため、マシンが再起動した場合、またはプロセスが何らかの理由で停止した場合は、エージェントプロセスを手動で起動する必要があります。
-
エージェントを使用しなくなった場合は、エージェントプロセスを速やかに停止し、コンソールで対応するエージェントインスタンスを削除することを推奨します。
-
エージェントプロセスを表示するには、次の手順を実行します。
-
エージェントマシンにログインし、エージェントのルートディレクトリ (例:
/root/aliyun_import_agent_online_res) に移動します。 -
ps -ef | grep drs_import_agentコマンドを実行して、プロセス ID や実行ディレクトリなどのプロセス情報を表示します。次の出力は、drs_import_agent プロセスが正常に実行されていることを示します。[root@xxx aliyun_import_agent_online_res]# ps -ef | grep drs_import_agent root 19182 1 1 14:35 pts/0 00:00:05 /xxx/aliyun_import_agent_online_res/bin/drs_import_agent -c /xxx/aliyun_import_agent_online_res/config/agent-config.properties root 20305 18122 0 14:40 pts/0 00:00:00 grep --color=auto drs_import_agent -
エージェントはランタイム中にログファイルを生成します。デフォルトでは、エージェントはエージェントのルートディレクトリ内の
logs/ディレクトリにログファイルを保存します。ログファイルは、エージェントのデプロイ時に指定されたログスペースパラメーターに基づいて自動的にローテーションされます。
-
-
エージェントプロセスを起動するには、次の手順を実行します。
-
エージェントマシンにログインし、エージェントのルートディレクトリ (例:
/root/aliyun_import_agent_online_res) に移動します。 -
エージェントプロセスが実行されているかどうかを確認します。プロセスが実行されていない場合は、
bash bin/start.shコマンドを実行して起動します。
-
-
エージェントプロセスを停止するには、次の手順を実行します。
-
エージェントマシンにログインし、エージェントのルートディレクトリ (例:
/root/aliyun_import_agent_online_res) に移動します。 -
bash bin/stop.shコマンドを実行し、エージェントが停止するまで待ちます。 -
エージェントが停止した後、Data Online Migration コンソールにログインし、このエージェントインスタンスのステータスを確認します。ステータスが [接続異常] の場合、エージェントが完全に停止したことを意味します。
-
主要なエージェントパラメーター
エージェントをデプロイする際は、コンソールで生成されたデプロイメントコマンドを使用してランタイムパラメーターを設定します。これらのパラメーターは、エージェントのルートディレクトリにある config/ ディレクトリの agent-config.properties ファイルに保存されます。例:/root/aliyun_import_agent_online_res/config/agent-config.properties。
-
デフォルトの設定パラメーターは、ほとんどの移行シナリオに適しており、通常は変更不要です。
-
次の表には、主要なエージェントパラメーターの一部のみを示します。この表に記載されていないパラメーターは変更しないでください。
-
この表のパラメーターを変更する前に、その機能、適用範囲、および潜在的なリスクを理解していることを確認してください。
|
パラメーター |
値 |
説明 |
|
ssrfBlacklistOn |
デフォルト: 有効な値: |
重要
この機能を無効にすると、エージェントプロセスに対するコントロールが弱まり、セキュリティリスクが増大します。 サーバーサイドリクエストフォージェリ (SSRF) のブラックリスト検出を有効にするかどうかを指定します。この機能を有効にすると、エージェントはネットワーク接続を確立する前にリモートホストの IP アドレスを確認します。IP アドレスがプライベートアドレス範囲に含まれる場合、エージェントは接続を拒否します。 例:
プライベートアドレス範囲には以下が含まれます:
|
|
allowRedirectProviders |
デフォルト: 空 有効な値: 任意のデータアドレスタイプ。複数のタイプは |
説明
デフォルトでは、Data Online Migration は、どのデータアドレスタイプに対してもリダイレクトをサポートしません。ソースアドレスまたはデスティネーションアドレスへのリクエストがリダイレクトのステータスコードを返す場合、移行は ソースアドレスおよびデスティネーションアドレスにアクセスする際に、HTTP リダイレクトを有効にします。この設定は、指定したデータアドレスタイプにのみ適用されます。 例:
|
|
underscoreUserMetaDropOrSkipUids |
デフォルト: 空 有効な値: |
ソースファイルのメタデータキーに無効な文字が含まれている場合に、エージェントがメタデータ項目を破棄 (drop) またはスキップ (skip) するかを指定します。詳細については、 例:
|
設定項目を変更して保存した後、変更を適用するためにエージェントプロセスを再起動してください。