Saiba como criar, implantar, dimensionar e atualizar agentes.
Criar um agente
Os agentes suportam dois tipos de rede: rede pública e VPC. É possível estabelecer uma conexão VPC por meio de uma linha dedicada ou VPN. Escolha o tipo de rede conforme suas necessidades. Cada agente deve estar associado a um túnel existente, portanto, crie um túnel antes de prosseguir. Para obter instruções sobre como criar um túnel, consulte Tunnel Management.
Em cenários como migração de dados para a cloud via linha dedicada ou VPN, migração de armazenamento autogerenciado ou uso de sistema de arquivos local como source, é obrigatório criar tanto um túnel quanto um agente.
O agente deve ser implantado em uma máquina Linux de 64 bits (x86_64) com kernel 2,6 ou superior. Certifique-se de ter uma máquina que atenda a esses requisitos.
É permitido criar no máximo 100 agentes em cada região. Planeje seus recursos adequadamente.
Recomendamos o uso de tipos de instância ECS de 7ª geração ou posterior, como ecs.c7.xlarge.
Faça logon no console do Data Online Migration.
No painel de navegação à esquerda, escolha Agent Management.
Na página Agent Management, clique em New Agent.
-
Na caixa de diálogo New Agent, configure os seguintes parâmetros e clique em OK.
Parâmetro
Obrigatório
Descrição
Name
Sim
Nome do agente.
-
O nome deve ter entre 3 e 63 caracteres.
-
São permitidas letras minúsculas, dígitos, hifens (-) e sublinhados (_). O nome diferencia maiúsculas de minúsculas.
-
A codificação deve ser UTF-8 e o nome não pode começar com hífen (-) ou sublinhado (_).
-
Network Type
Sim
Tipo de conexão de rede do agente. As opções disponíveis são:
-
VPC (Recommended): O agente se conecta ao service Data Online Migration por meio de uma VPC. Este método exige que a máquina que hospeda o agente acesse o endpoint interno do Data Online Migration na região correspondente. Por exemplo, ao utilizar o Data Online Migration na região China (Beijing), a máquina do agente precisa acessar o endpoint interno {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Recomendamos implantar o agente em uma instância ECS localizada na mesma região do console do Data Online Migration.
-
Public network: O agente se conecta ao service Data Online Migration pela rede pública. Neste caso, a máquina que hospeda o agente deve acessar o endpoint público do Data Online Migration na região correspondente. Por exemplo, ao utilizar o Data Online Migration na região China (Beijing), a máquina do agente precisa acessar o endpoint público {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com.
Nota-
{TunnelId} é um espaço reservado para o ID do túnel.
-
Utilize o comando
pingpara testar a conectividade de rede entre o agente e o service Data Online Migration.
Deployment method
Sim
Método de implantação do agente. Atualmente, apenas a implantação como processo independente é suportada.
Tunnel
Sim
Túnel a ser associado ao agente. Um agente pode ser vinculado a apenas um túnel. A largura de banda do agente é limitada pela largura de banda total do túnel.
Por exemplo, considere um túnel chamado tunnel-1 configurado com largura de banda máxima de 10 Gbit/s. O tunnel-1 está associado a três agentes: agent-1, agent-2 e agent-3. A largura de banda combinada desses três agentes não pode exceder 10 Gbit/s. Se o agent-1 receber uma alocação de 3 Gbit/s, restarão apenas 7 Gbit/s disponíveis para o agent-2 e o agent-3. Planeje e aloque sua largura de banda com cuidado.
-
Gerar um script de implantação de agente
Pré-requisitos
A máquina deve possuir pelo menos 4 núcleos de CPU, 8 GB de memória e 4 GB de espaço disponível para logs.
-
Crie um novo usuário RAM para implantar o agente. Conceda a permissão AliyunOSSImportReadOnlyAccess ao usuário RAM e defina o Resource Scope como Account.
NotaÉ possível usar o par de chaves de acesso de um único usuário RAM para implantar vários agentes sem conflitos.
Procedimento
Na página Agent Management, clique no nome de um agente para abrir sua página de detalhes.
-
Clique em Deploy and Run. Na caixa de diálogo Deploy and Run, configure os seguintes parâmetros na seção AccessKey Pairs.
Parâmetro
Obrigatório
Descrição
AccessKey ID
Sim
Autentica o agente quando ele estabelece um túnel com o service Data Online Migration. A permissão mgw:VerifyAgentTunnel é necessária.
NotaSiga o princípio do menor privilégio concedendo apenas uma política personalizada com a permissão mgw:VerifyAgentTunnel. Se necessário, você também pode conceder uma das seguintes políticas de sistema:
-
AliyunOSSImportReadOnlyAccess (permissões somente leitura para gerenciar o Data Online Migration)
-
AliyunOSSImportFullAccess (permissões totais de gerenciamento)
AccessKey Secret
Sim
-
-
Clique no ícone
ao lado de Advanced Settings para configurar os parâmetros a seguir.Parâmetro
Obrigatório
Descrição
CPU Cores
Não
Número de núcleos de CPU disponíveis para o agente.
-
Se este parâmetro não for especificado, todos os núcleos de CPU da máquina serão utilizados por padrão.
-
Ao especificar este parâmetro, avalie cuidadosamente o valor com base nas orientações exibidas no console.
Maximum Memory Size (GB)
Não
Memória máxima disponível para o agente.
-
Caso este parâmetro não seja especificado, toda a memória da máquina será usada por padrão.
-
Se você definir este parâmetro, avalie o valor atentamente seguindo as instruções do console.
Space Used by Logs (GB)
Não
Espaço máximo em disco destinado aos logs do agente. Ao atingir esse limite, os logs mais antigos são descartados.
-
Na ausência deste parâmetro, 4 GB de espaço são utilizados por padrão.
-
Ao definir este parâmetro, calcule o valor considerando a quantidade de arquivos a serem migrados e siga as orientações do console. A migração de um milhão de arquivos gera aproximadamente 4 GB de logs em disco.
Maximum Bandwidth
Não
Largura de banda máxima para o agente. Este valor não pode ultrapassar o limite de largura de banda do túnel associado. Exemplos:
-
Se a largura de banda máxima do túnel for de 5 Gbit/s, a largura de banda máxima disponível para um único agente não poderá exceder 5 Gbit/s.
-
Caso nenhuma largura de banda máxima esteja definida para o túnel, o limite disponível para o agente não poderá ultrapassar 100 Gbit/s.
NotaCada agente pode ser associado a apenas um túnel, e sua largura de banda é limitada pela largura de banda total desse túnel.
Por exemplo, considere um túnel chamado tunnel-1 configurado com largura de banda máxima de 10 Gbit/s. O tunnel-1 está associado a três agentes: agent-1, agent-2 e agent-3. A largura de banda combinada desses três agentes não pode exceder 10 Gbit/s. Se o agent-1 receber uma alocação de 3 Gbit/s, restarão apenas 7 Gbit/s disponíveis para o agent-2 e o agent-3. Planeje e aloque sua largura de banda com cuidado.
-
Clique em Deploy with Command.
Implantar um agente
Cada comando de implantação é gerado automaticamente com informações exclusivas, como o ID do agente, e serve para implantar apenas um agente. Para implantar múltiplos agentes, gere um comando separado para cada um e execute-o em máquinas diferentes. Caso contrário, a implantação poderá falhar ou o status do agente poderá ficar anormal.
Ao migrar dados LocalFS (de LocalFS para OSS, de OSS para LocalFS ou entre sistemas LocalFS), execute o agente como usuário root. Do contrário, a migração de arquivos pode falhar devido à falta de permissões para chamadas de sistema como
chownechmod.
Implantação online
Se você definiu o Network Type como Internet para o agente, realize a implantação online.
Na caixa de diálogo Use commands to deploy and run the agent, revise o comando e faça logon na máquina de implantação. Utilize ferramentas da Alibaba Cloud, como Workbench ou VNC, ou clientes de terceiros.
Na máquina de implantação, verifique se o curl está instalado. Em seguida, execute o comando
curl -I https://www.aliyun.compara confirmar a conectividade com a Internet.-
Copie o comando de implantação do agente na caixa de diálogo. Execute o comando em um diretório de disco local na máquina de implantação, evitando diretórios montados remotamente, como pastas NAS. Uma execução bem-sucedida indica que o agente foi implantado. O comando fornecido no console está sujeito a alterações; portanto, consulte a saída real para obter a versão mais atual.
wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>Parâmetro
Descrição
TunnelID
ID do túnel.
UID
ID da conta Alibaba Cloud.
AK
AccessKey ID.
SK
AccessKey Secret.
AgentName
Nome do agente.
AgentID
ID do agente.
Endpoint
O endpoint.
publicindica uma conexão via Internet.AgentDeployMethod
Método de implantação do agente.
defaultindica que o agente executa como um processo independente.CpuUsage
Número de núcleos de CPU. Este parâmetro aparece no comando somente se um valor for definido.
MemoryUsage
Quantidade de memória a ser usada, em GB. Este parâmetro aparece no comando somente se um valor for definido.
LogMemoryUsage
Espaço em disco para logs, em GB. Este parâmetro aparece no comando somente se um valor for definido.
MaxBandwidth
Largura de banda máxima a ser usada, em MB/s. Este parâmetro aparece no comando somente se um valor for definido.
Após implantar o agente com sucesso, crie um endereço de dados e associe-o ao agente. As tarefas de migração que utilizarem esse endereço de dados serão executadas na máquina do agente.
Implantação offline
Se você definiu o Network Type como Leased Line/VPN (VPC) para o agente, realize a implantação offline.
Na caixa de diálogo Use commands to deploy and run the agent, revise o comando e faça logon na máquina de implantação. Utilize ferramentas da Alibaba Cloud, como Workbench ou VNC, ou clientes de terceiros.
Baixe manualmente o pacote de instalação do agente aliyun_import_agent_offline_bundle.tar.gz e faça o upload para a máquina de implantação.
Na máquina de implantação, acesse o diretório onde o pacote de instalação foi salvo e execute o comando
tar -zxvf aliyun_import_agent_offline_bundle.tar.gzpara extrair o pacote.-
Após a extração do pacote, acesse o diretório aliyun_import_agent_offline_bundle. Copie o comando de implantação do agente na caixa de diálogo. Execute o comando em um diretório de disco local na máquina de implantação, evitando diretórios montados remotamente, como pastas NAS. Uma execução bem-sucedida indica que o agente foi implantado. O comando fornecido no console está sujeito a alterações; portanto, consulte a saída real para obter a versão mais atual.
chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>Parâmetro
Descrição
TunnelID
ID do túnel.
UID
ID da conta Alibaba Cloud.
AK
AccessKey ID.
SK
AccessKey Secret.
AgentName
Nome do agente.
AgentID
ID do agente.
Endpoint
O endpoint.
vpcindica uma conexão via linha dedicada ou VPN.AgentDeployMethod
Método de implantação do agente.
defaultindica que o agente executa como um processo independente.CpuUsage
Número de núcleos de CPU. Este parâmetro aparece no comando somente se um valor for definido.
MemoryUsage
Quantidade de memória a ser usada, em GB. Este parâmetro aparece no comando somente se um valor for definido.
LogMemoryUsage
Espaço em disco para logs, em GB. Este parâmetro aparece no comando somente se um valor for definido.
MaxBandwidth
Largura de banda máxima a ser usada, em MB/s. Este parâmetro aparece no comando somente se um valor for definido.
VPCType
Configurações relacionadas ao tipo de rede VPC.
Após implantar o agente com sucesso, crie um endereço de dados e associe-o ao agente. As tarefas de migração que utilizarem esse endereço de dados serão executadas na máquina do agente.
Expansão de agentes
Para expandir a capacidade de agentes, crie um novo agente e gere um script de implantação. Após implantar o agente, acesse a página Address Management para modificar o endereço correspondente e associá-lo ao novo agente. Esse processo não afeta as tarefas de migração em andamento.
Crie um novo agente. Para mais informações, consulte Create an agent.
Gere um script de implantação para o agente. Para mais informações, consulte Generate a deployment script for an agent.
Implante o agente. Para mais informações, consulte Deploy an agent.
-
Adicione o novo agente ao endereço de dados:
No painel de navegação, escolha Address Management.
Na página Address Management, clique em Modify na coluna Actions para abrir a caixa de diálogo Modify Address.
Na caixa de diálogo, clique na lista suspensa Agent e marque a caixa de seleção do novo agente.
Clique em OK.
Redução de agentes
Para reduzir a quantidade de agentes, primeiro remova o agente do endereço correspondente na página Address Management. Em seguida, exclua-o na página Agent Management. Se a instância do agente for usada exclusivamente para migração e sua remoção não impactar outros services, você poderá liberá-la. Esse processo não afeta as tarefas de migração em andamento.
-
Remova o agente do endereço.
Faça logon no console do Data Online Migration. No painel de navegação, escolha Address Management.
Na página Address Management, localize o endereço desejado e clique em Modify na coluna Actions. A caixa de diálogo Modify Address será exibida.
Na janela pop-up, clique na lista suspensa Agent e remova o agente que deseja excluir.
Clique em OK.
-
Exclua o agente.
-
Exclua o agente no console do Data Online Migration.
No painel de navegação, escolha Agent Management.
Na página Agent Management, localize o agente que deseja remover e clique em Delete na coluna Delete. A caixa de diálogo Confirm Delete será exibida.
Clique em OK.
-
-
Libere a instância do agente (Opcional)
Você pode liberar a instância do agente caso ela seja utilizada apenas para migração e sua remoção não afete outros services.
Atualizar um agente
-
Pause a tarefa de migração:
Faça logon no console do Data Online Migration. No painel de navegação, escolha Migration Tasks.
Na página Migration Tasks, clique em Manage na coluna Actions para abrir a página de detalhes da tarefa de migração.
Na seção History, na parte inferior da página de detalhes da tarefa de migração, clique em Suspended. A página exibirá o progresso da migração e uma tabela de histórico de execução. Na coluna Actions dessa tabela, clique em Pause.
-
Interrompa o programa do agente na máquina correspondente:
Faça logon na máquina do agente e acesse o diretório raiz do programa, por exemplo,
/root/aliyun_import_agent_online_res.Execute o comando
bash bin/stop.she aguarde a parada do programa do agente.
-
Verifique o número da versão antiga do agente:
-
Faça logon na máquina do agente, execute o comando
./bin/drs_import_agent -ve anote o número daVersion.[r xxx : aliyun_import_agent_online_res]# ./bin/drs_import_agent -v Version: 1.4.2.992 BuildTime: 2024-11-11_16:04:36_CST Bu xxx p_ts-1.5.6
-
-
Implante o agente:
Gere um script de implantação para o agente. Para mais informações, consulte Generate a deployment script for an agent.
Implante o agente. Para mais informações, consulte Deploy an agent.
-
Verifique se o agente foi atualizado:
Faça logon na máquina do agente e acesse o diretório raiz do programa, por exemplo,
/root/aliyun_import_agent_online_res.Execute o comando
./bin/drs_import_agent -ve compare o novo número de versão com o anterior. Se o número da versão tiver sido atualizado, a atualização foi bem-sucedida.
Gerenciar o processo do agente
Após uma implantação bem-sucedida, o processo do agente inicia automaticamente. Geralmente, nenhuma ação adicional é necessária.
O processo do agente não é configurado para iniciar com o sistema operacional. Portanto, inicie manualmente o processo do agente se a máquina for reiniciada ou se o processo parar por qualquer outro motivo.
Caso um agente não esteja mais em uso, recomendamos interromper prontamente o processo do agente e excluir a instância correspondente no console.
-
Para visualizar o processo do agente, siga estas etapas:
Faça logon na máquina do agente e acesse o diretório raiz do agente, por exemplo,
/root/aliyun_import_agent_online_res.-
Execute o comando
ps -ef | grep drs_import_agentpara visualizar informações do processo, como o ID do processo e o diretório de execução. A saída abaixo indica que o processo drs_import_agent está em execução com sucesso.[root@xxx aliyun_import_agent_online_res]# ps -ef | grep drs_import_agent root 19182 1 1 14:35 pts/0 00:00:05 /xxx/aliyun_import_agent_online_res/bin/drs_import_agent -c /xxx/aliyun_import_agent_online_res/config/agent-config.properties root 20305 18122 0 14:40 pts/0 00:00:00 grep --color=auto drs_import_agent O agente gera arquivos de log durante a execução. Por padrão, esses arquivos são salvos no diretório
logs/dentro do diretório raiz do agente. Os arquivos de log passam por rotação automática com base no parâmetro de espaço de log especificado durante a implantação do agente.
-
Para iniciar o processo do agente, siga estas etapas:
Faça logon na máquina do agente e acesse o diretório raiz do agente, por exemplo,
/root/aliyun_import_agent_online_res.Verifique se o processo do agente está em execução. Caso não esteja, execute o comando
bash bin/start.shpara iniciá-lo.
-
Para interromper o processo do agente, siga estas etapas:
Faça logon na máquina do agente e acesse o diretório raiz do agente, por exemplo,
/root/aliyun_import_agent_online_res.Execute o comando
bash bin/stop.she aguarde a parada do agente.Após a parada do agente, faça logon no console do Data Online Migration e verifique o status desta instância de agente. O status Connection Abnormal indica que o agente parou completamente.
Principais parâmetros do agente
Ao implantar um agente, você configura seus parâmetros de execução por meio do comando de implantação gerado no console. Esses parâmetros são salvos no arquivo agent-config.properties localizado no diretório config/ sob o diretório raiz do agente, por exemplo, /root/aliyun_import_agent_online_res/config/agent-config.properties.
Os parâmetros de configuração padrão atendem à maioria dos cenários de migração e geralmente não exigem modificação.
A tabela a seguir lista apenas alguns parâmetros essenciais do agente. Não modifique parâmetros que não estejam listados nesta tabela.
Antes de alterar os parâmetros desta tabela, certifique-se de compreender suas funções, escopos e riscos potenciais.
|
Parâmetro |
Valor |
Descrição |
|
ssrfBlacklistOn |
Padrão: Valores válidos: |
Importante
Desativar este recurso reduz o controle sobre o processo do agente e introduz riscos de segurança. Define se a detecção de lista de bloqueios de SSRF (Server-Side Request Forgery) deve ser ativada. Quando habilitado, o agente verifica o endereço IP do host remoto antes de estabelecer qualquer conexão de rede. A conexão será rejeitada se o endereço IP estiver na faixa de endereços privados. Exemplo:
A faixa de endereços privados inclui:
|
|
allowRedirectProviders |
Padrão: vazio Valores válidos: Qualquer tipo de endereço de dados. Separe vários tipos com uma |
Nota
Por padrão, o Data Online Migration não suporta redirecionamento para nenhum tipo de endereço de dados. Se uma solicitação para um endereço de source ou destino retornar um código de status de redirecionamento, a migração reportará o código de erro Habilita o redirecionamento HTTP ao acessar endereços de source e destino. Esta configuração aplica-se apenas aos tipos de endereço de dados especificados. Exemplo:
|
|
underscoreUserMetaDropOrSkipUids |
Padrão: vazio Valores válidos: Um valor de múltiplos campos no formato |
Determina se o agente deve descartar itens de metadados de um arquivo de source caso suas chaves de metadados contenham caracteres inválidos. Para detalhes, consulte o código de erro Exemplo:
|
Após modificar e salvar os itens de configuração, reinicie o processo do agente para aplicar as alterações.