A migração de dados de serviços de nuvem de terceiros, como AWS S3 e Tencent Cloud COS, ou de data centers locais para o Alibaba Cloud OSS, geralmente exige desenvolvimento complexo e longos tempos de transferência quando realizada por métodos tradicionais. O Data Online Migration oferece uma plataforma visual e unificada que elimina a necessidade de desenvolvimento. Esse serviço permite migrar grandes volumes de dados de várias origens para o OSS de forma eficiente e segura, com configurações simples.
Como funciona
Antes de utilizar este serviço, compreenda o que é o Object Storage Service (OSS).
O Data Online Migration é um Serviço de Transmissão de Dados. Sua função principal consiste em crie e executar uma tarefa de migração. Essa tarefa define a source dos dados, o destino e as regras de migração. O Data Online Migration lê os dados da source, transmite-os pela rede e grava-os no bucket do OSS especificado.
Dependendo da localização dos dados de source e do ambiente de rede, o Data Online Migration fornece dois modos de migração: modo padrão e modo agente.
|
Modo |
Casos de uso |
Como funciona |
|
Modo padrão |
Os dados de source estão localizados em um serviço de armazenamento em nuvem de terceiros acessível pela Internet, como AWS S3, Tencent Cloud COS ou Huawei Cloud OBS. |
O Data Online Migration acessa e extrai dados diretamente do endereço de dados pela Internet e, em seguida, grava os dados no OSS de destino. |
|
Modo agente |
Os dados de source residem em um ambiente sem acesso direto pela Internet, como um IDC local, um sistema de arquivos local ou um cenário que exige linha dedicada ou VPN para migração para a nuvem. |
O Data Online Migration extrai dados por meio de um programa agente implantado no lado do usuário e, depois, transmite os dados para o OSS de destino. |
Antes de configure uma tarefa de migração, entenda os seguintes conceitos principais:
Endereço de dados: Especifique as informações de acesso para uma source de dados, que pode ser a source ou o destino de uma migração. Um endereço de dados inclui informações essenciais, como o tipo de source de dados (por exemplo, AWS S3), bucket, endpoint e par de AccessKey. O Data Online Migration usa o endereço de dados para acessar a source de dados correspondente.
Tarefa de migração: Unidade operacional central do Data Online Migration. A execução dessa tarefa transfere dados da source para o armazenamento de destino. Ao crie uma tarefa, especifique os endereços de dados de source e de destino. Também é possível configure parâmetros como limitação de taxa, políticas de substituição para arquivos com o mesmo nome, auditoria e filtros.
Agente: Ponte de dados que conecta sua source de dados ao Data Online Migration. Trata-se de um aplicativo implantado em seu ambiente. Um endereço de dados pode associar-se a vários proxies dentro de um túnel. Se um endereço de dados estiver associado a um agente, o Data Online Migration acessará a source de dados por meio desse agente.
Túnel: No modo agente, representa um conceito lógico do link de dados entre um agente e o Data Online Migration. Um túnel pode conter vários proxies, e cada agente pertence a um túnel.
Recursos importantes
Origens de dados suportadas
Object Storage Service: Alibaba Cloud OSS, Amazon AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Google Cloud GCS, Microsoft Azure BLOB, entre outros.
Sistema de arquivos local: Discos locais, NAS/CPFS montados em servidores, entre outros.
Arquivo de manifesto HTTP: Arquivo de lista contendo várias URLs. O Data Online Migration baixa esses arquivos em lotes para migrá-los.
Métodos de migração
Os modos padrão e agente suportam diferentes cenários de rede, como Internet e linhas dedicadas. Não é necessário especifique o modo padrão ou o modo agente. Se o endereço de dados estiver associado a um agente, o sistema usará o modo agente. Caso contrário, utilizará o modo padrão.
Modo padrão
No modo padrão, o Data Online Migration extrai dados diretamente do armazenamento de source pela Internet e os grava no Alibaba Cloud OSS de destino. Não há necessidade de implantar componentes em seu ambiente durante esse procedimento.
A figura a seguir mostra como usar o modo padrão para migrar dados de uma source de dados de terceiros para o Alibaba Cloud OSS:
Modo agente
Implante um agente no mesmo ambiente de rede dos seus dados de source. O agente atua como um túnel. O Data Online Migration lê os dados de source por meio do agente e os grava no Alibaba Cloud OSS.
A figura a seguir ilustra como usar o modo agente para migrar dados de uma source de dados de terceiros para o Alibaba Cloud OSS:
Opções de configuração de migração
|
Configuração |
Descrição |
|
Limitação de taxa |
Limita a largura de banda máxima (Mbit/s) e o número de arquivos migrados por segundo (QPS) de uma tarefa para evitar que a migração afete seus negócios. |
|
Tratamento de arquivos com o mesmo nome |
Configure esta opção como Não substituir, Substituir tudo ou Substituir com base na última modificação.
|
|
Filtro de arquivos |
Filtra os arquivos a serem migrados com base em condições como nome do arquivo e última modificação. |
|
Agendamento automático |
Permite execução agendada ou periódica para implementar migração incremental ou backups regulares. |
Relatórios de migração
Após a execução de cada tarefa, o sistema gera um relatório detalhado. O documento inclui uma visão geral da migração, como a quantidade e o tamanho total dos arquivos migrados, além do resultado da migração para cada arquivo. Essas informações facilitam a auditoria e a verificação.
Uso
Gerencie o Data Online Migration pelo console. Faça login no console do Data Online Migration. O console oferece uma GUI intuitiva e prática para todas as operações.
Para gerenciamento automatizado de tarefas em lote, como a criação de múltiplos endereços de dados ou tarefas de migração, utilize os SDKs fornecidos pela Alibaba Cloud. Isso permite crie endereços de dados e tarefas de migração, além de integrar o Data Online Migration à sua própria plataforma de gerenciamento.
Acordo de serviço
Para mais informações, consulte o Acordo de Serviço de Transporte de Dados.
O Acordo de Serviço de Transporte de Dados inclui termos relacionados ao Data Online Migration.
Serviços relacionados
Além do Data Online Migration, a Alibaba Cloud também oferece um serviço de migração offline. Esse serviço permite usar dispositivos de migração personalizados (Data Transport) para transferir terabytes ou até petabytes de dados locais para a nuvem. O recurso foi projetado para resolver desafios relacionados à eficiência e segurança na transmissão de dados em grande escala. Para mais informações, consulte Migração offline (Data Transport).