Al migrar datos desde servicios en la nube de terceros como AWS S3 y Tencent Cloud COS, o desde centros de datos locales hacia Alibaba Cloud OSS, los métodos tradicionales suelen implicar un desarrollo complejo y tiempos de transferencia prolongados. Data Online Migration ofrece una plataforma visual y unificada que elimina la necesidad de desarrollo. Permite migrar de forma eficiente y segura grandes volúmenes de datos desde diversas fuentes hacia OSS mediante configuraciones sencillas.
Funcionamiento
Antes de utilizar este servicio, consulte primero what Object Storage Service (OSS) is.
Data Online Migration es un servicio de transmisión de datos. Su función principal consiste en crear y ejecutar una tarea de migración. Esta tarea define el origen de los datos, el destino y las reglas de migración. Data Online Migration lee los datos del origen, los transmite a través de la red y los escribe en el bucket de OSS especificado.
Según la ubicación de sus datos de origen y su entorno de red, Data Online Migration proporciona dos modos de migración: modo estándar y modo agente.
|
Modo |
Casos de uso |
Funcionamiento |
|
Modo estándar |
Los datos de origen se encuentran en un servicio de almacenamiento en la nube de terceros accesible a través de Internet, como AWS S3, Tencent Cloud COS o Huawei Cloud OBS. |
Data Online Migration accede directamente a la dirección de datos y extrae la información a través de Internet para luego escribirla en el OSS de destino. |
|
Modo agente |
Los datos de origen residen en un entorno sin acceso directo a Internet, como un IDC local, un sistema de archivos local o un escenario que requiere una línea dedicada o VPN para la migración a la nube. |
Data Online Migration extrae los datos mediante un programa agente desplegado en el entorno del usuario y luego los transmite al OSS de destino. |
Antes de configurar una tarea de migración, familiarícese con los siguientes conceptos clave:
Dirección de datos: Especifica la información de acceso para un origen de datos, que puede ser el origen o el destino de una migración. Una dirección de datos incluye información clave como el tipo de origen de datos (por ejemplo, AWS S3), bucket, endpoint y par de AccessKey. Data Online Migration utiliza la dirección de datos para acceder al origen correspondiente.
Tarea de migración: Es la unidad operativa central de Data Online Migration. Al ejecutar una tarea de migración, se transfieren los datos desde el origen hacia el almacenamiento de destino. Al crear una tarea, debe especificar las direcciones de datos de origen y destino. También puede configurar parámetros como limitación de ancho de banda, políticas de sobrescritura para archivos con el mismo nombre, auditoría y filtros.
Agente: Funciona como un puente de datos que conecta su origen de datos con Data Online Migration. Es una aplicación que usted despliega en su propio entorno. Una dirección de datos puede asociarse con varios proxies dentro de un túnel. Si una dirección de datos está vinculada a un agente, Data Online Migration accede al origen de datos a través de dicho agente.
Túnel: En el modo agente, un túnel es un concepto lógico que representa el enlace de datos entre un agente y Data Online Migration. Un túnel puede contener varios proxies, y cada agente pertenece a un túnel específico.
Características principales
Orígenes de datos compatibles
Object Storage Service: Alibaba Cloud OSS, Amazon AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Google Cloud GCS, Microsoft Azure BLOB, entre otros.
Sistema de archivos local: Discos locales, NAS/CPFS montados en servidores, etc.
Archivo de manifiesto HTTP: Un archivo de lista que contiene varias URL. Data Online Migration descarga estos archivos por lotes para migrarlos.
Métodos de migración
El modo estándar y el modo agente admiten diferentes escenarios de red, como Internet y líneas dedicadas. No necesita especificar manualmente el modo estándar o el modo agente. Si su dirección de datos está asociada con un agente, se utiliza el modo agente; de lo contrario, se emplea el modo estándar.
Modo estándar
En el modo estándar, Data Online Migration extrae los datos directamente del almacenamiento de origen a través de Internet y los escribe en el Alibaba Cloud OSS de destino. Durante este procedimiento no es necesario desplegar ningún componente en su entorno.
La siguiente figura muestra cómo utilizar el modo estándar para migrar datos desde un origen de datos de terceros hacia Alibaba Cloud OSS:
Modo agente
Debe desplegar un agente en el mismo entorno de red donde se encuentran sus datos de origen. El agente funciona como un túnel. Data Online Migration lee los datos de origen a través del agente y los escribe en Alibaba Cloud OSS.
La siguiente figura ilustra cómo utilizar el modo agente para migrar datos desde un origen de datos de terceros hacia Alibaba Cloud OSS:
Opciones de configuración de migración
|
Configuración |
Descripción |
|
Limitación de ancho de banda |
Limita el ancho de banda máximo (Mbit/s) y la cantidad de archivos migrados por segundo (QPS) de una tarea para evitar que la migración afecte su negocio. |
|
Gestión de archivos con el mismo nombre |
Configure esta opción como Do not overwrite, Overwrite all o Overwrite based on last modified time.
|
|
Filtro de archivos |
Filtra los archivos que se van a migrar según condiciones como file name y last modification time. |
|
Programación automática |
Admite ejecución programada o periódica para implementar migraciones incrementales o copias de seguridad regulares. |
Informes de migración
Después de ejecutar cada tarea, se genera un informe detallado. El informe incluye una descripción general de la migración, como la cantidad y el tamaño total de los archivos migrados, así como el resultado de la migración para cada archivo. Esta información facilita la auditoría y la verificación.
Uso
Gestione Data Online Migration a través de la consola. Inicie sesión en la consola de Data Online Migration. La consola proporciona una GUI intuitiva y práctica para todas las operaciones.
Para la gestión automatizada y por lotes de tareas, como la creación de varias direcciones de datos o tareas de migración, utilice los SDK proporcionados por Alibaba Cloud. Esto le permite crear direcciones de datos y tareas de migración, además de integrar Data Online Migration en su propia plataforma de gestión.
Acuerdo de servicio
Para obtener más información, consulte el Acuerdo de servicio de Data Transport.
El Acuerdo de servicio de Data Transport incluye términos relacionados con Data Online Migration.
Servicios relacionados
Además de Data Online Migration, Alibaba Cloud también ofrece un servicio de migración sin conexión. Este servicio le permite utilizar dispositivos de migración personalizados (Data Transport) para transferir terabytes o incluso petabytes de datos locales hacia la nube. Está diseñado para resolver los desafíos relacionados con la eficiencia y la seguridad en la transmisión de datos a gran escala. Para obtener más información, consulte Offline migration (Data Transport).