El envío de datos a data lake de Tablestore permite hacer copias de seguridad completas o enviar datos en tiempo real a un data lake en Object Storage Service (OSS). Esta función admite el almacenamiento de datos históricos de bajo costo, así como análisis de datos sin conexión y casi en tiempo real a gran escala.
Escenarios
El envío de datos a data lake es adecuado para los escenarios que se describen a continuación:
-
Almacenamiento de datos por niveles
Puede utilizar el envío de datos a data lake con la función de Tablestore time to live para almacenar rápidamente y a bajo costo los datos completos en OSS. Tablestore admite consultas y análisis de baja latencia sobre datos calientes.
-
Copia de seguridad completa de datos
El envío de datos a data lake entrega automáticamente los datos completos de las tablas de Tablestore a un bucket de OSS para la copia de seguridad y el archivado de datos.
-
Análisis de datos en tiempo real a gran escala
El envío de datos a data lake entrega datos incrementales de Tablestore a OSS casi en tiempo real y escribe los datos cada dos minutos. Los datos enviados se pueden particionar por hora del sistema y almacenar en el formato de almacenamiento columnar Parquet. Puede aprovechar el alto ancho de banda de lectura de OSS y el formato de almacenamiento columnar optimizado para escaneo, a fin de analizar los datos en tiempo real de forma eficiente.
Funciones
Las funciones principales del envío de datos a data lake se describen a continuación:
El envío de datos a data lake extrae automáticamente datos completos e incrementales de Tablestore. Los datos se escriben en OSS para su almacenamiento persistente una vez que alcanzan un tamaño específico o después de un intervalo de dos minutos.
Puede configurar uno de tres modos de envío de datos: incremental, completo o completo e incremental. Todos los datos enviados se almacenan en el formato de almacenamiento columnar Parquet.
Puede monitorear el punto de control de sincronización para el envío en tiempo real. El envío de datos a data lake proporciona la API DescribeDeliveryTask. Esta API devuelve el punto de control de los datos en tiempo real que la tarea ha entregado correctamente.
Ventajas principales
-
Fácil de usar
Con una configuración sencilla en la consola, puede configurar el envío de datos automático y totalmente administrado desde Tablestore hasta OSS. El monitoreo, las operaciones y el mantenimiento (O&M) no son obligatorios. La tarea de envío se ejecuta de forma estable dentro del acuerdo de nivel de servicio (SLA) y escala con el rendimiento.
-
Integración de envíos completos e incrementales
El envío de datos a data lake proporciona capacidades integradas para el envío de datos completos e incrementales. Las tareas de envío incremental ofrecen una experiencia casi en tiempo real, ya que extraen continuamente datos nuevos, los almacenan en caché durante dos minutos y luego los escriben en OSS.
-
Integración perfecta con el ecosistema de cómputo
Los datos enviados son compatibles con estándares de código abierto. Se almacenan en el formato de almacenamiento columnar Parquet y siguen las convenciones de nomenclatura de Hive. Puede usar E-MapReduce para analizar directamente los datos en OSS mediante tablas externas.
-
Experiencia de almacenamiento y acceso a datos por niveles
Una vez que los datos se envían a OSS, Tablestore proporciona acceso a los datos por niveles entre tablas de datos, tablas de índice y los datos en OSS. Esta estructura admite las necesidades de análisis de diferentes escenarios.
Notas
El envío de datos a data lake está disponible en las regiones que se enumeran a continuación: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou) y China (Shenzhen).
Flujo de trabajo
Cree una tarea de envío para entregar datos de Tablestore a OSS. Para obtener más información, consulte Ship data to OSS using the console y Ship data to OSS using the SDK.
Use EMR para analizar los datos de Tablestore en OSS. Para obtener más información, consulte Analyze data using EMR.