OSS-HDFS (JindoFS) es una función de almacenamiento de data lake nativo en la nube que ofrece gestión unificada de metadatos y compatibilidad total con la API de Hadoop Distributed File System (HDFS) para cargas de trabajo de big data e IA.
Notas de uso
Después de habilitar el servicio OSS-HDFS para un bucket, los datos del servicio se almacenan en el directorio
.dlsdata/del bucket. No ejecute operaciones de escritura, como cambiar el nombre o eliminar, en este directorio ni en sus objetos mediante métodos ajenos a OSS-HDFS. Esto puede provocar interrupciones en el servicio o pérdida de datos.Si su cuenta tiene un pago pendiente o si se elimina el rol de RAM dependiente
AliyunOSSDlsDefaultRole, el servicio en segundo plano de HDFS podría entrar en modo seguro. En este modo, se pausan todas las tareas en segundo plano, como el registro de auditoría, la eliminación asíncrona y la clasificación automática de almacenamiento. El servicio se reanuda automáticamente una vez resuelto el problema.
Después de habilitar OSS-HDFS, escribir en el directorio .dlsdata/ a través de otras funciones de OSS puede causar pérdida de datos, corrupción o inaccesibilidad de la información, tal como se describe en Prerequisites.
Facturación
-
Cargos por uso de datos
Cuando utiliza el servicio OSS-HDFS, los bloques de datos se almacenan de la misma manera que en OSS. Por lo tanto, los métodos de medición y facturación de OSS se aplican a los bloques de datos del servicio OSS-HDFS. Para obtener más información, consulte Billing overview.
Beneficios
OSS-HDFS funciona con las aplicaciones existentes de Hadoop y Spark sin necesidad de modificaciones. Tras una configuración básica, podrá gestionar los datos como en un HDFS nativo, con las ventajas adicionales de OSS: capacidad prácticamente ilimitada, escalado elástico y mayor seguridad, confiabilidad y disponibilidad.
OSS-HDFS maneja exabytes de datos y miles de millones de archivos con un throughput a nivel de terabyte. Más allá del namespace plano del object storage estándar, proporciona un namespace jerárquico que organiza los objetos en directorios, con conversión automática de namespace mediante una gestión unificada de metadatos. En lugar de la redundancia activa-standby de NameNode del HDFS tradicional, OSS-HDFS utiliza redundancia activa-activa multinodo para lograr una resiliencia superior. Los usuarios de Hadoop acceden a los datos con la misma eficiencia que en un HDFS local, sin replicación ni conversión, lo que mejora el rendimiento de los trabajos y reduce los costos de mantenimiento.
Funciones
|
Función |
Descripción |
Referencias |
|
RootPolicy |
Configure un prefijo personalizado para OSS-HDFS de modo que los trabajos se ejecuten sin cambiar su prefijo de acceso original |
|
|
ProxyUser |
Autorice a un usuario para realizar operaciones del sistema de archivos en nombre de otros usuarios, como acceder a datos confidenciales. |
|
|
UserGroupsMapping |
Configure asignaciones entre usuarios y grupos de usuarios. |
Casos de uso
OSS-HDFS admite casos de uso de big data e IA:
Hive y Spark
OSS-HDFS es ideal para almacenes de datos sin conexión construidos con Hive y Spark. Admite de forma nativa semántica de archivos y directorios, permisos, operaciones atómicas de directorio, cambios de nombre a nivel de milisegundos, setTimes, atributos extendidos (XAttrs), ACL y aceleración de caché de lectura local. En cargas de trabajo ETL, OSS-HDFS supera significativamente el rendimiento de los buckets estándar de OSS.
OLAP
OSS-HDFS admite append, truncate, flush, sync y pwrite con soporte POSIX completo a través de JindoFuse. Esto le permite reemplazar discos locales en escenarios OLAP (como ClickHouse) para desacoplar el almacenamiento y el cómputo. La caché integrada acelera el rendimiento.
Desacoplamiento de HBase
OSS-HDFS admite de forma nativa la semántica de archivos y directorios, así como las operaciones flush, lo que le permite reemplazar a HDFS en una arquitectura de almacenamiento y cómputo desacoplados para HBase. A diferencia de OSS estándar, esta solución almacena el Write-Ahead Log (WAL) directamente en OSS-HDFS, lo que simplifica la arquitectura. Use OSS-HDFS as the underlying storage for HBase.
Cómputo en tiempo real
OSS-HDFS admite flush y truncate, y reemplaza sin problemas a HDFS para sinks y puntos de control en el cómputo en tiempo real de Flink.
Migración de datos
OSS-HDFS permite una migración fluida de datos HDFS desde entornos locales a la nube, lo que reduce los costos de almacenamiento mediante escalado elástico y precios pay-as-you-go. JindoDistCp migra datos HDFS (incluidos atributos de archivos y metadatos) a OSS-HDFS y proporciona una comparación rápida de datos mediante sumas de comprobación de HDFS.
Motores compatibles
|
Ecosistema |
Motor/Plataforma |
Referencias |
|
ecosistema de código abierto |
Flink |
Use open source Flink with JindoSDK to process data in OSS-HDFS |
|
Flume |
||
|
Hadoop |
||
|
HBase |
||
|
Hive |
||
|
Impala |
||
|
Presto |
||
|
Spark |
||
|
Ecosistema de Alibaba Cloud |
EMR |
|
|
Flink |
||
|
Flume |
Use Flume to synchronize data from an EMR Kafka cluster to OSS-HDFS |
|
|
HBase |
Use OSS-HDFS as the underlying storage for HBase on an EMR cluster |
|
|
Hive |
||
|
Impala |
||
|
Presto |
||
|
Spark |
||
|
Sqoop |
Use Sqoop on an EMR cluster to read and write data in OSS-HDFS |