Servicios de almacenamiento de archivos de alto rendimiento
Cloud Parallel File Storage (CPFS) es un sistema de archivos paralelo totalmente gestionado que proporciona Alibaba Cloud. Puede usar CPFS en escenarios en los que se requiere computación de alto rendimiento.
CPFS proporciona un espacio de nombres unificado y admite el acceso concurrente de cientos de máquinas. CPFS también proporciona un throughput de I/O de decenas de GB/s y millones de IOPS para garantizar una latencia de submilisegundos.
Los sistemas de archivos CPFS pueden utilizarse en cargas de trabajo intensivas en I/O que requieren alto throughput y altos IOPS, y que involucran una gran cantidad de datos, como el entrenamiento de IA, la conducción autónoma, la computación genómica, el renderizado de películas, la exploración petrolera, el pronóstico meteorológico y la emulación para software de diseño electrónico asistido por computadora (EDA).
Especificaciones
Línea base de 400 MB/s/TiB (vista previa por invitación de CPFS for Lingjun)
-
![]()
IOPS: hasta 30 millones
-
![]()
Throughput de I/O: hasta 2 TB/s
-
![]()
Latencia media de lectura de archivos de 4 KiB en un
servidor de un solo socket: 0.25 ms -
![]()
Latencia media de escritura de archivos de 4 KiB en un
servidor de un solo socket: 0.6 ms
IOPS: hasta 30 millones
Línea base de 200 MB/s/TiB
-
![]()
IOPS: hasta 2.8 millones
-
![]()
Throughput de I/O: hasta 100,000 Mbit/s
-
![]()
Latencia media de lectura de archivos de 4 KiB en un
servidor de un solo socket: 0.4 ms -
![]()
Latencia media de escritura de archivos de 4 KiB en un
servidor de un solo socket: 0.6 ms
Admite la migración de datos entre OSS y CPFS
Línea base de 100 MB/s/TiB
-
![]()
IOPS: hasta 2.8 millones
-
![]()
Throughput de I/O: hasta 100,000 Mbit/s
-
![]()
Latencia media de lectura de archivos de 4 KiB en un
servidor de un solo socket: 0.6 ms -
![]()
Latencia media de escritura de archivos de 4 KiB en un
servidor de un solo socket: 0.8 ms
Admite la migración de datos entre OSS y CPFS
Beneficios
Alto rendimiento
Proporciona un throughput de I/O de 2 TB/s y 30 millones de IOPS con base en una arquitectura concurrente distribuida.
Escalable
Admite el escalado automático y un rendimiento que mejora de forma lineal
Integración con el lago de datos de OSS
Admite la comunicación de datos con OSS y reduce los costos de almacenamiento de datos.
Fácil de usar
Le permite crear un sistema de archivos de alto rendimiento en pocos minutos.
Características
Almacenamiento de archivos para computación de alto rendimiento
CPFS admite los protocolos estándar Portable Operating System Interface (POSIX), MPI-IO y Network File System (NFS). Puede ejecutar eficazmente sus programas de computación de alto rendimiento sin llamar a operaciones de API ni optimizar el rendimiento.
Compatible con los protocolos POSIX, MPI-IO y NFS
CPFS es compatible con los protocolos POSIX, MPI-IO y NFS. Puede usar directamente una instancia ECS o el complemento de interfaz Container Storage Interface (CSI) para leer datos de CPFS o escribir datos en él sin modificar sus programas de alto rendimiento.
Alto throughput y baja latencia
CPFS utiliza una arquitectura paralela de nueva generación para habilitar el throughput de I/O concurrente de los clientes y los nodos de almacenamiento. CPFS también ofrece un rendimiento de I/O que mejora linealmente al agregar clusters, así como una latencia de submilisegundos con base en almacenamiento SSD 100 % flash.
Rendimiento mejorado en el acceso concurrente
CPFS utiliza una arquitectura paralela distribuida para almacenar metadatos y datos, la cual admite millones de IOPS para una gran cantidad de archivos pequeños. Se puede acceder a CPFS de forma concurrente desde miles de servidores y es adecuado para el entrenamiento en varios servidores con múltiples GPU.
Integración profunda con los servicios de cómputo en la nube de Alibaba Cloud
CPFS se puede montar en plataformas de cómputo, como Elastic High Performance Computing (E-HPC), Container Service for Kubernetes (ACK) y WUYING Workspace. Puede construir una plataforma de cómputo y análisis de alto rendimiento en la nube en pocos minutos.
Integración profunda con E-HPC
Puede crear rápidamente un sistema de archivos CPFS y construir una plataforma completa de computación de alto rendimiento mediante la consola de E-HPC.
Compatible con ACK
CPFS se puede montar en ACK. De este modo, ACK puede usar el complemento CSI para aprovechar el alto rendimiento de I/O de CPFS y habilitar el escalado automático de la capacidad de cómputo a gran escala.
Compatible con WUYING Workspace
CPFS se puede montar directamente en WUYING Workspace mediante NFS. Esto le permite compartir datos entre las terminales de desarrollo y depuración y los clusters de computación de alto rendimiento.
Escenarios comunes
-
Descripción
Alibaba Cloud combina varios servicios de almacenamiento, como CPFS, NAS, OSS y ESSD, con servicios de clústeres de cómputo, como Elastic GPU Service, SCC y ECS Bare Metal Instance, mediante la implementación en contenedores. Esto garantiza la escalabilidad de los recursos y un alto rendimiento del throughput de I/O y de IOPS.
-
Requisitos y puntos de dolor
Los flujos de datos de los modelos de IA son complejos. Existen cuellos de botella en el rendimiento de I/O del sistema de almacenamiento. Se requieren cómputo y almacenamiento de alto rendimiento en el entrenamiento y la inferencia de IA. Se requiere una gestión del ciclo de vida de los datos eficiente y rentable para gestionar el volumen de datos en rápido crecimiento. -
Soluciones y beneficios
CPFS admite el acceso concurrente de grandes volúmenes de datos en el entrenamiento de IA. Esto ayuda a mejorar el rendimiento del entrenamiento de IA. CPFS integra varios servicios de clústeres de cómputo para proporcionar throughput de I/O y IOPS de alto rendimiento. CPFS permite la comunicación entre centros de datos y servicios en Alibaba Cloud, y gestiona los flujos de datos y el ciclo de vida para proporcionar una capacidad de cómputo rentable y de alto rendimiento. -
Resultados
El alto rendimiento de I/O de CPFS acelera la eficiencia de lectura de archivos pequeños durante el entrenamiento de IA. Esto mejora la eficiencia de iteración de su modelo de negocio y satisface sus crecientes necesidades de alta capacidad y rendimiento. CPFS utiliza OSS para implementar el almacenamiento por niveles de datos fríos y calientes. Esto es adecuado para el almacenamiento a largo plazo de grandes volúmenes de datos de manera rentable.
-
Descripción
En el entrenamiento de modelos de conducción autónoma, cada vehículo de prueba genera decenas de TB de datos al día. Los datos deben analizarse con rapidez y almacenarse de manera rentable.
-
Requisitos y puntos de dolor
Céntrese en la innovación del negocio y reduzca el gasto en TI. Procese grandes volúmenes de datos de manera eficiente. -
Soluciones y beneficios
Los datos se cargan en OSS mediante un circuito Express Connect. Los datos se importan de OSS a CPFS y se utilizan para entrenar modelos en la nube con base en la capacidad de procesamiento de las GPU y de CPFS. Luego, los datos se archivan en OSS para su almacenamiento a largo plazo. -
Resultados
El alto rendimiento y la escalabilidad de CPFS pueden satisfacer sus crecientes necesidades de alta capacidad y rendimiento. CPFS usa OSS para implementar el almacenamiento por niveles de los datos fríos y calientes. Esto es adecuado para el almacenamiento a largo plazo de grandes volúmenes de datos de manera rentable.
Servicios relacionados
-
Descripción
CPFS ofrece un throughput de I/O de decenas de Gbit/s y millones de IOPS. Puede escalar el espacio de almacenamiento en línea sin interrupciones del negocio. Los datos se cargan en la nube mediante un circuito Express Connect para garantizar la seguridad de los datos.
-
Requisitos y puntos de dolor
Acceder a los datos calientes a velocidades de decenas de Gbit/s requiere un alto rendimiento de throughput de I/O. Es necesario acceder al sistema de almacenamiento compartido sin modificar las aplicaciones comerciales de renderizado de código cerrado. Los requisitos de cómputo, almacenamiento de datos y rendimiento varían de un proyecto a otro. Los costos del negocio intensivo en cómputo son altos y deben controlarse en cada etapa. -
Soluciones y beneficios
CPFS ofrece millones de IOPS y un throughput de I/O de decenas de Gbit/s que puede utilizarse para acelerar la caché de frontend. La alta escalabilidad de CPFS le permite escalar el espacio en disco y actualizar la caché con base en los requisitos de su negocio sin afectar sus aplicaciones. CPFS es rentable. Puede configurar el espacio de almacenamiento y el rendimiento de la caché con base en los requisitos de su negocio sin necesidad de réplicas o copias. CPFS utiliza sus datos para ofrecer el mejor rendimiento y le ayuda a reducir el TCO. -
Resultados
El throughput y las IOPS de alto rendimiento de CPFS mejoran notablemente la eficiencia de ejecución de las tareas de renderizado, simplifican la operación y el mantenimiento diarios y reducen los costos generales.
-
Descripción
Los flujos de datos entre CPFS y OSS, y entre CPFS y NAS, están organizados por niveles. CPFS combina este beneficio en el almacenamiento y la capacidad de cómputo de ECS Bare Metal Instance, Elastic GPU Service y ACK para ofrecer soluciones en escenarios en los que se requieren la computación y el almacenamiento de alto rendimiento, como IA, supercómputo, simulación y bioinformática.
-
Requisitos y puntos de dolor
Existen cuellos de botella en el rendimiento del throughput de I/O debido a los grandes volúmenes de datos. Los sistemas de almacenamiento de archivos tradicionales no admiten el escalado elástico del rendimiento ni del espacio de almacenamiento. Se requieren altas cargas de trabajo de operación y mantenimiento (O&M) en la gestión de datos y el mantenimiento del rendimiento. -
Soluciones y beneficios
El almacenamiento de alto rendimiento de CPFS mejora el uso de los recursos de cómputo. CPFS puede ayudarle a actualizar las especificaciones y a escalar el espacio de almacenamiento de manera más rentable. CPFS se conecta con otros servicios de almacenamiento en la nube para almacenar por separado los datos fríos y calientes. Esto le ayuda a reducir costos. -
Resultados
CPFS proporciona throughput de I/O y IOPS de alto rendimiento para ayudarle a afrontar eficazmente las intensas cargas de trabajo de lectura y escritura de miles de nodos, mejorar la eficiencia de cómputo y reducir significativamente los costos generales del negocio.
