EMR on ECS ejecuta Apache Hadoop, Spark, Flink, Hive y otros componentes de código abierto para big data en instancias de Alibaba Cloud ECS. Además, incluye componentes desarrollados internamente como OSS-HDFS y JindoCache, así como integraciones con DataWorks y DLF. Admite los modelos de facturación suscripción y pay-as-you-go, lo que le permite crear clústeres elásticos de big data en cuestión de minutos.
EMR se basa en servicios de código abierto de la comunidad, como Apache Hadoop, Spark, Flink y StarRocks, y proporciona una plataforma de gestión de clústeres alrededor de ellos. EMR on ECS es un servicio semigestionado: los recursos del clúster pertenecen a su cuenta de Alibaba Cloud y usted es responsable de las operaciones y mantenimiento (O&M) rutinarias de los servicios de código abierto. Esto incluye la planificación de capacidad, el ajuste de parámetros y la resolución de problemas. Planifique contar con experiencia interna en O&M de big data para mantener sus cargas de trabajo en funcionamiento. Para conocer el alcance completo del soporte técnico, consulte Scope and methods of technical support.
Arquitectura
EMR integra servicios de Alibaba Cloud y componentes de código abierto junto con componentes desarrollados internamente, y ofrece capacidades de gestión de clústeres. Para obtener más información sobre los tipos de componentes y los casos de uso compatibles, consulte Components y Use scenarios.
Servicios de Alibaba Cloud
Los clústeres se ejecutan en instancias de ECS.
Los datos se pueden almacenar en Object Storage Service (OSS).
EMR se integra con DataWorks, el cual utiliza EMR como motor de cómputo de trabajos y almacenamiento de datos.
EMR Workflow es un servicio totalmente gestionado para programar flujos de trabajo y tareas.
Componentes de código abierto
EMR agrupa componentes de código abierto para big data en seis categorías: integración de datos, almacenamiento de datos, gestión de recursos, motores de cómputo, desarrollo de datos y servicios de datos.
Componentes desarrollados internamente
EMR proporciona tres componentes desarrollados internamente que amplían las capacidades de código abierto en la infraestructura de Alibaba Cloud:
OSS-HDFS: solución de object storage compatible con las API de Hadoop Distributed File System (HDFS). Las tareas de cómputo de big data acceden directamente a los datos de OSS mediante el protocolo estándar de HDFS.
JindoCache: solución de caché distribuida que almacena bloques de datos en memoria para mejorar el rendimiento de lectura y reducir la carga sobre el sistema de almacenamiento subyacente.
DLF-Auth: componente de Data Lake Formation (DLF) que habilita la gestión de permisos de datos de DLF.
Gestión de clústeres
Cree clústeres, escale horizontalmente y configure reglas de escalado automático.
Gestione la configuración de clústeres y servicios; ejecute operaciones y mantenimiento (O&M) en nodos y servicios.
Monitoree el estado del clúster con métricas multidimensionales, análisis de informes del clúster y alertas.
Ventajas
|
Capability |
Description |
|
Componentes de código abierto estables |
Cada versión de EMR incluye las versiones más recientes de los componentes de código abierto y elimina los problemas de compatibilidad entre versiones. El entorno de despliegue de Alibaba Cloud ofrece un rendimiento muy superior al de las compilaciones estándar de la comunidad. Para obtener más información sobre los servicios que admiten los clústeres de EMR según su versión, consulte Release version. |
|
Facilidad de uso |
Cree un entorno de cómputo de big data en minutos sin necesidad de desplegar ni iniciar servicios manualmente. Ajuste el tamaño del clúster con unos pocos clics. El monitoreo y las alertas integrados, junto con el diagnóstico inteligente, reducen el tiempo de resolución de problemas. |
|
Rentabilidad |
Pague solo por los recursos de cómputo que utilice. Los datos calientes y fríos se distribuyen en distintas capas de almacenamiento para reducir el costo unitario. Diversas herramientas de O&M, el diagnóstico inteligente y las plataformas de big data disminuyen aún más la carga operativa. |
|
Escalabilidad |
Escale los recursos del clúster hacia arriba o hacia abajo según la carga o mediante una programación. El escalado automático se completa en minutos y es compatible con varios tipos de recursos elásticos. |
|
Integración profunda |
Despliegue clústeres en ECS o en Container Service for Kubernetes (ACK). Se admiten diversos tipos de instancias de ECS. Para obtener más información, consulte ECS instances. Integre EMR con DataWorks para programar trabajos. Utilice DLF para gestionar metadatos de forma centralizada entre varios motores en escenarios de data lake. |
|
O&M asistida por IA |
El asistente de IA integrado en EMR lee el estado de ejecución y los datos de monitoreo de su clúster para responder preguntas, diagnosticar el rendimiento, ejecutar comprobaciones de estado y enviar alertas. Interactúe con él desde la consola o agréguelo a un grupo de DingTalk o Lark. Para obtener más información, consulte Introduction to the EMR AI Assistant Feature. |
Para ver una comparación detallada con los clústeres de Hadoop autogestionados, consulte Comparison between EMR clusters and self-managed Hadoop clusters.
Asistente de IA de EMR
El asistente de IA de EMR es el servicio inteligente de O&M integrado en EMR. Respaldado por un modelo de lenguaje grande, se conecta a su clúster y lee el estado de ejecución y los datos de monitoreo antes de emitir una conclusión. Por ello, sus diagnósticos y recomendaciones reflejan el estado real de su clúster en lugar de ofrecer consejos genéricos.
Capacidades
Diagnóstico de rendimiento: cuando las consultas exceden el tiempo de espera o aumentan los picos de latencia, el asistente rastrea la causa y recomienda una solución. Pregúntele qué consultas fueron lentas recientemente y le devolverá las principales sentencias SQL con un análisis de cuellos de botella para cada una.
Comprobaciones de estado: revisa la configuración y el estado de ejecución del clúster según la programación que establezca, y luego informa los hallazgos.
Alertas proactivas: después de habilitar los informes diarios y las alertas, el asistente monitorea el clúster de forma continua y envía los problemas a DingTalk o Lark, sin necesidad de tener personal de guardia.
Preguntas y respuestas: formule preguntas en lenguaje natural. Las conversaciones de varios turnos le permiten profundizar en un problema dentro de una misma sesión.
Cómo utilizarlo
El asistente está disponible de tres maneras: mediante la chat window de la consola, a través de un grupo de DingTalk o Lark, y mediante la API y el SDK.
Para comenzar, consulte Get started with EMR AI Assistant.
Para conocer todas las funciones y los escenarios compatibles, consulte Introduction to the EMR AI Assistant Feature.
Para obtener información sobre las ediciones y la facturación, consulte EMR AI Assistant Billing Details.
Facturación
Los cargos de un clúster de EMR on ECS se componen de las tarifas del servicio EMR y de las tarifas de las instancias de ECS. Los cargos de otros servicios de Alibaba Cloud que utilice el clúster (como OSS, DLF y EMR Workflow) siguen las reglas de facturación propias de cada servicio: Billing overview, Billing.
EMR on ECS admite dos métodos de facturación:
Suscripción: pague por adelantado con base en una duración fija. Reserve capacidad anticipadamente con tarifas con descuento. Consulte Subscription.
Pay-as-you-go: pague después de usar los recursos. Compre y libere recursos según lo requiera su carga de trabajo, sin compromisos previos. Consulte Pay-as-you-go.
El tráfico de Internet generado por los nodos del clúster siempre se factura con tarifas pay-as-you-go, independientemente del método de facturación del clúster.
Para conocer todos los detalles de precios, consulte Billing.
Pasos siguientes
Utilice EMR con DataWorks: desarrolle y gobierne data lakes desde una sola interfaz. Consulte Getting started with DataWorks on EMR.
Explore los casos de uso: consulte Use scenarios.
Revise las versiones de los componentes: consulte Services supported by EMR clusters of different versions.
Monitoree y opere clústeres: consulte Cluster O&M y Cluster monitoring.
Preguntas frecuentes
¿Alibaba Cloud ofrece algún servicio de Presto además de E-MapReduce?
Además de E-MapReduce (EMR on ECS), Alibaba Cloud no ofrece actualmente ningún otro producto que proporcione servicios de Presto. Para utilizar el motor Presto en consultas y análisis de big data, use un clúster de EMR on ECS y seleccione una versión que incluya el componente Presto.