E-MapReduce (EMR) es una plataforma de big data de código abierto nativa en la nube que proporciona motores de computación y almacenamiento de big data de código abierto fáciles de integrar, como Hadoop, Hive, Spark, StarRocks, Flink, Presto y ClickHouse. Los recursos informáticos de EMR se pueden escalar de manera flexible. Puede implementar clústeres de EMR en Alibaba Cloud Elastic Compute Service (ECS), Container Service for Kubernetes (ACK) o una arquitectura sin servidor.
Beneficios
-
Compatibilidad absoluta con componentes de código abierto
EMR se basa al 100% en componentes de código abierto y evoluciona con las iteraciones de las versiones de los componentes de código abierto.
-
Máxima seguridad y fiabilidad
EMR le permite crear un entorno de computación de big data en cuestión de minutos. Admite funciones como diagnóstico y análisis inteligentes, autenticación Kerberos y cifrado de datos.
-
Rentabilidad
Los recursos informáticos se utilizan bajo demanda, los datos calientes y fríos se almacenan en diferentes capas y se admiten instancias de Alibaba Cloud preferentes.
-
Recursos elásticos
Los recursos del clúster pueden ajustarse dinámicamente según la carga de trabajo del clúster o en el periodo de tiempo especificado. El escalado automático de los clústeres puede completarse en cuestión de minutos y admite múltiples tipos de recursos elásticos.
Funciones
Fácil de utilizar
Medio ambiente
EMR permite crear un clúster de EMR en la consola de EMR o llamar a una operación de la API en cuestión de minutos. Puede implementar fácilmente el marco de big data de código abierto sin necesidad de centrarse en la implementación subyacente de hardware y software.
Escalado de recursos
EMR le permite aumentar o disminuir el número de nodos en un clúster de EMR en la consola de EMR o llamando a las operaciones de la API. Puede configurar fácilmente reglas de escalado automático gestionadas para que EMR gestione automáticamente los recursos informáticos para satisfacer sus requisitos de uso y rendimiento. Esto le ayudará a mejorar la utilización de recursos y a reducir costes.
Configuración del servicio
EMR le permite añadir de forma rápida servicios proporcionados por EMR, monitorizar el estado de los servicios, configurar los servicios y realizar operaciones y mantenimiento en los servicios y sus componentes. Puede modificar las configuraciones de los servicios que se ejecutan en un clúster EMR, como Apache Hadoop, Apache Spark, Apache Hive y Hue, sin necesidad de reiniciar el clúster o liberarlo y crear otro clúster. De este modo, el EMR puede aplicar las nuevas configuraciones y reiniciar los servicios reconfigurados según lo previsto.
Integración práctica
EMR le permite aplicar configuraciones específicas en la consola de EMR o mediante SDK o una CLI.
Desarrollo y programación
EMR Workflow es una plataforma sin servidor para el análisis y la exploración de datos interactivos. Cumple con los requisitos de procesamiento de datos de big data e IA, y proporciona un entorno de desarrollo visualizado para ingenieros de datos, analistas de datos y científicos de datos. EMR Notebook le permite escribir, depurar y ejecutar código utilizando múltiples lenguajes, como SQL, Python y Markdown. EMR Notebook es un servicio totalmente gestionado y compatible con Apache DolphinScheduler de código abierto y se puede utilizar para programar flujos de trabajo y tareas. EMR Workflow proporciona servicios de programación fáciles de usar. Puede gestionar flujos de trabajo y tareas con facilidad gracias a una interfaz de operaciones visualizada y crear almacenes de datos de forma eficaz. Esto garantiza que los trabajos de producción puedan ejecutarse de manera estable. EMR puede conectarse a DataWorks. En DataWorks puede crear nodos como Hive, Spark SQL, Presto y MapReduce basados en un motor de cálculo de EMR. También puede configurar un flujo de trabajo, programar nodos en el flujo de trabajo de forma regular, administrar metadatos y configurar reglas de supervisión para supervisar la calidad de los datos. De este modo, puede desarrollar y gestionar lagos de datos de manera centralizada.
Escalabilidad y elasticidad
Sin servidor
La arquitectura sin servidor proporciona una elasticidad y estabilidad extremas de los recursos, y admite el escalado automático de los recursos en función de la carga empresarial y la facturación de segundo nivel. Las instancias sin servidor de EMR no utilizan especificaciones fijas. Los recursos informáticos de una instancia se escalan automáticamente dentro del rango que especifique en función de las cargas de trabajo. Así se evita el despilfarro de recursos y se reducen los costes de operación y mantenimiento.
Escalado automático
EMR en ECS admite varios tipos de reglas de escalado automático. EMR puede ampliar o reducir automáticamente los recursos informáticos del clúster por tiempo o carga en cuestión de minutos.
Optimización de costes
Más métodos de facturación
EMR proporciona múltiples métodos de facturación, como la suscripción, el pago por uso y las instancias preferentes. Para un uso a corto plazo, le recomendamos que utilice el método de facturación de pago por uso. Para un uso a largo plazo, le recomendamos que utilice el método de facturación por suscripción. Alibaba Cloud ofrece precios más bajos para suscripciones de larga duración.
Arquitectura ARM YiTian
EMR en ECS admite la arquitectura YiTian ARM. Los chips YiTian 710 de desarrollo propio ayudan a implementar la colaboración entre software y hardware y mejoran la rentabilidad en más del 40 %.
Monitorización y diagnóstico
Supervisión de clústeres
EMR proporciona varias métricas de supervisión de servicios y hosts para localizar rápidamente las excepciones de servicios y hosts de forma visualizada.
Centro de eventos
EMR proporciona varios tipos de eventos, como eventos de servicio, eventos relacionados con la consola y eventos de host. Esto le ayudará a identificar de forma rápida y específica los problemas de los clústeres y a rastrear las causas de los problemas.
Análisis de diagnóstico
EMR admite el análisis de datos fríos y calientes de HDFS y archivos pequeños para optimizar el rendimiento del servicio.
Escenarios
Integración de datos
EMR ofrece múltiples métodos de integración de datos.
Puede integrar herramientas de integración de datos de código abierto, fuera de línea, en tiempo real y desarrolladas por Alibaba Cloud en EMR.
Beneficios
Datos de archivo
EMR es compatible con la recopilación en tiempo real de registros y otros textos.
Bases de datos
EMR admite el análisis de datos por lotes y en tiempo real desde bases de datos.
Computación sin conexión
Modo de procesamiento sin conexión para flexibilidad y rentabilidad
EMR admite múltiples motores de cálculo, incluidos Hive, Pig, Spark, SparkSQL y Tez. También le permite acceder y utilizar los datos almacenados en diferentes servicios de almacenamiento.
Beneficios
Múltiples motores de computación
EMR admite múltiples motores de cálculo, incluidos MR, Hive, Pig, Spark y Tez.
Soporte para múltiples fuentes de datos
EMR admite la lectura de datos de fuentes de datos como OSS, HDFS, MaxCompute y Kafka.
Soporte para múltiples destinos de datos
EMR le permite escribir resultados de cálculo en varios programas en múltiples formatos.
Análisis de datos ad hoc
EMR admite un análisis de datos flexible y rápido
Según la escalabilidad de Alibaba Cloud, puede crear rápidamente un clúster de Hadoop para analizar datos y liberar el clúster una vez que se complete la tarea.
Beneficios
Clústeres elásticos
Puede usar EMR para crear rápidamente un clúster temporal de Hadoop para analizar datos y liberar el clúster una vez completada la tarea.
Capacidad de computación elástica
Puede personalizar el número de nodos de cálculo en clústeres según las necesidades de la tarea de cálculo.
Computación de transmisión
EMR proporciona computación en tiempo real flexible, confiable y estable.
EMR admite múltiples fuentes de datos en tiempo real, todas las soluciones en comunidades de código abierto y soluciones Alibaba Cloud.
Beneficios
Soporte para múltiples fuentes de datos
Puede leer datos de los registros del sistema y del registro binario.
Múltiples motores de computación
EMR admite Spark Streaming, Storm y Flink.
Un mejor soporte para usted
Consulta de preventa en persona, servicio técnico las 24 horas, una respuesta más rápida, y más tickets gratis.
Consulta de preventa en persona
Soporte técnico las 24 h
6 tickets gratis por trimestre
