Todos los productos
Search

Este producto

    E-MapReduce:Inicio rápido con una instancia Shared-data

    Centro de documentos

    E-MapReduce:Inicio rápido con una instancia Shared-data

    Última actualización: Sep 17, 2026

    Una instancia Shared-data separa el almacenamiento del cómputo y guarda los datos en Alibaba Cloud OSS. Es ideal para cargas de trabajo sensibles al costo, como el análisis OLAP y el almacenamiento de datos (data warehousing). Además, admite consultas de data lake sobre Apache Hive, Iceberg, Hudi y Paimon en OSS, OSS-HDFS y HDFS sin necesidad de migrar datos. Su rendimiento es de tres a cinco veces superior al de Presto.

    Requisitos previos

    • Registre una cuenta de Alibaba Cloud y complete la verificación de identidad.

    • Si utiliza un usuario RAM, debe tener asignada la política de sistema AliyunEMRStarRocksFullAccess. Para obtener más información, consulte Grant permissions to a RAM user.

      Nota

      La política de sistema AliyunEMRStarRocksFullAccess es obligatoria para crear y gestionar instancias de StarRocks.

    Precauciones

    Usted es responsable de gestionar y configurar el entorno de ejecución de su código.

    Procedimiento

    Paso 1: Crear una instancia Shared-data de StarRocks

    1. Vaya a la página de lista de instancias de E-MapReduce Serverless StarRocks.

      1. Inicie sesión en la consola de E-MapReduce.

      2. En el panel de navegación izquierdo, seleccione EMR Serverless > StarRocks.

      3. En la barra de menú superior, seleccione la región correspondiente.

    2. En la página Instances, haga clic en Create Instance.

    3. En la página E-MapReduce Serverless StarRocks, configure la instancia.

      Parámetro

      Ejemplo

      Descripción

      Product Type

      pay-as-you-go

      Seleccione Pay-as-you-go. Para conocer los detalles de facturación, consulte pay-as-you-go.

      Region

      China (Beijing)

      Ubicación física de la instancia.

      Importante

      No es posible cambiar la región después de crear la instancia. Seleccione la región con cuidado.

      Network and zone

      • vpc_Hangzhou/vpc-bp1f4epmkvncimpgs****

      • Zone I

      • vsw_i/vsw-bp1e2f5fhaplp0g6p****

      Seleccione una red privada virtual (VPC), una zona y el vSwitch correspondiente.

      • VPC: Entorno de red aislado que usted define en Alibaba Cloud.

        Seleccione una VPC existente o haga clic en Create a VPC para ir a la consola de VPC y crear una. Para obtener más información, consulte Create and manage a VPC.

        Nota

        • Al crear una VPC, debe seleccionar un bloque CIDR IPv4 de uno de los siguientes tres rangos de red privada definidos en RFC 1918:

          • 10.0.0.0/8 (de 10.0.0.0 a 10.255.255.255)

          • 172.16.0.0/12 (de 172.16.0.0 a 172.31.255.255)

          • 192.168.0.0/16 (de 192.168.0.0 a 192.168.255.255)

        • Si su instancia Serverless StarRocks necesita acceder a Internet (por ejemplo, para importar datos o consultar tablas externas), asegúrese de que su VPC tenga acceso a Internet. Puede desplegar una puerta de enlace NAT de Internet en la VPC y habilitar la función SNAT. Para obtener más información, consulte Use the SNAT feature of an Internet NAT gateway to access the Internet.

      • Zona: Zona donde se ubica la instancia.

      • vSwitch: Módulo de red básico de una VPC que conecta distintos recursos en la nube.

        Seleccione un vSwitch existente o haga clic en . Create vSwitch para ir a la consola de VPC y crear uno. Para obtener más información, consulte Create and manage a vSwitch.

      Instance Type

      Shared-data

      Adecuada para cargas de trabajo con requisitos de rendimiento de consulta moderados, como el análisis multidimensional OLAP, el análisis de data lakes, las consultas federadas en tablas externas, el análisis en tiempo real y el almacenamiento de datos.

      Instance Edition

      Standard Edition

      Admite Basic Edition y Standard Edition. Para obtener más información, consulte Instance edition overview.

      Nota

      Basic Edition solo está disponible en las regiones China (Beijing), China (Shanghai), China (Shenzhen) y China (Hangzhou).

      Kernel Version

      3.3

      Número de versión de la comunidad de StarRocks.

      FE Specifications

      • Tipo de especificación: Standard Specifications

      • Unidades de cómputo (CU): 8 CU

      • Disco de datos: ESSD PL1

      • Alta disponibilidad: Habilitada de forma predeterminada

      • Número de nodos: 3

      • Balanceo de carga: PrivateZone integrado

      • Tipo de especificación: El tipo de especificación de los nodos FE varía según la Instance Edition de StarRocks.

        • Basic Edition: Admite Standard Specifications.

        • Standard Edition: Admite las especificaciones Standard Specifications y Memory-optimized Specifications.

      • Compute CUs: Seleccione el número de unidades de cómputo (CU).

        Elija la especificación de CU adecuada según sus necesidades. Para obtener más información sobre las tarifas de CU, consulte Billable items.

      • Data Disk: Solo se admite ESSD PL1. El tamaño del disco de datos va de 100 GB a 65000 GB, con incrementos de 100.

        Para obtener más información sobre los discos en la nube, consulte Enterprise SSDs.

      • HA: Habilitada de forma predeterminada. Standard Edition admite alta disponibilidad. Al habilitarla, el número de nodos FE de StarRocks aumenta de 1 a 3 para reducir el riesgo de fallos.

        Importante

        Se recomienda encarecidamente habilitar la alta disponibilidad en los entornos de producción.

      • Number of Nodes: Número de nodos FE. El valor puede ser un número impar del 1 al 11.

      • Load balancing: Admite los siguientes métodos.

        • Built-in Private Zone: Balancea el tráfico mediante la resolución de nombres de dominio de PrivateZone, sin costo adicional. Más indicado para escenarios ligeros o sensibles al costo.

          Recomendado para entornos que no son de producción o servicios con requisitos de balanceo de carga bajos.

        • Load balancing SLB: Ofrece un balanceo de carga de alto rendimiento mediante el servicio SLB. Diseñado para entornos de producción con altos requisitos de rendimiento y confiabilidad.

          La función para quitar el nodo FE líder del tráfico de consulta solo está disponible después de activar SLB.

          Debe activar el servicio SLB, lo cual genera cargos adicionales. Para obtener más información, consulte CLB billing overview.

      CN Specifications

      • Tipo de especificación: Standard Specifications

      • Unidades de cómputo (CU): 8 CU

      • Disco de datos: ESSD PL1, 200 GB, 1 disco

      • Número de nodos: 3

      • Tipo de especificación: El tipo de especificación de los nodos CN varía según la Instance Edition de StarRocks.

        • Basic Edition: Admite Standard Specifications.

        • Standard Edition: Admite las siguientes especificaciones.

          • Standard Specifications: Opción predeterminada y recomendada. 1 CU = 1 núcleo de CPU + 4 GiB de memoria. Esta especificación utiliza ESSD para el almacenamiento de StarRocks.

          • Memory-optimized Specifications: 1 RCU = 1 núcleo de CPU + 8 GiB de memoria. Recomendada para escenarios que consumen mucha memoria, como la ejecución de numerosas consultas complejas o el manejo de solicitudes con alta concurrencia. Utiliza ESSD para el almacenamiento de StarRocks.

          • Network-enhanced Specifications: 1 NCU = 1 núcleo de CPU + 4 GiB de memoria, con más del doble de ancho de banda de red que las especificaciones estándar. Ideal para escenarios que implican escanear grandes volúmenes de datos desde tablas externas. Utiliza ESSD para el almacenamiento de StarRocks.

          • High-performance Storage: Debe seleccionar especificaciones detalladas para este tipo. Utiliza un SSD local para el almacenamiento de StarRocks y es ideal para escenarios con requisitos estrictos de rendimiento de E/S.

          • High-specification Storage: Debe seleccionar especificaciones detalladas para este tipo. Utiliza un HDD local para el almacenamiento de StarRocks. Resulta útil para almacenar volúmenes de datos muy grandes a menor costo, aunque ofrece un rendimiento de E/S inferior.

      • Compute CUs: Seleccione el número de unidades de cómputo (CU).

        Elija la especificación de CU adecuada según sus necesidades. Para obtener más información sobre las tarifas de CU, consulte Billable items.

      • Data Disk: Admite ESSD PL0, ESSD PL1 Cloud Disk (Recommended), ESSD PL2, ESSD PL3, Elastic temporary disk (standard edition) y Elastic temporary disk (Advanced Edition). Para obtener más información sobre las tarifas de discos en la nube y discos efímeros elásticos, consulte Billable items.

        Para obtener más información, consulte Enterprise SSDs y Elastic ephemeral disks.

        Nota

        • Introduzca la capacidad de almacenamiento necesaria y el sistema recomendará automáticamente una configuración. Si la capacidad seleccionada supera el umbral recomendado, se mostrará un aviso para ayudarle a ajustarla y lograr un rendimiento óptimo.

        • Solo las especificaciones Standard Specifications, Memory-optimized Specifications y Compute enhanced admiten discos efímeros elásticos. Estos discos tienen limitaciones de regiones y zonas.

      • Number of Nodes: Número de nodos CN. El valor puede ir de 1 a 100.

      Instance Name

      Introduzca un nombre personalizado para la instancia.

      El nombre de la instancia debe tener entre 1 y 64 caracteres. Puede contener caracteres chinos, letras, dígitos, guiones (-) y guiones bajos (_).

      Administrator

      admin

      Cuenta de administrador integrada para gestionar StarRocks. No es posible modificar el nombre de usuario predeterminado.

      Password y Confirm Password

      Introduzca una contraseña personalizada.

      Contraseña de la cuenta admin integrada de la instancia de StarRocks. Guárdela para usarla más adelante. Si la olvida, podrá restablecerla. Para obtener más información, consulte How do I reset the password of an instance?

      Para obtener más información sobre los parámetros de la instancia, consulte Create an instance.

    4. Seleccione el acuerdo de servicio, haga clic en Create Instance y complete el pago según las indicaciones.

      Después del pago, regrese a la página de gestión de instancias. La instancia se crea correctamente cuando su Status cambia a Running.

    Paso 2: Conectarse a una instancia de StarRocks

    1. En la página Instances, busque la instancia deseada y haga clic en Connect en la columna Actions.

      También puede connect to a StarRocks instance por otros medios.

    2. Conéctese a la instancia de StarRocks.

      1. En la pestaña New Connection, configure los siguientes parámetros.

        Una vez completada la configuración, haga clic en Test Network Connectivity para validar la conexión y luego en OK para crearla.

        Parámetro

        Ejemplo

        Descripción

        Region

        China (Hangzhou)

        Seleccione la región donde reside su instancia de StarRocks.

        Instance

        StarRocks_Serverless

        Seleccione la instancia de StarRocks a la que desea conectarse.

        Name

        Connection_Serverless

        Introduzca un nombre personalizado para la conexión.

        El nombre debe tener entre 1 y 64 caracteres. Puede contener caracteres chinos, letras, dígitos, guiones (-) y guiones bajos (_).

        Username

        Introduzca un valor según sus necesidades reales.

        El nombre de usuario predeterminado es admin. También puede crear otros usuarios según sea necesario. Para obtener más información, consulte Manage Users and Data Authorization.

        Password

        Introduzca un valor según sus requisitos.

        Contraseña correspondiente al nombre de usuario especificado.

      2. Haga clic en Test Connectivity.

      3. Cuando la prueba de conexión finalice correctamente, haga clic en OK.

        El sistema lo redirige a la página SQL Editor, donde puede ejecutar consultas SQL. Para obtener más información, consulte Connect to a StarRocks instance by using EMR StarRocks Manager.

    Paso 3: Ejecutar consultas SQL

    1. En la página Queries del SQL Editor, haga clic en el icono image.png.

    2. En el cuadro de diálogo New, haga clic en Confirm.

    3. En el nuevo archivo, introduzca los siguientes comandos. Seleccione todos los comandos y haga clic en Run.

      /**Create a database**/
CREATE DATABASE IF NOT EXISTS load_test;

/**Use the database**/
USE load_test;

/**Create a table**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**Insert data**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**Query data**/
select * from insert_wiki_edit;

    Se muestran los resultados de la consulta.

    Nota

    Ejecute el comando SHOW CREATE TABLE load_test.insert_wiki_edit; y compruebe la propiedad datacache.enable para verificar que la instancia Shared-data esté activa. Después de crear la base de datos y la tabla, encontrará sus directorios en su bucket de OSS.

    Ejecute el comando SHOW CREATE TABLE load_test.insert_wiki_edit;. El resultado incluye la propiedad datacache.enable, lo cual confirma que la separación de almacenamiento y cómputo está activa. A continuación se muestra la sección clave PROPERTIES.

    DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");

    Paso 4: Consultar la información de la tabla

    1. En el nuevo archivo, ejecute el siguiente comando para consultar las bases de datos:

      SHOW PROC '/dbs';

      El resultado enumera cinco bases de datos: information_schema (DbId=1, TableNum=46), sys (DbId=100, TableNum=6), _starrocks_audit_db_ (DbId=10004, TableNum=1), _statistics_ (DbId=10023, TableNum=8) y load_test (DbId=10120, TableNum=1). La cuota de cada una es de 8,388,608.000 TB y la columna LastConsistencyCheckTime está vacía.

    2. Ejecute el siguiente comando para consultar la información detallada de la tabla:

      SHOW PROC '/dbs/10120';

      El resultado incluye columnas como TableId, TableName, IndexNum, PartitionColumnName, PartitionNum, State, Type, ReplicaCount, PartitionType y StoragePath.

      En el modo de separación de almacenamiento y cómputo, un valor CLOUD_NATIVE en Type identifica una tabla Shared-data. La columna StoragePath indica dónde se almacenan los datos de la tabla.

    Paso 5: Demostrar la función de caché

    1. En el panel de navegación izquierdo, seleccione Diagnostics and Analytics > SQL Tasks.

    2. Busque la consulta y haga clic en su identificador.

    3. Haga clic en la pestaña Execution Details.

      En el árbol de ejecución del perfil, ubique los nodos correspondientes para encontrar las siguientes métricas: CompressedBytesReadLocalDisk (lectura desde la caché local) y CompressedBytesReadRemote (lectura desde OSS remoto).

      En este ejemplo, la tabla insert_wiki_edit_cache tiene habilitada la caché local. Las métricas confirman que la consulta utilizó por completo dicha caché.

      En el panel de métricas del nodo CONNECTOR_SCAN, el valor de CompressedBytesReadLocalDisk es 729.52 MB y el de CompressedBytesReadRemote es 0.00.

      Las métricas de la tabla insert_wiki_edit_nocache indican que la consulta no utilizó la caché local y que todos los datos se leyeron desde OSS remoto.

      En el nodo CONNECTOR_SCAN de la tabla insert_wiki_edit_nocache, CompressedBytesReadLocalDisk es 0.00 y CompressedBytesReadRemote es 804.63 MB, lo cual confirma que todos los datos se leyeron desde OSS remoto.

    Paso 6: Ejecutar una prueba de rendimiento

    Este ejemplo compara el rendimiento de consultas entre la separación de almacenamiento y cómputo (con caché local) y la integración de almacenamiento y cómputo. Para una comparación más detallada con el conjunto de pruebas SSB, consulte SSB performance test instructions.

    • Prepare el entorno de datos.

      • Configuración de recursos del clúster: 1 FE (8 CU) + 3 CN (cómputo: 16 CU | almacenamiento: 1,000 GB).

      • Parámetros del clúster: Use la configuración predeterminada. Habilite la caché local en el clúster con separación de almacenamiento y cómputo.

      • Volumen de datos: 500 GB (sf=500)

    • Resultados de la prueba.

      • Tiempo total con integración de almacenamiento y cómputo: 21,586 s.

      • Tiempo total con separación de almacenamiento y cómputo (caché local habilitada en la segunda ejecución): 27,364 s.

      • Tiempo total con separación de almacenamiento y cómputo (sin caché local habilitada): 117,529 s.

    Tras ejecutar la prueba SSB con el script sh ssb_query.sh ssb, los resultados muestran que, con la caché local habilitada, la separación de almacenamiento y cómputo ofrece un rendimiento casi idéntico al de la integración de almacenamiento y cómputo. Además, supera ampliamente a la configuración sin caché local.

    SQL

    Integración de almacenamiento y cómputo

    Separación de almacenamiento y cómputo (caché habilitada)

    Separación de almacenamiento y cómputo (caché deshabilitada)

    Q1.1

    0m0,373s

    0m0,380s

    0m2,080s

    Q1.2

    0m0,303s

    0m0,292s

    0m2,141s

    Q1.3

    0m0,101s

    0m0,097s

    0m0,144s

    Q2.1

    0m2,461s

    0m2,821s

    0m14,401s

    Q2.2

    0m2,272s

    0m2,735s

    0m13,048s

    Q2.3

    0m2,168s

    0m2,588s

    0m13,957s

    Q3.1

    0m4,536s

    0m4,864s

    0m14,810s

    Q3.2

    0m2,371s

    0m2,682s

    0m11,292s

    Q3.3

    0m2,082s

    0m2,648s

    0m13,651s

    Q3.4

    0m0,195s

    0m0,212s

    0m0,572s

    Q4.1

    0m5,122s

    0m5,847s

    0m29,576s

    Q4.2

    0m1,141s

    0m1,369s

    0m1,465s

    Q4.3

    0m0,661s

    0m0,829s

    0m0,792s

    Total

    21,586s

    27,364s

    117,529s

    (Opcional) Paso 7: Liberar la instancia

    Importante

    Esta operación elimina la instancia y todos sus recursos. La acción no se puede deshacer. Proceda con precaución.

    Para evitar cargos adicionales, libere la instancia cuando ya no la necesite.

    1. En la página Instances, haga clic en Release en la columna Actions de la instancia.

    2. En el cuadro de diálogo que aparece, haga clic en OK.

    Documentación relacionada

    • Para obtener más información sobre SQL Editor, consulte SQL Editor.

    • Para consultar los detalles de las consultas SQL, analizar planes de ejecución y solucionar problemas de SQL, consulte Diagnostics and Analysis.

    • Para consultar y analizar todas las operaciones de la base de datos, consulte Audit Log.

    Contacto

    Si tiene dudas, únase a nuestro grupo de soporte de DingTalk buscando el identificador 24010016636.