E-MapReduce:Habilitar la aceleración nativa de consultas

Requisitos previos

Debe contar con un clúster de E-MapReduce que tenga sus archivos ORC o Parquet almacenados en JindoFS u OSS. Para obtener más información, consulte Create a cluster.

Limitaciones

• No es posible acelerar los archivos de tipo binario.

• Las tablas particionadas no son compatibles si los valores de sus columnas de clave de partición están almacenados en los archivos de datos.

• Los clústeres de E-MapReduce de la versión EMR-5.X y posteriores no son compatibles.

• El uso de spark.read.schema(userDefinedSchema) no es compatible.

• Los tipos de fecha solo son compatibles dentro del rango de 1400-01-01 a 9999-12-31.

• No se admiten las tablas que contienen nombres de columna que difieren únicamente en mayúsculas y minúsculas (por ejemplo, NAME y name). Durante la aceleración nativa de consultas, los nombres de columna se tratan sin distinguir entre mayúsculas y minúsculas.

• A continuación se muestran los motores y formatos de almacenamiento compatibles con Spark, Hive y Presto.

  Motor	ORC	Parquet
  Spark2	Compatible	Compatible
  Spark3	Compatible	Compatible
  Presto	Compatible	Compatible
  Hive2	No compatible	Compatible
  Hive3	No compatible	Compatible

• A continuación se muestran los motores y sistemas de archivos de almacenamiento compatibles con Spark, Hive y Presto.

  Motor	OSS	JindoFS	HDFS
  Spark2	Compatible	Compatible	Compatible
  Presto	Compatible	Compatible	Compatible
  Hive2	Compatible	Compatible	No compatible
  Hive3	Compatible	Compatible	No compatible

Mejorar el rendimiento de Spark

1. Habilite la aceleración de ORC o Parquet en JindoTable.

   Nota

   • La aceleración nativa de consultas utiliza memoria fuera del heap. Se recomienda agregar la configuración --conf spark.executor.memoryOverhead=4g a su trabajo de Spark para asignar recursos adicionales a la aceleración.

   • Para leer archivos ORC o Parquet en Spark, debe utilizar la API de DataFrame o Spark SQL.

   • Configuración global

     1. Vaya a la página de detalles del clúster.

        1. Inicie sesión en la consola de E-MapReduce.

        2. En la barra de navegación superior, seleccione una región y un resource group según sea necesario.

        3. Haga clic en la pestaña Clusters.

        4. En la página Clusters, busque el clúster y haga clic en Details en la columna Actions.

     2. Modifique la configuración.

        1. En el panel de navegación izquierdo, elija Services > Spark.

        2. En la página del servicio Spark, haga clic en la pestaña Configure.

        3. En el cuadro de búsqueda, localice el parámetro spark.sql.extensions y establezca su valor en io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension.

     3. Guarde la configuración.

        1. Haga clic en Save.

        2. En el cuadro de diálogo Confirm, introduzca un Execution Reason y haga clic en OK.

     4. Reinicie ThriftServer.

        1. En la esquina superior derecha, elija Actions > Restart ThriftServer.

        2. En el cuadro de diálogo Cluster Activities, introduzca un Execution Reason y haga clic en OK.

        3. En el cuadro de diálogo Confirm, haga clic en OK.

   • Configuración a nivel de trabajo

     Cuando ejecute spark-shell o spark-sql, agregue el siguiente parámetro de inicio de Spark:

     --conf spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension,com.aliyun.emr.sql.JindoTableExtension

     Para obtener más información sobre los trabajos, consulte Configure a Spark Shell job o Configure a Spark SQL job.

2. Compruebe que la aceleración esté habilitada.

   1. Inicie sesión en la interfaz de usuario de Spark History Server.

   2. En la página SQL de la interfaz de usuario de Spark, consulte el trabajo de ejecución.

      Si aparece JindoDataSourceV2Scan, la aceleración está habilitada. De lo contrario, compruebe las configuraciones en Step 1. En la página Details for Query 10, el grafo acíclico dirigido (DAG) muestra el plan de ejecución. Por ejemplo, JindoDataSourceV2Scan puede analizar 15.6 GB de datos (aproximadamente 14 mil millones de filas), que luego se filtran hasta quedar en 2.7 mil millones de filas. Una operación final de HashAggregate genera 4,722 filas y la consulta total toma 2.3 minutos.

Mejorar el rendimiento de Presto

presto --server emr-header-1:9090 --catalog hive-acc --schema default

Mejorar el rendimiento de Hive