Preguntas frecuentes - E-MapReduce - Centro de documentación de Alibaba Cloud

Esta sección de preguntas frecuentes aborda problemas comunes y tareas de configuración de Alluxio en E-MapReduce (EMR).

Why does "No FileSystem for scheme: alluxio" appear?
Why is Alluxio not working as expected?
How do I accelerate OSS data access with Alluxio caching?
How do I modify Alluxio parameters?

¿Por qué aparece el error "No FileSystem for scheme: alluxio"?

Este error se presenta cuando agrega Alluxio a un clúster de EMR existente sin reiniciar después el servicio. Debe reiniciar Alluxio para que cargue las configuraciones de Hadoop.

Después de agregar Alluxio, reinicie el servicio. Consulte Restart a service.

Este error no ocurre si selecciona Alluxio entre los servicios opcionales durante la creación del clúster.

¿Por qué Alluxio no funciona como se espera?

Identifique primero el nodo con el problema y revise luego el registro del servicio Alluxio en ese nodo. En la mayoría de los casos, el registro se encuentra en /mnt/disk1/log/alluxio/.

¿Cómo acelerar el acceso a datos de OSS con la caché de Alluxio?

De forma predeterminada, HDFS actúa como sistema de archivos subyacente (UFS) para Alluxio en EMR. Para almacenar datos de OSS en la caché, monte un directorio de OSS como punto de montaje:

alluxio fs mount --option fs.oss.accessKeyId=<OSS_ACCESS_KEY_ID> \
  --option fs.oss.accessKeySecret=<OSS_ACCESS_KEY_SECRET> \
  --option fs.oss.endpoint=<OSS_ENDPOINT> \
  /oss_dir <path>/

Marcador	Descripción
`<OSS_ACCESS_KEY_ID>`	AccessKey ID de su cuenta de Alibaba Cloud. Obténgalo en la consola de administración de AccessKey.
`<OSS_ACCESS_KEY_SECRET>`	AccessKey secret de su cuenta de Alibaba Cloud.
`<OSS_ENDPOINT>`	Endpoint de OSS con el formato `oss-<region>-internal.aliyuncs.com`. Búsquelo en la consola de OSS, en los detalles del bucket. Use el endpoint interno (por ejemplo, `oss-cn-shanghai-internal.aliyuncs.com`). El clúster de EMR debe estar en la misma región que el bucket de OSS.
`<path>`	Ruta de OSS con el formato `oss://<bucket-name>/<directory>`.

¿Cómo modificar los parámetros de Alluxio?

Existen dos métodos: configuración global mediante la consola de EMR o configuración dinámica durante la ejecución.

Configuración global

Vaya a la página del servicio Alluxio en la consola de EMR y modifique los parámetros. Los cambios requieren reiniciar el servicio para surtir efecto. Para más información, consulte Manage parameters for services.

Configuración dinámica

Pase los parámetros durante la ejecución con el formato -Dproperty=value. A continuación se presentan ejemplos que establecen el tipo de escritura en CACHE_THROUGH.

Shell de Alluxio

Agregue las opciones -Dproperty=value directamente al comando:

alluxio fs copyFromLocal hello.txt /dir/tmp -Dalluxio.user.file.writetype.default=CACHE_THROUGH

hello.txt es un archivo local y /dir/tmp es el directorio de destino en Alluxio. Para consultar otros comandos disponibles, consulte Common commands.

Trabajos de Spark

Añada la opción -Dproperty=value a spark.driver.extraJavaOptions y spark.executor.extraJavaOptions:

spark-submit \
  --conf 'spark.driver.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH' \
  --conf 'spark.executor.extraJavaOptions=-Dalluxio.user.file.writetype.default=CACHE_THROUGH'

Trabajos de MapReduce

Incluya la opción -Dproperty=value en hadoop jar o yarn jar:

hadoop jar <HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount \
  -Dalluxio.user.file.writetype.default=CACHE_THROUGH \
  -libjars /<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar \
  <path1> <path2>

<path1> representa la ruta de entrada y <path2> la ruta de salida. x.x.x corresponde a la versión del paquete JAR.