E-MapReduce:Uso del modo Block

Contexto

El modo Block de JindoFS cuenta con las siguientes características:

• Capacidad de almacenamiento ilimitada: el almacenamiento escala de forma independiente al tamaño del clúster. Es posible escalar horizontalmente el clúster de EMR sin afectar los datos almacenados.

• Aceleración de lecturas locales: JindoFS almacena en la caché los datos de los bloques en los discos locales del clúster para mejorar el rendimiento de lectura. Esta función resulta especialmente útil para cargas de trabajo de tipo Write Once Read Many (WORM).

• Metadatos de alto rendimiento: el servicio Namespace gestiona los metadatos con una eficiencia similar a la de HDFS. De este modo, se evitan las ralentizaciones que generan las llamadas frecuentes a la API de OSS en OssFileSystem.

• Localidad de datos: JindoFS programa los trabajos en los nodos que contienen copias locales de los bloques. Esto reduce el tráfico de red y mejora el rendimiento de lectura.

Procedimiento de uso

1. Acceda al servicio SmartData.

   1. Inicie sesión en la consola de EMR.

   2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

   3. Haga clic en la pestaña Clusters.

   4. En la página Clusters, busque su clúster y haga clic en Details dentro de la columna Actions.

   5. En el panel de navegación izquierdo, elija Services > SmartData.

2. Vaya a la configuración del servicio namespace.

   1. Haga clic en la pestaña Configure.

   2. Haga clic en namespace.

      

3. Configure los siguientes parámetros.

   JindoFS admite varios namespaces. En este tema se utiliza

   test

   como namespace de ejemplo.

   1. Establezca jfs.namespaces en test.

      test

      es un nombre de namespace de ejemplo. Para configurar varios namespaces, separe los nombres con comas (,).

   2. Haga clic en Custom Configuration. En el cuadro de diálogo Add Configuration Item, agregue los siguientes parámetros y haga clic en OK.

      Parámetro	Descripción	Ejemplo
      jfs.namespaces.test.oss.uri	El backend de almacenamiento de OSS para el namespace test.	oss://<oss_bucket>/<oss_dir>/ Nota Se recomienda especificar un directorio dentro de un bucket de OSS. JindoFS almacena los bloques de datos del namespace en este directorio.
      jfs.namespaces.test.mode	El modo de almacenamiento para el namespace test.	block
      jfs.namespaces.test.oss.access.key	El identificador de accesskey para el backend de almacenamiento de OSS.	xxxx Nota Para obtener un rendimiento y una estabilidad óptimos, se recomienda usar un bucket de OSS en la misma cuenta y región que su clúster de E-MapReduce. En este caso, el clúster de E-MapReduce puede acceder a OSS sin credenciales, por lo que no es necesario configurar el identificador ni la clave secreta de accesskey.
      jfs.namespaces.test.oss.access.secret	La clave secreta de accesskey para el backend de almacenamiento de OSS.

   3. Haga clic en OK.

4. En la esquina superior derecha, haga clic en Save.

5. En la esquina superior derecha, elija Actions > Restart Jindo Namespace Service.

   Una vez que se reinicia el servicio, puede acceder a los archivos de JindoFS mediante la ruta

   jfs://test/<path_of_file>

   .

Control de umbral de espacio en disco

JindoFS utiliza OSS como backend de almacenamiento, lo cual proporciona una gran capacidad de almacenamiento. Sin embargo, el espacio en disco local del clúster es limitado. Para gestionar este espacio, JindoFS expulsa automáticamente los datos fríos de la caché local. Este comportamiento de expulsión se controla mediante los parámetros storage.watermark.high.ratio y storage.watermark.low.ratio. Dichos parámetros aceptan valores decimales entre 0 y 1 que representan la proporción de espacio en disco utilizado.

1. Modifique la configuración de marca de agua del disco.

   En la pestaña

   storage

   de la sección

   Service Configuration

   , modifique los siguientes parámetros.

   

   Parámetro	Descripción
   storage.watermark.high.ratio	El umbral superior de uso del disco. Cuando el espacio en disco que ocupa el directorio de datos de JindoFS alcanza esta proporción, se activa la limpieza. Valor predeterminado: 0.4.
   storage.watermark.low.ratio	El umbral inferior de uso del disco. Una vez activada la limpieza, los datos fríos se eliminan automáticamente hasta que el uso del directorio de datos de JindoFS desciende a esta proporción. Valor predeterminado: 0.2.

   Nota

   La marca de agua alta determina cuánto espacio en disco puede utilizar JindoFS. La marca de agua baja debe ser menor que la marca de agua alta.

2. Guarde la configuración.

   1. En la esquina superior derecha, haga clic en Save.

   2. En el cuadro de diálogo Confirm, introduzca un motivo para la modificación y habilite Auto-update Configuration.

   3. Haga clic en OK.

3. Reinicie Jindo Storage Service para aplicar la configuración.

   1. En la esquina superior derecha, elija Actions.

   2. En el cuadro de diálogo Execute Cluster Operation, establezca los parámetros.

   3. Haga clic en OK.

   4. En el cuadro de diálogo Confirm, haga clic en OK.