E-MapReduce:Modo de caché de JindoFS

Contexto

El modo de caché conserva la semántica original de los objetos de OSS, por lo que puede usar JindoFS sin migrar ni convertir los datos existentes. La caché local del clúster mejora el rendimiento en el acceso a los datos y reduce el consumo de ancho de banda en las operaciones de lectura y escritura de OSS.

Métodos de configuración

Esquema de OSS (recomendado)

El esquema de OSS utiliza el formato de ruta estándar oss://<bucket_name>/<path_of_your_file>. Funciona de forma inmediata después de crear un clúster de E-MapReduce, sin necesidad de configuraciones adicionales. Los trabajos existentes que leen o escriben en OSS se ejecutan sin modificaciones.

Esquema de JFS

1. Vaya al servicio SmartData.

   1. Inicie sesión en la consola de EMR.

   2. En la barra de navegación superior, seleccione una región y un resource group según sus necesidades.

   3. Haga clic en la pestaña Clusters.

   4. En la página Clusters, busque su clúster y haga clic en Details en la columna Actions.

   5. En el panel de navegación izquierdo, elija Services > SmartData.

2. Vaya a la pestaña namespace del servicio SmartData.

   1. Haga clic en la pestaña Configure.

   2. Haga clic en la pestaña namespace dentro de la sección Service Configuration.

      

3. Configure los siguientes parámetros.

   JindoFS admite varios namespaces. En este tema se usa

   test

   como namespace de ejemplo.

   1. Establezca jfs.namespaces en test.

      test

      es un nombre de namespace de ejemplo. Para configurar varios namespaces, separe sus nombres con comas (,).

   2. Haga clic en Custom Configuration. En el cuadro de diálogo Add Configuration Item, agregue los siguientes parámetros.

      Parámetro	Descripción	Ejemplo
      jfs.namespaces.test.oss.uri	El backend de almacenamiento para el namespace test.	oss://<oss_bucket>/<oss_dir>/ Nota Debe establecer este parámetro en un directorio específico de un bucket de OSS o en el directorio raíz.
      jfs.namespaces.test.mode	Especifica que el namespace test utiliza el modo de caché.	cache

4. En la esquina superior derecha, haga clic en Save.

5. En la esquina superior derecha, elija Actions > Restart Jindo Namespace Service.

   Una vez reiniciado el servicio, puede acceder a los archivos de JindoFS mediante la ruta

   jfs://test/<path_of_file>

   .

Habilitar la caché

JindoFS puede usar discos locales para almacenar en caché los bloques de datos con acceso frecuente. De forma predeterminada, la caché está deshabilitada y todas las operaciones de lectura acceden directamente a OSS.

1. En la pestaña Configure del servicio Services > SmartData, haga clic en la pestaña client.

2. Establezca el parámetro jfs.cache.data-cache.enable en 1 para habilitar la caché.

   Esta es una configuración del lado del cliente y no requiere reiniciar el servicio SmartData.

Después de habilitar la caché, el servicio Jindo gestiona automáticamente la caché local y expulsa los datos según el umbral configurado. Configure la proporción de almacenamiento de acuerdo con sus necesidades. Para obtener más información, consulte Control disk space by using watermarks.

Controlar el uso del espacio en disco

JindoFS utiliza OSS como backend de almacenamiento, lo cual proporciona una gran capacidad de almacenamiento. Sin embargo, el espacio en disco local de su clúster es finito. Para gestionar este espacio, JindoFS expulsa automáticamente los datos fríos de la caché local. Puede controlar este comportamiento de expulsión con los parámetros storage.watermark.high.ratio y storage.watermark.low.ratio. Estos parámetros aceptan valores decimales entre 0 y 1 que representan la proporción del espacio en disco utilizado.

1. Modifique las configuraciones de uso de disco.

   En la sección

   Service Configuration

   del servicio SmartData, haga clic en la pestaña

   storage

   y configure los parámetros descritos en la siguiente tabla.

   

   Parámetro	Descripción
   storage.watermark.high.ratio	Límite máximo de uso de disco. Cuando el uso de disco de los datos de JindoFS supera este límite, JindoFS elimina automáticamente datos del disco. Valor predeterminado: 0.4.
   storage.watermark.low.ratio	Límite mínimo de uso de disco. Después de activarse la eliminación automática de datos, JindoFS comienza a eliminarlos hasta que el uso de disco de los datos de JindoFS se reduce a este límite. Valor predeterminado: 0.2.

   Nota

   Puede configurar el límite máximo y el límite mínimo para ajustar el espacio en disco asignado a JindoFS. Asegúrese de que el límite máximo sea mayor que el límite mínimo.

2. Guarde las configuraciones.

   1. En la esquina superior derecha de la sección Service Configuration, haga clic en Save.

   2. En el cuadro de diálogo Confirm Changes, especifique Description y active Auto-update Configuration.

   3. Haga clic en OK.

3. Reinicie Jindo Storage Service para aplicar las configuraciones.

   1. Seleccione Restart Jindo Storage Service en la lista desplegable Actions ubicada en la esquina superior derecha.

   2. En el cuadro de diálogo Cluster Activities, especifique los parámetros correspondientes.

   3. Haga clic en OK.

   4. En el mensaje Confirm, haga clic en OK.

Acceso a un bucket de OSS

• OSS Scheme

  Para obtener más información, consulte Configure OSS Scheme (recommended).

• JFS Scheme

  Para obtener más información, consulte Configure JFS Scheme.

Configuración avanzada

Estas configuraciones del lado del cliente surten efecto sin necesidad de reiniciar el servicio SmartData.

• En la sección Service Configuration, dentro de la pestaña client, configure los siguientes parámetros.

  Parámetro	Descripción
  client.oss.upload.threads	Número de subprocesos de carga de OSS para cada flujo de escritura de archivos. Valor predeterminado: 4.
  client.oss.upload.max.parallelism	Número máximo de cargas simultáneas de OSS por proceso. Limita el consumo de ancho de banda y memoria de los subprocesos de carga. Valor predeterminado: 16.

• En la sección Service Configuration, dentro de la pestaña smartdata-site, configure los siguientes parámetros.

  Parámetro	Descripción
  fs.jfs.cache.copy.simple.max.byte	Tamaño máximo de archivo para la copia estándar durante un cambio de nombre. Los archivos por debajo de este umbral utilizan la interfaz de copia estándar; los archivos más grandes usan la interfaz de copia multiparte para lograr mayor eficiencia. Nota Si habilitó la función de copia rápida de OSS, establezca este parámetro en -1 para usar la interfaz de copia estándar en todos los tamaños de archivo. Así aprovechará la copia rápida y obtendrá un rendimiento óptimo en los cambios de nombre.
  fs.jfs.cache.write.buffer.size	Tamaño del búfer para los flujos de escritura de archivos. Debe ser una potencia de dos, hasta un máximo de 8 MB. Reduzca este valor si los flujos de escritura simultáneos provocan un alto uso de memoria. Valor predeterminado: 1048576.
  fs.oss.committer.magic.enabled	Habilita Jindo Job Committer, lo cual mejora el rendimiento al evitar operaciones de cambio de nombre durante la fase de confirmación del trabajo. Valor predeterminado: true. Nota Los sistemas de object storage como OSS presentan un rendimiento deficiente durante las operaciones de cambio de nombre. Jindo Job Committer resuelve este problema en el modo de caché.