E-MapReduce:Manage Livy Gateway

Crear un Livy Gateway

1. Vaya a la página Gateway.

   1. Inicie sesión en la consola de EMR.

   2. En el panel de navegación izquierdo, elija Spark.

   3. En la página Spark, haga clic en el nombre del espacio de trabajo de destino.

   4. En la página EMR Serverless Spark, dentro del panel de navegación izquierdo, haga clic en O&M Center > Gateway.

2. En la página Livy Gateway, haga clic en Create Livy Gateway.

3. En la página Create Livy Gateway, configure los siguientes parámetros y haga clic en Create.

   Parámetro	Descripción
   Name	El nombre del gateway. Solo puede contener letras minúsculas, dígitos y guiones (-). Debe comenzar y terminar con una letra o un dígito.
   Livy Gateway Resources	Valor predeterminado: 1 CPU, 4 GB.
   Livy Version	Valor predeterminado: 0.8.0, la versión más reciente.
   Engine Version	La versión del motor que utiliza el gateway. Para obtener más información, consulte engine versions.
   Use Fusion Acceleration	Fusion puede acelerar las cargas de trabajo de Spark y reducir el costo total de los trabajos. Para obtener información sobre facturación, consulte Product Billing. Para conocer más detalles sobre el motor Fusion, consulte Fusion engine.
   Associated Queue	Los trabajos enviados a través del gateway utilizan la identidad del creador.
   Authentication Method	Solo se admite la autenticación mediante token. Después de crear un gateway, debe generar un token de autenticación único para este. Dicho token se utiliza para la autenticación y el control de acceso en las solicitudes posteriores. Consulte Token management para ver las instrucciones sobre cómo crear un token.
   Mount Integrated File Directory	Deshabilitada de forma predeterminada. Para usar esta función, agregue un directorio de archivos en la página Artifacts, dentro de la pestaña Integrated File Directory. Para obtener más información, consulte Manage the integrated file directory. Al habilitar esta función, se monta el directorio de archivos administrado en la aplicación, lo que le permite leer y escribir archivos directamente en dicho directorio. La operación de montaje consume recursos de cómputo del driver. La cantidad consumida corresponde al mayor de los dos valores siguientes: Recursos fijos: 0.3 vCPU + 1 GB de memoria. Recursos dinámicos: el 10 % de los recursos de spark.driver (es decir, el 10 % de los núcleos y la memoria de spark.driver). Por ejemplo, si spark.driver está configurado con 4 núcleos y 8 GB de memoria, los recursos dinámicos son 0.4 vCPU + 0.8 GB de memoria. En este caso, los recursos consumidos realmente son max(0.3 vCPUs + 1 GB, 0.4 vCPUs + 0.8 GB), lo que equivale a 0.4 vCPU + 1 GB de memoria. Nota Alcance del montaje: de forma predeterminada, el directorio de archivos se monta solo en el driver. Para montarlo también en los ejecutores, habilite Mount to Executor. Varios directorios: puede montar varios directorios de archivos integrados. Sin embargo, los directorios CPFS no pueden usarse junto con otros tipos. Por ejemplo, puede montar varios directorios OSS y NAS de manera conjunta, pero no puede combinar CPFS con directorios OSS o NAS. Requisitos de red: cuando monte un directorio de archivos NAS o CPFS, debe configurar una conexión de red. La VPC de dicha conexión debe ser la misma que la VPC del destino de montaje de NAS o CPFS.
   Network Connection	Una conexión de red existente para acceder a orígenes de datos en una VPC o a servicios externos. Para obtener más información, consulte Network connectivity between EMR Serverless Spark and other VPCs.
   Environment	Cuando envía trabajos a través de Livy Gateway, el trabajo utiliza los recursos preconfigurados en el entorno de ejecución seleccionado.
   Endpoint(Public)	Deshabilitado de forma predeterminada. Si habilita esta función, el sistema accede a Livy mediante un endpoint público. De lo contrario, utiliza un endpoint interno.
   Automatic Stop	Deshabilitada de forma predeterminada. Si habilita esta función, el sistema detiene automáticamente el gateway cuando permanece inactivo durante 45 minutos.
   spark-defaults.conf	Este archivo establece los parámetros predeterminados globales para los trabajos de Spark.
   livy.conf	El archivo de configuración principal del servidor Livy. Define el comportamiento global de Livy Gateway, incluido el método de autenticación (como LDAP), la gestión de sesiones y los ajustes de tiempo de espera. Este archivo controla los parámetros de ejecución del servidor Livy y afecta a todos los trabajos enviados a través de este gateway.
   livy-client.conf	Este archivo define el comportamiento de interacción entre el cliente y Livy Gateway.
   spark-blacklist.conf	El sistema ignora los parámetros incluidos en esta lista negra, por lo que los usuarios no pueden sobrescribirlos.

   Para obtener más información sobre los archivos de configuración de Livy y sus parámetros, consulte Livy Gateway configuration examples.

4. En la página Livy Gateway, dentro de la columna Start correspondiente a su gateway, haga clic en Start.

Gestión de tokens

1. En la página Livy Gateway, dentro de la columna Token Management del gateway de destino, haga clic en Tokens.

2. Haga clic en Create Token.

3. En el cuadro de diálogo Create Token, configure los siguientes parámetros y haga clic en OK.

   Parámetro	Descripción
   Name	El nombre del nuevo token.
   Expired At	Establezca la fecha de vencimiento del token. El valor debe ser de como mínimo 1 día. De forma predeterminada, el token vence en 365 días.

4. Copie la información del token.

   Importante

   Copie el token inmediatamente después de crearlo, ya que no podrá consultarlo de nuevo. Si pierde un token o este caduca, deberá crear uno nuevo o restablecer el existente.

Información de sesiones

Cuando crea una sesión de Spark mediante Livy, el sistema muestra los detalles de la sesión, como su identificador y su estado.

1. En la página Livy Gateway, haga clic en el nombre del gateway de destino.

2. Haga clic en la pestaña Sessions.

   Esta página muestra las sesiones de Spark creadas a través de este Livy Gateway.

   La lista de sesiones incluye la siguiente información: Session ID, Session Status, Creation time, Resource configuration (en formato JSON, con parámetros como kind, driverMemory, driverCores, executorMemory, executorCores y numExecutors), un enlace a Spark UI y Actions (para cerrar la sesión).

Documentación relacionada

Para conocer casos de uso de Livy Gateway, consulte los siguientes documentos:

• Submit jobs using the Livy Operator of Apache Airflow

• Interact with Serverless Spark using a Jupyter Notebook