AnalyticDB:Editor de Spark

Descripción general

• Cree y ejecute aplicaciones de Spark por lotes o de streaming.

• Consulte el registro del controlador y la información de envío de su aplicación de Spark.

• Consulte el registro de ejecución de las instrucciones SQL.

Requisitos previos

• Se creó un clúster de AnalyticDB for MySQL Enterprise Edition, Basic Edition o Data Lakehouse Edition.

• A job resource group is created para el clúster de AnalyticDB for MySQL Enterprise Edition, Basic Edition o Data Lakehouse Edition.

• Otorgó los permisos obligatorios a un usuario de RAM. Para obtener más información, consulte Authorize a RAM user.

• Se creó una cuenta de base de datos para el clúster de AnalyticDB for MySQL.

  • Si utiliza una cuenta de Alibaba Cloud, solo necesita create a privileged account.

  • Si utiliza un usuario de Resource Access Management (RAM), debe create a privileged account and a standard account y associate the standard account with the RAM user.

• Autorizó a AnalyticDB for MySQL para assume the AliyunADBSparkProcessingDataRole role to access other cloud resources.

• Configuró la ruta de almacenamiento de registros de las aplicaciones de Spark.

  Nota

  Inicie sesión en la consola de AnalyticDB for MySQL. Busque el clúster que desea gestionar y haga clic en su ID. En el panel de navegación izquierdo, elija Job Development > Spark JAR Development. Haga clic en Log Settings. En el cuadro de diálogo que aparece, seleccione la ruta predeterminada o especifique una ruta de almacenamiento personalizada. No es posible establecer la ruta de almacenamiento personalizada en el directorio raíz de OSS. Asegúrese de que la ruta de almacenamiento personalizada contenga como mínimo un nivel de carpetas.

Creación y ejecución de una aplicación de Spark

1. Inicie sesión en la consola de AnalyticDB for MySQL. En la esquina superior izquierda de la consola, seleccione una región. En el panel de navegación izquierdo, haga clic en Clusters. Busque el clúster que desea gestionar y haga clic en su ID.

2. En el panel de navegación izquierdo, haga clic en Job Development > Spark JAR Development.

3. En la página Spark JAR Development, haga clic en el icono situado a la derecha de Applications.

4. En el panel Create Application, establezca a continuación los parámetros.

   Parámetro	Descripción
   Name	El nombre de la aplicación o del directorio. Los nombres de aplicaciones y directorios no distinguen entre mayúsculas y minúsculas.
   Type	Application: crea un archivo. Directory: crea un directorio.
   Parent Level	El directorio principal del archivo o directorio.
   Job type	Batch: una aplicación por lotes. Streaming: una aplicación de streaming. SQL Engine: un motor SQL distribuido de Spark.

5. Después de configurar los parámetros, haga clic en OK para crear la plantilla de la aplicación.

6. Una vez creada la plantilla de la aplicación, configure la aplicación de Spark en el editor de Spark. Para obtener más información, consulte Spark application development.

7. Después de configurar la aplicación de Spark, puede llevar a cabo las siguientes operaciones:

• Haga clic en Save para guardar la aplicación de Spark y usarla posteriormente.

• Haga clic en Immediately para ejecutar la aplicación de Spark. La pestaña Applications muestra el estado de ejecución en tiempo real.

Nota

Antes de ejecutar una aplicación de Spark, seleccione un resource group de trabajos y un tipo de aplicación.

Consulta de la información de una aplicación de Spark

1. En la pestaña Applications, busque una aplicación mediante su Application ID y lleve a cabo una de las siguientes operaciones:

   • Log: consulte el registro del controlador de la aplicación de Spark o el registro de ejecución de las instrucciones SQL.

   • UI: abra la interfaz web de Spark de la aplicación. El acceso es temporal; si la sesión expira, vuelva a abrir la interfaz.

   • Details: consulte la información de envío de la aplicación, como la ruta del registro, la URL de la interfaz web, el ID del clúster y el nombre del resource group.

   • Stop: detenga la aplicación que se está ejecutando actualmente.

   • History: consulte el historial de reintentos de la aplicación.

2. En la pestaña Tuning History, consulte el historial de reintentos de todas las aplicaciones.

   Nota

   De forma predeterminada, una aplicación con errores no se reintenta automáticamente. Para habilitar los reintentos, configure los parámetros correspondientes (spark.adb.maxAttempts y spark.adb.attemptFailuresValidityInterval). Para obtener más información, consulte Spark application configuration parameters.