DataWorks:Nodo de Lindorm Spark SQL

Contexto

Lindorm es un servicio de cómputo distribuido basado en una arquitectura nativa de la nube. Admite modelos de cómputo de edición comunitaria, es compatible con las interfaces de Spark y se integra profundamente con el motor de almacenamiento de Lindorm. Al aprovechar las funciones subyacentes de almacenamiento de datos y las capacidades de indexación, ejecuta eficientemente trabajos distribuidos. Es ideal para escenarios como procesamiento masivo de datos, análisis interactivo, aprendizaje automático y cómputo de grafos.

Requisitos previos

• (Opcional, obligatorio para usuarios de RAM) El usuario de RAM que desarrolla las tareas debe agregarse al espacio de trabajo destino y recibir el rol de Development o Workspace Administrator (asigne este último con precaución debido a sus amplios permisos). Para obtener más información sobre cómo agregar miembros, consulte Add members to a workspace.

  Nota

  Si usa una cuenta de Alibaba Cloud, omita este paso.

• Debe haber creado una instancia de Lindorm y haberla asociado con el espacio de trabajo de DataWorks. Para obtener más información, consulte Associate a Lindorm computing resource.

Crear un nodo de Lindorm Spark SQL

Para obtener instrucciones sobre cómo crear un nodo, consulte Create a Lindorm Spark SQL node.

Desarrollar un nodo de Lindorm Spark SQL

Al escribir el código de la tarea en el editor SQL, puede definir variables con el formato ${variable_name} y asignarles valores en el panel Run Configuration o Scheduling Settings, ubicado en el lado derecho de la página de edición del nodo. A continuación se muestra un ejemplo.

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Para obtener más información sobre las operaciones de Lindorm Spark SQL, consulte SQL reference.

Depurar un nodo de Lindorm Spark SQL

1. Configure las propiedades de depuración.

   En el panel Run Configuration, situado en el lado derecho del nodo, configure los campos Compute Resource, Lindorm Resource Group y Resource Group. Los parámetros se describen a continuación.

   Parámetro	Descripción
   Compute Resource	Seleccione el recurso de cómputo de Lindorm que asoció previamente.
   Lindorm Resource Group	Seleccione el resource group de Lindorm que especificó al asociar el recurso de cómputo de Lindorm.
   Resource Group	Seleccione un resource group que haya aprobado la prueba de conectividad al asociar el recurso de cómputo de Lindorm Spark.
   Parámetros del script	Al configurar el contenido del nodo, defina variables con el formato ${parameter_name}. En Script Parameters, configure el Parameter name y el Parameter Value. Cuando se ejecuta la tarea, las variables se reemplazan dinámicamente por sus valores reales. Para obtener más información, consulte Scheduling parameter sources and expressions.
   Spark parameter	Parámetros de tiempo de ejecución para el programa Spark. Para consultar más configuraciones de propiedades de Spark, consulte Job configurations.

2. Depure y ejecute el nodo.

   Para ejecutar la tarea del nodo, haga clic en Save y luego en Run.

Siguientes pasos

• Configure node scheduling: Si los nodos del directorio del proyecto deben programarse y ejecutarse periódicamente, configure la Scheduling Policy en el panel Scheduling Settings, ubicado en el lado derecho del nodo, para establecer las propiedades de programación correspondientes.

• Deploy a node: Si la tarea debe desplegarse en el entorno de producción para su ejecución, haga clic en el icono de la página para iniciar el proceso de despliegue y publicar la tarea en dicho entorno. Los nodos del directorio del proyecto solo se programan periódicamente después de desplegarse en el entorno de producción.

• Data Map (Lindorm table data): Acceda a Data Map para recopilar metadatos de Lindorm.