DataWorks:Envío de datos

Preparación (opcional)

Para ayudarle a enviar datos rápidamente, este tema utiliza un ejemplo que explica cómo enviar los resultados de una consulta desde una tabla de MaxCompute. En este caso, se usa la función de envío de datos para mandar la información de una tabla llamada sales a un canal específico. Los datos incluyen el monto de ventas diarias de cada departamento y la variación respecto al día anterior. Si desea seguir los pasos de este ejemplo, primero debe crear la tabla sales en su entorno. A continuación se muestran las instrucciones para crear la tabla sales e insertarle datos. Para obtener más información sobre cómo crear una tabla, consulte Create and use MaxCompute tables.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Seleccionar un origen de datos

Seleccione Data Source Type, Data Source Name y Data Source Environment para definir el entorno de la tabla de datos que se usará en el envío. El entorno del origen de datos se elige según si el envío corresponde a una tabla de desarrollo o de producción. Si está siguiendo este ejercicio práctico, confirme el entorno donde se ubica la tabla sales que creó durante la fase de preparación.

Por ejemplo, establezca Data source type en odps, Data source name en MaxCompute_Source y Data source environment en production environment. Para crear un nuevo origen de datos, haga clic en el enlace situado debajo del campo Data source name.

Escribir la consulta SQL

• Defina el alcance de los datos y recupérelos.

  En la sección Edit Query SQL, utilice consultas SQL de una o varias tablas para definir los datos que se enviarán. Por ejemplo:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Después de escribir el código SQL, los campos resultantes se completan automáticamente en la sección Parameters > Output Parameters. Si el análisis sintáctico de los parámetros de salida falla o los valores son incorrectos, deshabilite Automatically Parse Parameters y agregue manualmente los parámetros con Add Parameter.

  También es posible configurar variables personalizadas en el código SQL mediante el formato ${variable_name}. Esta variable corresponde a un elemento de Assignment Parameters(Assignment Parameters admite expresiones de tiempo y constantes como valores asignados ) para implementar la entrada dinámica de parámetros en su código. Para obtener más información, consulte Configure push content.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Consulta paginada.

  Para tablas grandes, el envío de datos admite consultas paginadas mediante un Next Token. Haga clic en Code Help > Code Template > Next Token en la barra de herramientas del editor de código para ver las instrucciones de uso.

Configurar el contenido de envío

En la sección Content to Push, edite el contenido del mensaje con los formatos Markdown y Table. Este contenido se enviará al Webhook.

Una vez que personalice el título del mensaje en el campo Title, haga clic en Add en el área del cuerpo. Luego, elija Markdown, Table o Email Body para editar el contenido. A continuación se muestra un ejemplo de configuración. Haga clic en Preview en la barra de herramientas para visualizar el formato del mensaje.

Crear un destino Webhook

Al hacer clic en Create Destination, configure los siguientes parámetros:

• Type: Seleccione un tipo de canal. Las opciones incluyen DingTalk, Lark, WeCom y Teams.

• Destination Name: Introduzca un nombre personalizado para el nuevo destino de envío.

• Webhook: La URL del Webhook del canal de envío seleccionado.

La lista desplegable Type también admite el canal Email. Una vez completada la configuración, haga clic en OK.

Crear un destino de correo electrónico

Antes de configurar Push Settings, haga clic en el icono en la esquina inferior izquierda de la página Service Development para abrir el panel de configuración. Cambie a la pestaña Destination Management y haga clic en Create Destination para crear un destino.

Al hacer clic en Create Destination, debe configurar los siguientes parámetros:

• Type: Seleccione Email.

• Destination Name: Introduzca un nombre personalizado para el nuevo destino de envío.

• SMTP Host: La dirección del servidor de correo.

• SMTP Port: El número de puerto del servidor de correo. El valor predeterminado es 465, aunque se puede modificar manualmente.

• Sender Address: La dirección de correo electrónico del remitente.

• SMTP Account: La cuenta de correo electrónico completa.

• SMTP Password: La contraseña de la cuenta de correo electrónico.

• Receiver Address: La dirección de correo electrónico de destino.

Ajustes de envío

Haga clic en Push Settings en el lado derecho para configurar el ciclo de programación, los recursos de programación y los destinos de envío de la tarea. Los elementos de configuración específicos son los siguientes:

• Configuración del ciclo de programación y la hora de ejecución: Defina el ciclo de programación y la hora exacta en la que el servicio de envío de datos mandará el contenido editado.

  Ciclo de programación	Hora especificada	Hora de programación	Ejemplo
  Month	Especifique los días del mes en los que se ejecutará la tarea de envío.	La hora de programación de la tarea de envío de datos para el día indicado.	Scheduling Frequency: Month Specified Time: 1st of every month Data Timestamp: 08:00 Hora de ejecución real: La tarea de envío se ejecuta a las 08:00 el primer día de cada mes.
  Week	Especifique los días de la semana en los que se ejecutará la tarea de envío.	La hora de programación de la tarea de envío de datos para el día indicado.	Scheduling Frequency: Week Specified Time: Monday Data Timestamp: 09:00 Hora de ejecución real: La tarea de envío se ejecuta a las 09:00 todos los lunes.
  Day	Nota El ciclo diario programa la tarea para que se ejecute todos los días.	La hora de programación de la tarea de envío de datos para el día indicado.	Scheduling Frequency: Day Data Timestamp: 08:00 Hora de ejecución real: La tarea de envío se ejecuta a las 08:00 todos los días.
  Hour	Nota Puede elegir entre dos modos de envío: Envío en un intervalo horario especificado. Envío en horas y minutos especificados.		Envío en un intervalo horario: Start Time: 00:00 Time Interval: 1 hour End Time: 23:59 Hora de ejecución real: Envía una vez cada hora desde las 00:00 hasta las 23:59 diariamente. Envío en horas y minutos especificados: Hour: 0, 1 Specified Minute: 10 Hora de ejecución real: Envía a las 00:10 y a las 01:10 diariamente.

• Timeout Definition: Establece un límite de tiempo para la ejecución de la tarea. Si se supera este límite, la tarea finaliza.

  • Default Value: Con la configuración Default Value, el tiempo de espera de la tarea se ajusta dinámicamente según la carga del sistema, con un valor de entre 3 y 7 días. Las tareas que superan este tiempo finalizan.

  • Ejemplo: Si establece un tiempo de espera Custom de 1 hora, la tarea de envío finalizará si transcurre más de 1 hora desde su hora de inicio programada.

• Valid From: Configure el intervalo de tiempo durante el cual la tarea de envío de datos estará activa.

  • Permanent: La tarea de envío de datos permanece vigente de forma permanente y no está limitada por un intervalo de fechas de validez.

  • Example: Si configura un intervalo Specified Time del 2024-01-01 al 2024-12-31, la tarea de envío se ejecutará según el ciclo de programación configurado dentro de ese periodo.

• Resource Group for Scheduling: Configure un Exclusive resource group for scheduling o un serverless resource group (resource group de propósito general) para proporcionar recursos de programación a la tarea de envío de datos. Para obtener más información sobre los resource groups, consulte Resource Group Management.

• Push Every Time: Controla si se envía una notificación cuando la consulta SQL no devuelve datos.

  • Habilitado (valor predeterminado): El envío se ejecuta en cada ejecución programada, independientemente de si la consulta devuelve datos.

  • Deshabilitado: Si todas las variables utilizadas en el contenido de envío, excepto los parámetros de entrada, están vacías, el mensaje no se manda. Utilice las cláusulas WHERE o HAVING en el código SQL para filtrar datos. Si no se cumplen las condiciones de filtrado y el resultado de la consulta está vacío, la tarea de envío se omite automáticamente y no se manda ningún mensaje.

• Destination: Envíe el contenido configurado a un destino seleccionado. Solo puede elegir entre los destinos de envío existentes, los cuales se configuran en Data Push Task Management.

  Nota

  Al enviar datos a un Webhook de DingTalk, debe agregar una palabra clave en la sección Security Settings > Custom Keywords de la configuración del bot. Asegúrese de que el contenido de envío incluya esta palabra clave para que el envío se complete correctamente.

Gestionar las versiones de la tarea

1. Una vez que confirme que las pruebas durante el desarrollo se completaron correctamente, haga clic en Submit. Si no envía la tarea de envío, esta permanecerá en estado de borrador y no se generará una nueva versión.

2. Después de enviar el servicio, se genera una nueva versión. En el panel Version del lado derecho, busque la versión enviada con estado Can Be Published y haga clic en Publish. Al publicar la tarea, se activa su programación tal como se definió en Push Settings.

   En el panel Version, gestione la tarea de envío de datos de la siguiente manera.

   Status	Actions	Description
   Publish	Data Push Task Management	Abre la página Data Push Task Management, donde puede consultar información detallada sobre las tareas publicadas. Para obtener más información, consulte Manage data push tasks.
   Can Be Published	Publish	Publica la versión correspondiente de la tarea.
   	Abandoned	Descarta la versión correspondiente de la tarea y cambia su estado a Abandoned.
   Off-Line, Abandoned	Version Details	Consulte la información de configuración y el contenido de envío correspondiente para esa versión de la tarea de envío de datos.
   	Roll Back	Restaura esta versión y la convierte en la configuración actual.

   Nota

   Las operaciones Version Details y Roll Back están disponibles y funcionan de manera idéntica para las tareas en todos los estados.

Gestionar las tareas de envío

Cuando la tarea de envío de datos se publique correctamente, haga clic en Data Push Task Management dentro de la columna Operation del panel Version. También puede ir a la página de lista Data Push Tasks mediante la ruta Service Management > Data Push Task Management.

Esta página enumera todas las Data Push Tasks publicadas. Además, muestra detalles como ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer y Published Time. En la columna Operation, aplique las siguientes acciones a las tareas de envío de datos publicadas:

Probar una tarea publicada

Vaya a la página Version Details con cualquiera de los siguientes métodos:

• Método 1: Elija Service Management > Test Data Push Task.

• Método 2: Elija Service Management > Data Push Task Management > Data Push Tasks.

Al probar una tarea publicada, usted comprueba que se ejecute correctamente y que el destino reciba los datos según lo esperado.

En la página Data Push Test, seleccione o busque la tarea de envío de datos deseada en la lista desplegable. Marque la casilla Push to Destination si lo requiere y, a continuación, haga clic en Start Test.