DataWorks:Mejores prácticas de RestAPI Reader

Contexto

Práctica 1: Leer datos de una API por rango de tiempo

Escenario de ejemplo: definición de la API

Preparación: Crear una tabla particionada de MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2
(
  `axis`  STRING
  ,`value` BIGINT
  ,`createTime` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Configurar una tarea de sincronización

1. Agregue un origen de datos RestAPI.

   Agregue un origen de datos RestAPI a su espacio de trabajo de DataWorks. Para conocer el procedimiento, consulte Configure a REST API data source. En el cuadro de diálogo Add RestAPI Data Source, introduzca Data Source Name y Data Source Description, seleccione Applicable Environment (desarrollo o producción) y configure Default Request Headers (valor predeterminado: {}). Configuraciones clave:

   • url: establezca la URL de la API RESTful.

   • Authentication Method: elija el método de autenticación que admita la API y configure sus parámetros.

   • Resource group connectivity: los orígenes de datos RestAPI solo admiten resource groups exclusivos para Data Integration. Seleccione uno y compruebe la conectividad entre el origen de datos y el resource group.

2. Cree un nodo de sincronización por lotes y configure la tarea.

   Cree un nodo de sincronización por lotes en DataStudio. Para conocer el procedimiento, consulte Codeless UI configuration. Configuraciones clave:

   • Configuración de Data Source:

     • Data Source: seleccione el origen de datos RestAPI creado anteriormente.

     • Request Method: esta API de muestra usa GET. Seleccione GET.

     • Return Data Structure: la respuesta de ejemplo es un arreglo JSON. Seleccione Array Data.

     • The JSON path for data storage: los datos se encuentran bajo data en la respuesta. Establezca este valor en data.

     • Request Param: combine los parámetros de la solicitud con los parámetros de programación para sincronizar cada día los datos de la jornada actual.

       • Establezca los parámetros de la solicitud en startTime=${extract_day} ${start_time}&endTime=${extract_day} ${end_time}

       • Agregue tres parámetros de programación: extract_day=${yyyy-mm-dd}, start_time=00:00:00 y end_time=23:59:59.

       Si la fecha de ejecución es 2023-01-05, extract_day se resuelve como 2023-01-04, por lo que los parámetros de la solicitud quedan así: startTime=2023-01-04 00:00:00&endTime=2023-01-04 23:59:59.

   • Configuración de Data Destination:

     • Data Source y Table: seleccione la tabla particionada de MaxCompute creada anteriormente.

     • Partition Information: utilice la información de partición junto con un parámetro de programación.

       • Establezca la información de partición en ${bizdate}.

       • Agregue un parámetro de programación: bizdate=$bizdate.

       Si la fecha de ejecución es 2023-01-05, el valor de la partición es 20230104.

   • Field Mapping: introduzca los campos de la respuesta de RestAPI. Los nombres de campo distinguen entre mayúsculas y minúsculas. Después de agregar los campos, utilice The same name mapping o conecte las columnas manualmente para crear las asignaciones.

Ejecución de prueba

Comprobar los datos

select * from ods_xiaobo_rest2 where ds='20230104' order by createtime;

Confirmar, publicar y rellenar datos históricos

Práctica 2: Leer datos paginados de una API RestAPI

Escenario de ejemplo: definición de la API

Preparación: Crear una tabla particionada de MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest1
(
  `id` BIGINT
  ,`name` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Configurar una tarea de sincronización

1. Agregue un origen de datos RestAPI.

   Agregue un origen de datos RestAPI a su espacio de trabajo de DataWorks. Para conocer el procedimiento, consulte Configure a REST API data source. En el cuadro de diálogo Add RestAPI Data Source, introduzca Data Source Name y Data Source Description, seleccione Applicable Environment (desarrollo o producción) y configure Default Request Headers (valor predeterminado: {}). Configuraciones clave:

   • url: establezca la URL de la API RESTful.

   • Authentication Method: elija el método de autenticación que admita la API y configure sus parámetros.

   • Resource group connectivity: los orígenes de datos RestAPI solo admiten resource groups exclusivos para Data Integration. Seleccione uno y compruebe la conectividad entre el origen de datos y el resource group.

2. Cree un nodo de sincronización por lotes y configure la tarea.

   Cree un nodo de sincronización por lotes en DataStudio. Para conocer el procedimiento, consulte Codeless UI configuration. Configuraciones clave:

   • Configuración de Data Source:

     • Data Source: seleccione el origen de datos RestAPI creado anteriormente.

     • Request Method: esta API de muestra usa GET. Seleccione GET.

     • Return Data Structure: la respuesta de ejemplo es un arreglo JSON. Seleccione Array Data.

     • The JSON path for data storage: los datos se encuentran bajo data en la respuesta. Establezca este valor en data.

     • Request Param: utilice un tamaño de página fijo de pageSize=50. Evite páginas demasiado grandes, ya que pueden sobrecargar el servidor RestAPI y la tarea de sincronización.

     • The number of requests: seleccione Multiple Requests.

       El parámetro de paginación es pageNum. Seleccione Multiple Requests y configure los siguientes parámetros:

       • Parameter used for multiple requests: establézcalo en pageNum.

       • StartIndex: establézcalo en 1.

       • Step: establézcalo en 1.

       • EndIndex: establézcalo en 100.

   • Configuración de Data Destination:

     • Data Source y Table: seleccione la tabla particionada de MaxCompute creada anteriormente.

     • Partition Information: utilice la información de partición junto con un parámetro de programación.

       • Establezca la información de partición en ${bizdate}.

       • Agregue un parámetro de programación: bizdate=$bizdate.

       Si la fecha de ejecución es 2023-01-05, el valor de la partición es 20230104.

   • Field Mapping: introduzca los campos de la respuesta de RestAPI. Los nombres de campo distinguen entre mayúsculas y minúsculas. Después de agregar los campos, utilice The same name mapping o conecte las columnas manualmente para crear las asignaciones.

Ejecución de prueba

Comprobar los datos

select * from ods_xiaobo_rest1 where ds='20230104' order by id;

Práctica 3: Leer datos de una API RestAPI POST

Escenario de ejemplo: definición de la API

Preparación: Crear una tabla particionada de MaxCompute

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest3
(
  `user_id` BIGINT
  ,`name` STRING
  ,`axis`  STRING
  ,`value` BIGINT
  ,`create_time` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

Configurar una tarea de sincronización

1. Agregue un origen de datos RestAPI.

   Agregue un origen de datos RestAPI a su espacio de trabajo de DataWorks. Para conocer el procedimiento, consulte Configure a REST API data source. En el cuadro de diálogo Add RestAPI Data Source, introduzca Data Source Name y Data Source Description, seleccione Applicable Environment (desarrollo o producción) y configure Default Request Headers (valor predeterminado: {}). Configuraciones clave:

   • url: establezca la URL de la API RESTful.

   • Authentication Method: elija el método de autenticación que admita la API y configure sus parámetros.

   • Resource group connectivity: los orígenes de datos RestAPI solo admiten resource groups exclusivos para Data Integration. Seleccione uno y compruebe la conectividad entre el origen de datos y el resource group.

2. Cree un nodo de sincronización por lotes y configure la tarea.

   Cree un nodo de sincronización por lotes en DataStudio. Para conocer el procedimiento, consulte Codeless UI configuration. Configuraciones clave:

   • Configuración de Data Source:

     • Data Source: seleccione el origen de datos RestAPI creado anteriormente.

     • Request Method: este ejemplo usa POST. Seleccione POST.

     • Return Data Structure: la respuesta de ejemplo es un arreglo JSON. Seleccione Array Data.

     • The JSON path for data storage: los datos se encuentran bajo data en la respuesta. Establezca este valor en data.

     • Header: la API POST acepta un cuerpo de solicitud JSON. Establézcalo en {"Content-Type":"application/json"}.

     • Request Param: combine los parámetros de la solicitud con los parámetros de programación para sincronizar cada día los datos de la jornada actual.

       • Establezca los parámetros de la solicitud en

         {
         
             "userId":16,
         
             "startTime":"${extract_day} 00:00:00",
         
             "endTime":"${extract_day} 23:59:59"
         
         }

       • Agregue un parámetro de programación: extract_day=${yyyy-mm-dd}.

   • Configuración de Data Destination:

     • Data Source y Table: seleccione la tabla particionada de MaxCompute creada anteriormente.

     • Partition Information: utilice la información de partición junto con un parámetro de programación.

       • Establezca la información de partición en ${bizdate}.

       • Agregue un parámetro de programación: bizdate=$bizdate.

       Si la fecha de ejecución es 2023-01-05, el valor de la partición es 20230104.

   • Field Mapping: introduzca los campos de la respuesta de RestAPI. Separe los nombres de campos anidados con puntos. Los nombres de campo distinguen entre mayúsculas y minúsculas. Luego, utilice The same name mapping o conecte las columnas manualmente para crear las asignaciones.

Ejecución de prueba

Comprobar los datos

select * from ods_xiaobo_rest3 where ds='20230105' order by create_time;

Práctica 4: Iterar sobre un parámetro de solicitud para leer una API de RestAPI

Escenario de ejemplo: definición de la API

Este ejemplo lee de forma repetida una API RESTful GET de prueba alojada localmente y escribe los datos en una tabla particionada de MaxCompute. La API devuelve datos de temperatura según los parámetros de fecha, provincia y ciudad.

Ajuste la configuración para que coincida con su propia API. La API de muestra solo sirve para ilustrar el procedimiento.

• Solicitud de ejemplo:

  http://TestAPIAddress:Port/rest/test5?date=2023-01-04&province=zhejiang&city=hangzhou

• Respuesta de ejemplo:

  {
    "province": "P1",
    "city": "hz",
    "date": "2023-01-04",
    "minTemperature": "-14",
    "maxTemperature": "-7",
    "unit": "℃",
    "weather": "cool"
  }

• Prueba de la API de ejemplo: envíe una solicitud GET en Postman u otra herramienta de prueba de API con date=2023-01-04, province=p1 y city=hz. La API devuelve un JSON con minTemperature (-14), maxTemperature (-7), unit (℃) y weather (COOL).

Preparación: crear una tabla de parámetros y una tabla particionada de MaxCompute

Primero, cree una tabla de parámetros que contenga los valores de provincia y ciudad sobre los cuales iterar. Después, cree una tabla particionada para almacenar los datos sincronizados de la API.

Con el modo de sobrescritura, las tablas particionadas permiten volver a ejecutar tareas sin duplicar datos y facilitan el análisis posterior.

Utilice estas instrucciones CREATE TABLE:

CREATE TABLE IF NOT EXISTS `citys`
(
  `province` STRING ,
  `city` STRING
);

insert into citys
select 'shanghai','shanghai'
union all select 'zhejiang','hangzhou'
union all select 'sichuan','chengdu';

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest5
(
    `minTemperature` STRING ,
    `maxTemperature` STRING ,
    `unit` STRING ,
    `weather` STRING 
)
PARTITIONED BY 
(
    `province` STRING ,
    `city` STRING ,
    `ds`  STRING
)
LIFECYCLE 3650;

Si utiliza DataWorks Standard Edition y publica las tablas en producción, podrá encontrarlas después en Data Map.

Configurar una tarea de sincronización

1. Agregue un origen de datos de RestAPI.

   Agregue un origen de datos de RestAPI a su espacio de trabajo de DataWorks. Para conocer el procedimiento, consulte Configure a REST API data source. En el cuadro de diálogo Add RestAPI Data Source, introduzca Data Source Name y Data Source Description, seleccione Applicable Environment (desarrollo o producción) y configure Default Request Headers (valor predeterminado: {}). Configuraciones clave:

   • url: establezca la URL de la API RESTful.

   • Authentication Method: elija el método de autenticación compatible con la API y configure sus parámetros.

   • Resource group connectivity: seleccione el resource group especificado y compruebe la conectividad.

2. En DataStudio, cree un nodo de asignación llamado setval_citys. Para conocer el procedimiento, consulte Assignment node.

   Configuraciones clave:

   N.º	Descripción
   ①	Lenguaje de asignación: ODPS SQL Código de asignación: SELECT province ,city FROM citys;
   ②	Propiedad de reejecución: establézcala en You can run again after successful or failed operation..

   Una vez configurado, confirme y publique el nodo de asignación.

3. En DataStudio, cree un nodo for-each. Para conocer el procedimiento, consulte For-each node. Configuraciones clave:

   N.º	Descripción
   ①	Propiedad de reejecución: establézcala en You can run again after successful or failed operation..
   ②	Nodo ascendente dependiente: seleccione setval_citys del paso anterior.
   ③	Parámetro de contexto del nodo: seleccione el origen del parámetro de entrada.
   ④	Nodo de sincronización por lotes: configure un nodo de sincronización por lotes dentro de for-each como se describe a continuación.

4. Cree un nodo de sincronización por lotes y configure la tarea. Para conocer el procedimiento, consulte Codeless UI configuration.

   Configuraciones clave:

   N.º	Descripción
   ①	Parámetros de programación: bizdate=$[yyyymmdd-1] bizdate_year=$[yyyy-1] bizdate_month=$[mm-1] bizdate_day=$[dd-1]
   ②	Configure los parámetros de solicitud de RestAPI. Los valores de province y city provienen del nodo de bucle. date=${bizdate_year}-${bizdate_month}-${bizdate_day}&province=${dag.foreach.current[0]}&city=${dag.foreach.current[1]}
   ③	Configure el parámetro de partición province de MaxCompute desde el nodo de bucle. province=${dag.foreach.current[0]}
   ④	Configure el parámetro de partición city de MaxCompute desde el nodo de bucle. city=${dag.foreach.current[1]}
   ⑤	Configure el parámetro de partición ds de MaxCompute a partir de un parámetro de programación. ds=${bizdate}
   ⑥	Introduzca los campos de respuesta de RestAPI. Los nombres de campo distinguen entre mayúsculas y minúsculas. Luego, utilice The same name mapping o conecte las columnas manualmente para crear las asignaciones.

   Una vez configurado, confirme y publique el nodo for-each.

Ejecución de prueba

1. Después de confirmar y publishing correctamente los nodos de asignación y for-each, ejecute un backfill del nodo de asignación en Operation Center, dentro de Periodic Tasks. Para conocer el procedimiento, consulte Backfill data instance operations.

2. Seleccione la fecha comercial y los nodos descendentes para la tarea de backfill.

3. Cuando termine la ejecución de la tarea, revise los parámetros y los registros en los detalles de la instancia de backfill.

   En este ejemplo, los datos se escriben en la partición de MaxCompute province=shanghai,city=shanghai,ds=20231215.

Comprobar los datos

Utilice Temporary Query en Data Development para comprobar si los datos se sincronizaron con MaxCompute. Consulta de ejemplo:

En este ejemplo, ods_xiaobo_rest5 es la tabla particionada de MaxCompute creada en Prepare.

SELECT  weather
        ,mintemperature
        ,maxtemperature
        ,unit
        ,province
        ,city
        ,ds
FROM    ods_xiaobo_rest5
WHERE   ds != 1
ORDER BY ds,province,city;

Al finalizar la ejecución, compruebe si los datos se sincronizaron con MaxCompute.