DataWorks:Traitement des données

**Charger une ressource (ip2region.jar)**

1. Téléchargez le package ip2region.jar.

   Remarque

   L'exemple de ressource ip2region.jar est fourni uniquement à des fins de tutoriel.

2. Dans le volet de navigation de gauche de la page DataStudio, cliquez sur l'icône pour ouvrir la page RESOURCE MANAGEMENT. Cliquez sur > New Resource > MaxCompute Jar. Définissez un nom pour la ressource ; la page de chargement de la ressource s'affiche alors.

   Remarque

   Le nom de la ressource ne doit pas nécessairement correspondre au nom du fichier chargé.

3. Pour Document Source, sélectionnez Local, cliquez sur Click Upload, puis sélectionnez le fichier ip2region.jar téléchargé localement.

4. Pour Data Source, sélectionnez la ressource de calcul MaxCompute liée lors de l'étape Préparation de l'environnement.

5. Dans la barre d'outils du nœud, cliquez sur Save puis sur Publish. Suivez les instructions du panneau de publication pour publier la ressource dans les projets MaxCompute des environnements de développement et de production.

**Enregistrer l'UDF (getregion)**

1. Sur la page Resource Management, cliquez sur > New Function > MaxCompute Function, définissez un nom pour la ressource et accédez à la page Register Function (dans ce tutoriel, la fonction est nommée getregion).

2. Sur la page Create Function, configurez les paramètres décrits dans le tableau suivant. Conservez les valeurs par défaut pour tous les autres paramètres.

   Paramètre	Description
   Function type	Sélectionnez OTHER.
   Data Source	Sélectionnez la ressource de calcul MaxCompute associée lors de l'étape Préparation de l'environnement.
   Class Name	Saisissez org.alidata.odps.udf.Ip2Region.
   Resource List	Sélectionnez ip2region.jar.
   Description	Convertit une adresse IP en région.
   Command Format	Saisissez getregion('ip').
   Parameter Description	Adresse IP.

3. Cliquez sur Save dans la barre d'outils du nœud, puis sur Publish. Dans le panneau de publication, suivez les instructions pour publier la fonction dans les projets MaxCompute des environnements de développement et de production.

**Configurer le nœud dwd_log_info_di**

Dans l'exemple de code de ce nœud, le code SQL utilise la fonction créée pour traiter les champs de la table amont ods_raw_log_d et écrit les résultats dans la table dwd_log_info_di.

1. Dans le volet de navigation de gauche de DataStudio, cliquez sur l'icône pour ouvrir la page de développement des données. Dans la section Project Directory, localisez le flux de travail créé et cliquez sur son nom pour ouvrir le canevas du flux de travail.

2. Sur la page d'orchestration du flux de travail, placez le curseur sur le nœud dwd_log_info_di et cliquez sur Open Node.

3. Collez le code suivant dans l'éditeur de code du nœud.

   Exemple de code pour le nœud dwd_log_info_di

   -- Create the dwd_log_info_di table.
   CREATE TABLE IF NOT EXISTS dwd_log_info_di (
    ip STRING COMMENT 'The IP address.',
    uid STRING COMMENT 'The user ID.',
    time STRING COMMENT 'The time in yyyymmddhh:mi:ss format.',
    status STRING COMMENT 'The status code returned by the server.',
    bytes STRING COMMENT 'The number of bytes returned to the client.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    method STRING COMMENT 'The HTTP request type.',
    url STRING COMMENT 'The URL.',
    protocol STRING COMMENT 'The HTTP protocol version.',
    referer STRING COMMENT 'The referrer URL.',
    device STRING COMMENT 'The client type.',
    identity STRING COMMENT 'The access type. Valid values: crawler, feed, user, and unknown.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Process the data.
   -- Scenario: The following SQL statements use the getregion function to parse the IP address in the raw log data. 
   -- It also uses methods like regular expressions to split the raw data into analyzable fields and writes them to the dwd_log_info_di table.
   -- The getregion function, which is used to resolve IP addresses into regions, is provided for this tutorial.
   -- Note:
   --     1. Before you use a UDF in a DataWorks node, you must upload the required resource to DataWorks and then register the function by using that resource.
   --        The resource used to register the getregion function in this tutorial is ip2region.jar.
   --     2. DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --        In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE dwd_log_info_di PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region -- Use the UDF to obtain the region from the IP address.
     , regexp_substr(request, '(^[^ ]+ )') AS method -- Use a regular expression to split the request into three fields.
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- Use a regular expression to clean the referer and get a more precise URL.
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- Obtain client and access type information from the agent.
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d  
     WHERE dt ='${bizdate}'
   ) a;

4. Configurez les paramètres de débogage.

   À droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Run Configuration et configurez les paramètres suivants pour exécuter un test avec les paramètres pertinents de Run Configuration lors du débogage à l'Étape 4 Étape 4.

   Paramètre	Description
   Computing Resources	Sélectionnez la ressource de calcul MaxCompute et son quota correspondant associés lors de l'étape Préparation de l'environnement.
   Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparation de l'environnement.
   Script Parameters	Aucune configuration n'est requise. L'exemple de code fourni dans ce tutoriel utilise ${bizdate} pour représenter l'horodatage des données. À l'Étape 4 Étape 4, lorsque vous déboguez et exécutez le flux de travail, définissez This operation value sur une constante spécifique, telle que 20250223. La tâche remplacera alors la variable par cette constante lors de l'exécution.

5. (Facultatif) Configurez les propriétés de planification.

   Pour ce tutoriel, conservez les valeurs par défaut des paramètres de configuration de la planification. À droite de la page MaxCompute SQL, cliquez sur Scheduling Configuration. Pour plus d'informations sur les paramètres de configuration de la planification, consultez la section Configuration de la planification des nœuds.

   • Scheduling Parameters : Ces paramètres sont configurés au niveau du flux de travail dans ce tutoriel. Vous n'avez pas besoin de les configurer pour chaque nœud du flux de travail. Utilisez-les directement dans vos tâches ou votre code.

   • Scheduling Policy : Dans le paramètre Delayed execution time, spécifiez la durée de retard de l'exécution d'un nœud enfant après l'exécution du flux de travail. Ce paramètre n'est pas configuré dans ce tutoriel.

6. Dans la barre d'outils du nœud, cliquez sur Save.

**Configurer le nœud dws_user_info_all_di**

Ce nœud consolide la table d'informations de base des utilisateurs (ods_user_info_d) et la table de données de journaux traitées initialement (dwd_log_info_di), et écrit les données dans la table dws_user_info_all_di.

1. Sur la page d'orchestration du flux de travail, placez le curseur sur le nœud dws_user_info_all_di et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de code du nœud.

   Exemple de code pour le nœud dws_user_info_all_di

   -- Create the dws_user_info_all_di table.
   CREATE TABLE IF NOT EXISTS dws_user_info_all_di (
    uid STRING COMMENT 'The user ID.',
    gender STRING COMMENT 'The gender.',
    age_range STRING COMMENT 'The age range.',
    zodiac STRING COMMENT 'The zodiac sign.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    device STRING COMMENT 'The client type.',
    identity STRING COMMENT 'The access type. Valid values: crawler, feed, user, and unknown.',
    method STRING COMMENT 'The HTTP request type.',
    url STRING COMMENT 'The URL.',
    referer STRING COMMENT 'The referrer URL.',
    time STRING COMMENT 'The time in yyyymmddhh:mi:ss format.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Process the data.
   -- Scenario: Aggregates the processed log data from dwd_log_info_di and the user information from ods_user_info_d, and writes the results to the dws_user_info_all_di table.
   -- Note: DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --       In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE dws_user_info_all_di  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

3. Configurez les paramètres de débogage.

   À droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Run Configuration et configurez les paramètres suivants pour exécuter un test avec les paramètres pertinents de Run Configuration lors du débogage à l'Étape 4 Étape 4.

   Paramètre	Description
   Computing Resources	Sélectionnez la ressource de calcul MaxCompute et son quota correspondant associés lors de l'étape Préparation de l'environnement.
   Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparation de l'environnement.
   Script Parameters	Aucune configuration n'est requise. L'exemple de code fourni dans ce tutoriel utilise ${bizdate} pour représenter l'horodatage des données. À l'Étape 4 Étape 4, lorsque vous déboguez et exécutez le flux de travail, définissez This operation value sur une constante spécifique, telle que 20250223. La tâche remplacera alors la variable par cette constante lors de l'exécution.

4. (Facultatif) Configurez les propriétés de planification.

   Pour ce tutoriel, conservez les valeurs par défaut des paramètres de configuration de la planification. À droite de la page MaxCompute SQL, cliquez sur Scheduling Configuration. Pour plus d'informations sur les paramètres de configuration de la planification, consultez la section Configuration de la planification des nœuds.

   • Scheduling Parameters : Ces paramètres sont configurés au niveau du flux de travail dans ce tutoriel. Vous n'avez pas besoin de les configurer pour chaque nœud du flux de travail. Utilisez-les directement dans vos tâches ou votre code.

   • Scheduling Policy : Dans le paramètre Delayed execution time, spécifiez la durée de retard de l'exécution d'un nœud enfant après l'exécution du flux de travail. Ce paramètre n'est pas configuré dans ce tutoriel.

5. Dans la barre d'outils du nœud, cliquez sur Save.

**Configurer le nœud ads_user_info_1d**

Ce nœud traite davantage les données de la table dws_user_info_all_di, écrit les données dans la table ads_user_info_1d et génère un profil utilisateur de base.

1. Sur la page d'orchestration du flux de travail, placez le curseur sur le nœud ads_user_info_1d et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de code du nœud.

   Exemple de code pour le nœud ads_user_info_1d

   -- Create the ads_user_info_1d table.
   CREATE TABLE IF NOT EXISTS ads_user_info_1d (
    uid STRING COMMENT 'The user ID.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    device STRING COMMENT 'The client type.',
    pv BIGINT COMMENT 'The number of page views.',
    gender STRING COMMENT 'The gender.',
    age_range STRING COMMENT 'The age range.',
    zodiac STRING COMMENT 'The zodiac sign.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;    
   
   -- Process the data.
   -- Scenario: Further processes the user access information from the wide table dws_user_info_all_di to generate basic user profile data and writes it to the ads_user_info_1d table.
   -- Note: DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --       In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE ads_user_info_1d  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

3. Configurez les paramètres de débogage.

   À droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Run Configuration et configurez les paramètres suivants pour exécuter un test avec les paramètres pertinents de Run Configuration lors du débogage à l'Étape 4 Étape 4.

   Paramètre	Description
   Computing Resources	Sélectionnez la ressource de calcul MaxCompute et son quota correspondant associés lors de l'étape Préparation de l'environnement.
   Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparation de l'environnement.
   Script Parameters	Aucune configuration n'est requise. L'exemple de code fourni dans ce tutoriel utilise ${bizdate} pour représenter l'horodatage des données. À l'Étape 4 Étape 4, lorsque vous déboguez et exécutez le flux de travail, définissez This operation value sur une constante spécifique, telle que 20250223. La tâche remplacera alors la variable par cette constante lors de l'exécution.

4. (Facultatif) Configurez les propriétés de planification.

   Pour ce tutoriel, conservez les valeurs par défaut des paramètres de configuration de la planification. À droite de la page MaxCompute SQL, cliquez sur Scheduling Configuration. Pour plus d'informations sur les paramètres de configuration de la planification, consultez la section Configuration de la planification des nœuds.

   • Scheduling Parameters : Ces paramètres sont configurés au niveau du flux de travail dans ce tutoriel. Vous n'avez pas besoin de les configurer pour chaque nœud du flux de travail. Utilisez-les directement dans vos tâches ou votre code.

   • Scheduling Policy : Dans le paramètre Delayed execution time, spécifiez la durée de retard de l'exécution d'un nœud enfant après l'exécution du flux de travail. Ce paramètre n'est pas configuré dans ce tutoriel.

5. Dans la barre d'outils du nœud, cliquez sur Save.