DataWorks:Processar dados

**Fazer upload de um resource (ip2region.jar)**

1. Baixe o pacote ip2region.jar.

   Nota

   O resource de exemplo ip2region.jar destina-se apenas ao uso neste tutorial.

2. No painel de navegação à esquerda da página do DataStudio, clique no ícone para abrir a página RESOURCE MANAGEMENT. Clique em > New Resource > MaxCompute Jar. Após definir um nome para o resource, a página de upload será exibida.

   Nota

   O nome do resource não precisa corresponder ao nome do arquivo carregado.

3. Em Document Source, selecione Local, clique em Click Upload e escolha o arquivo ip2region.jar baixado anteriormente.

4. Em Data Source, selecione o recurso de computação do MaxCompute vinculado na etapa {{XREF_6}}.

5. Na barra de ferramentas do nó, clique em Save e, em seguida, em Publish. Siga as instruções no painel de publicação para publicar o resource nos projetos do MaxCompute dos ambientes de desenvolvimento e produção.

**Registrar a UDF (getregion)**

1. Na página Resource Management, clique em > New Function > MaxCompute Function, defina um nome para o resource e você será direcionado à página Register Function (neste tutorial, a função recebe o nome de getregion).

2. Na página Create Function, configure os parâmetros descritos na tabela abaixo. Mantenha os valores padrão para todos os outros parâmetros.

   Parâmetro	Descrição
   Function type	Selecione OTHER.
   Data Source	Selecione o recurso de computação do MaxCompute associado na etapa {{XREF_7}}.
   Class Name	Insira org.alidata.odps.udf.Ip2Region.
   Resource List	Selecione ip2region.jar.
   Description	Converte um endereço IP em uma região.
   Command Format	Insira getregion('ip').
   Parameter Description	Endereço IP.

3. Clique em Save na barra de ferramentas do nó e, em seguida, em Publish. No painel de publicação, siga as instruções para publicar a função nos projetos do MaxCompute dos ambientes de desenvolvimento e produção.

**Configurar o nó dwd_log_info_di**

No código de exemplo deste nó, o SQL utiliza a função criada para processar campos da tabela upstream ods_raw_log_d e grava os resultados na tabela dwd_log_info_di.

1. No painel de navegação à esquerda do DataStudio, clique no ícone para abrir a página de desenvolvimento de dados. Na seção Project Directory, localize o fluxo de trabalho criado e clique em seu nome para abrir a tela de orquestração.

2. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó dwd_log_info_di e clique em Open Node.

3. Cole o código a seguir no editor de código do nó.

   Código de exemplo para o nó dwd_log_info_di

   -- Create the dwd_log_info_di table.
   CREATE TABLE IF NOT EXISTS dwd_log_info_di (
    ip STRING COMMENT 'The IP address.',
    uid STRING COMMENT 'The user ID.',
    time STRING COMMENT 'The time in yyyymmddhh:mi:ss format.',
    status STRING COMMENT 'The status code returned by the server.',
    bytes STRING COMMENT 'The number of bytes returned to the client.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    method STRING COMMENT 'The HTTP request type.',
    url STRING COMMENT 'The URL.',
    protocol STRING COMMENT 'The HTTP protocol version.',
    referer STRING COMMENT 'The referrer URL.',
    device STRING COMMENT 'The client type.',
    identity STRING COMMENT 'The access type. Valid values: crawler, feed, user, and unknown.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Process the data.
   -- Scenario: The following SQL statements use the getregion function to parse the IP address in the raw log data. 
   -- It also uses methods like regular expressions to split the raw data into analyzable fields and writes them to the dwd_log_info_di table.
   -- The getregion function, which is used to resolve IP addresses into regions, is provided for this tutorial.
   -- Note:
   --     1. Before you use a UDF in a DataWorks node, you must upload the required resource to DataWorks and then register the function by using that resource.
   --        The resource used to register the getregion function in this tutorial is ip2region.jar.
   --     2. DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --        In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE dwd_log_info_di PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region -- Use the UDF to obtain the region from the IP address.
     , regexp_substr(request, '(^[^ ]+ )') AS method -- Use a regular expression to split the request into three fields.
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- Use a regular expression to clean the referer and get a more precise URL.
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- Obtain client and access type information from the agent.
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d  
     WHERE dt ='${bizdate}'
   ) a;

4. Configure os parâmetros de depuração.

   No lado direito do editor de nós MaxCompute SQL, clique em Run Configuration e defina os parâmetros abaixo para executar um teste com os parâmetros relevantes de Run Configuration durante a depuração em {{XREF_8}}.

   Parâmetro	Descrição
   Computing Resources	Selecione o recurso de computação do MaxCompute e sua cota correspondente associados na etapa {{XREF_9}}.
   Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_10}}.
   Script Parameters	Nenhuma configuração é necessária. O código de exemplo fornecido neste tutorial usa ${bizdate} para representar o timestamp dos dados. Em {{XREF_11}}, ao depurar e executar o fluxo de trabalho, defina This operation value como uma constante específica, como 20250223. A tarefa substituirá a variável por essa constante durante a execução.

5. (Opcional) Configure as propriedades de agendamento.

   Para este tutorial, mantenha os valores padrão dos parâmetros de configuração de agendamento. No lado direito da página MaxCompute SQL, clique em Scheduling Configuration. Para mais detalhes sobre esses parâmetros, consulte {{XREF_12}}.

   • Scheduling Parameters: Estes parâmetros são configurados no nível do fluxo de trabalho neste tutorial. Não é necessário configurá-los individualmente para cada nó. Utilize-os diretamente em suas tarefas ou códigos.

   • Scheduling Policy: No parâmetro Delayed execution time, especifique o tempo de atraso para a execução de um nó filho após a execução do fluxo de trabalho. Esta configuração não é definida neste tutorial.

6. Na barra de ferramentas do nó, clique em Save.

**Configurar o nó dws_user_info_all_di**

Este nó consolida a tabela de informações básicas do usuário (ods_user_info_d) e a tabela de dados de log processados inicialmente (dwd_log_info_di), gravando os dados na tabela dws_user_info_all_di.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó dws_user_info_all_di e clique em Open Node.

2. Cole o código a seguir no editor de código do nó.

   Código de exemplo para o nó dws_user_info_all_di

   -- Create the dws_user_info_all_di table.
   CREATE TABLE IF NOT EXISTS dws_user_info_all_di (
    uid STRING COMMENT 'The user ID.',
    gender STRING COMMENT 'The gender.',
    age_range STRING COMMENT 'The age range.',
    zodiac STRING COMMENT 'The zodiac sign.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    device STRING COMMENT 'The client type.',
    identity STRING COMMENT 'The access type. Valid values: crawler, feed, user, and unknown.',
    method STRING COMMENT 'The HTTP request type.',
    url STRING COMMENT 'The URL.',
    referer STRING COMMENT 'The referrer URL.',
    time STRING COMMENT 'The time in yyyymmddhh:mi:ss format.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Process the data.
   -- Scenario: Aggregates the processed log data from dwd_log_info_di and the user information from ods_user_info_d, and writes the results to the dws_user_info_all_di table.
   -- Note: DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --       In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE dws_user_info_all_di  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

3. Configure os parâmetros de depuração.

   No lado direito do editor de nós MaxCompute SQL, clique em Run Configuration e defina os parâmetros abaixo para executar um teste com os parâmetros relevantes de Run Configuration durante a depuração em {{XREF_13}}.

   Parâmetro	Descrição
   Computing Resources	Selecione o recurso de computação do MaxCompute e sua cota correspondente associados na etapa {{XREF_14}}.
   Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_15}}.
   Script Parameters	Nenhuma configuração é necessária. O código de exemplo fornecido neste tutorial usa ${bizdate} para representar o timestamp dos dados. Em {{XREF_16}}, ao depurar e executar o fluxo de trabalho, defina This operation value como uma constante específica, como 20250223. A tarefa substituirá a variável por essa constante durante a execução.

4. (Opcional) Configure as propriedades de agendamento.

   Para este tutorial, mantenha os valores padrão dos parâmetros de configuração de agendamento. No lado direito da página MaxCompute SQL, clique em Scheduling Configuration. Para mais detalhes sobre esses parâmetros, consulte {{XREF_17}}.

   • Scheduling Parameters: Estes parâmetros são configurados no nível do fluxo de trabalho neste tutorial. Não é necessário configurá-los individualmente para cada nó. Utilize-os diretamente em suas tarefas ou códigos.

   • Scheduling Policy: No parâmetro Delayed execution time, especifique o tempo de atraso para a execução de um nó filho após a execução do fluxo de trabalho. Esta configuração não é definida neste tutorial.

5. Na barra de ferramentas do nó, clique em Save.

**Configurar o nó ads_user_info_1d**

Este nó processa adicionalmente os dados da tabela dws_user_info_all_di, grava os dados na tabela ads_user_info_1d e gera um perfil básico de usuário.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó ads_user_info_1d e clique em Open Node.

2. Cole o código a seguir no editor de código do nó.

   Código de exemplo para o nó ads_user_info_1d

   -- Create the ads_user_info_1d table.
   CREATE TABLE IF NOT EXISTS ads_user_info_1d (
    uid STRING COMMENT 'The user ID.',
    region STRING COMMENT 'The region, obtained from the IP address.',
    device STRING COMMENT 'The client type.',
    pv BIGINT COMMENT 'The number of page views.',
    gender STRING COMMENT 'The gender.',
    age_range STRING COMMENT 'The age range.',
    zodiac STRING COMMENT 'The zodiac sign.'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;    
   
   -- Process the data.
   -- Scenario: Further processes the user access information from the wide table dws_user_info_all_di to generate basic user profile data and writes it to the ads_user_info_1d table.
   -- Note: DataWorks provides scheduling parameters that allow you to write daily incremental data to the corresponding data timestamp partition of a destination table.
   --       In a real-world development scenario, you can define code variables in the ${variable_name} format and assign scheduling parameters as values on the Properties tab. This enables dynamic parameter substitution when the task is run.
   INSERT OVERWRITE TABLE ads_user_info_1d  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

3. Configure os parâmetros de depuração.

   No lado direito do editor de nós MaxCompute SQL, clique em Run Configuration e defina os parâmetros abaixo para executar um teste com os parâmetros relevantes de Run Configuration durante a depuração em {{XREF_18}}.

   Parâmetro	Descrição
   Computing Resources	Selecione o recurso de computação do MaxCompute e sua cota correspondente associados na etapa {{XREF_19}}.
   Resource Group	Selecione o grupo de recursos serverless adquirido na etapa {{XREF_20}}.
   Script Parameters	Nenhuma configuração é necessária. O código de exemplo fornecido neste tutorial usa ${bizdate} para representar o timestamp dos dados. Em {{XREF_21}}, ao depurar e executar o fluxo de trabalho, defina This operation value como uma constante específica, como 20250223. A tarefa substituirá a variável por essa constante durante a execução.

4. (Opcional) Configure as propriedades de agendamento.

   Para este tutorial, mantenha os valores padrão dos parâmetros de configuração de agendamento. No lado direito da página MaxCompute SQL, clique em Scheduling Configuration. Para mais detalhes sobre esses parâmetros, consulte {{XREF_22}}.

   • Scheduling Parameters: Estes parâmetros são configurados no nível do fluxo de trabalho neste tutorial. Não é necessário configurá-los individualmente para cada nó. Utilize-os diretamente em suas tarefas ou códigos.

   • Scheduling Policy: No parâmetro Delayed execution time, especifique o tempo de atraso para a execução de um nó filho após a execução do fluxo de trabalho. Esta configuração não é definida neste tutorial.

5. Na barra de ferramentas do nó, clique em Save.