DataWorks:Proses data

Unggah resource (ip2region.jar)

1. Unduh ip2region.jar.

   Catatan

   Resource ip2region.jar merupakan contoh yang hanya ditujukan untuk tutorial ini.

2. Di panel navigasi kiri Data Studio, klik untuk menuju halaman manajemen resource. Klik > New Resource > Maxcompute Jar, tentukan nama resource, lalu buka halaman unggah resource.

   Catatan

   Nama resource tidak perlu sama dengan nama file yang diunggah.

3. Atur Document Source ke Local, klik Click Upload di samping bidang konten file, lalu pilih file ip2region.jar yang telah Anda unduh.

4. Atur Data Source ke sumber daya komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.

5. Di bilah alat node, klik Save, lalu klik Publish. Ikuti petunjuk di panel penerapan untuk menerapkan resource ke proyek MaxCompute di lingkungan pengembangan dan lingkungan produksi.

Daftarkan fungsi (getregion)

1. Di halaman manajemen resource, klik > New Function > Maxcompute Function, tentukan nama fungsi, lalu buka halaman pendaftaran fungsi. Dalam tutorial ini, fungsi diberi nama getregion.

2. Di halaman Register Function, konfigurasikan parameter yang diperlukan. Tabel berikut hanya menjelaskan parameter utama untuk tutorial ini. Pertahankan nilai default untuk parameter yang tidak tercantum.

   Parameter	Deskripsi
   Function type	Pilih OTHER.
   Data Source	Pilih sumber daya komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.
   Class Name	Masukkan org.alidata.odps.udf.Ip2Region.
   Resource List	Pilih ip2region.jar.
   Description	Mengonversi alamat IP menjadi wilayah.
   Command Format	Masukkan getregion('ip').
   Parameter Description	Alamat IP.

3. Di bilah alat node, klik Save, lalu klik Publish. Ikuti petunjuk di panel penerapan untuk menerapkan fungsi ke proyek MaxCompute di lingkungan pengembangan dan lingkungan produksi.

Konfigurasikan node dwd_log_info_di

Kode contoh untuk node ini menggunakan fungsi yang telah Anda buat untuk memproses kolom dari tabel hulu ods_raw_log_d dan menulis hasilnya ke tabel dwd_log_info_di.

1. Di panel navigasi kiri Data Studio, klik ikon untuk membuka halaman Pengembangan Data. Di bagian Project Directory, temukan alur kerja yang telah Anda buat lalu klik untuk membuka kanvas alur kerja.

2. Di kanvas alur kerja, arahkan kursor ke node dwd_log_info_di lalu klik Open Node.

3. Tempel kode berikut ke editor node.

   Kode contoh untuk node dwd_log_info_di

   -- Create table dwd_log_info_di
   CREATE TABLE IF NOT EXISTS dwd_log_info_di (
    ip STRING COMMENT 'IP address',
    uid STRING COMMENT 'User ID',
    time STRING COMMENT 'Time yyyymmddhh:mi:ss',
    status STRING COMMENT 'Server response status code',
    bytes STRING COMMENT 'Bytes returned to client',
    region STRING COMMENT 'Region, derived from IP',
    method STRING COMMENT 'HTTP request method',
    url STRING COMMENT 'url',
    protocol STRING COMMENT 'HTTP protocol version',
    referer STRING COMMENT 'Referrer URL',
    device STRING COMMENT 'Device type ',
    identity STRING COMMENT 'Access type: crawler feed user unknown'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Data processing
   -- Scenario: The following SQL uses the getregion function to parse IP addresses from the raw log data, and splits the raw data into analyzable fields using regex and other methods, then writes the results into the dwd_log_info_di table.
   --      This tutorial has prepared the getregion function for parsing IPs into regions.
   -- Notes:
   --     1. Before using a function in a DataWorks node, you need to upload the resource required for function registration to DataWorks, and then register the function using the visual interface.
   --        The resource used to register the getregion function in this tutorial is ip2region.jar.
   --     2. DataWorks provides scheduling parameters to write daily incremental data into the corresponding business partition of the target table in scheduling scenarios.
   --        In actual development, you can define code variables in the ${variable_name} format, and assign scheduling parameters to the variables on the scheduling configuration page to enable dynamic parameter passing in scheduling scenarios.
   INSERT OVERWRITE TABLE dwd_log_info_di PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region --Use the custom UDF to derive the region from the IP address.
     , regexp_substr(request, '(^[^ ]+ )') AS method --Split the request into 3 fields using regex.
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer --Clean the referer using regex to get a more precise URL.
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' --Derive device type and access type from agent.
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d  
     WHERE dt ='${bizdate}'
   ) a;

4. Konfigurasikan parameter debug.

   Di sisi kanan editor node MaxCompute SQL, klik Run Configuration dan konfigurasikan parameter berikut. Parameter ini digunakan selama eksekusi debug di Langkah 4 untuk menguji tugas dengan parameter Run Configuration.

   Item konfigurasi	Deskripsi
   Computing Resources	Pilih sumber daya komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan dan kuota komputasinya yang sesuai.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
   Script Parameters	Tidak perlu konfigurasi. Kode contoh dalam tutorial ini menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. Saat melakukan debug alur kerja di Langkah 4, atur This operation value ke konstanta tertentu (misalnya, 20250223). Tugas akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam kode.

5. (opsional) Konfigurasikan pengaturan penjadwalan.

   Untuk tutorial ini, pertahankan nilai default untuk pengaturan penjadwalan. Anda dapat mengklik Scheduling Configuration di sisi kanan halaman MaxCompute SQL. Untuk informasi selengkapnya tentang parameter pengaturan penjadwalan, lihat Schedule settings.

   • Scheduling Parameters: Tutorial ini telah mengonfigurasi parameter penjadwalan di tingkat alur kerja. Tidak diperlukan konfigurasi tambahan untuk node individual dalam alur kerja. Anda dapat langsung menggunakan parameter ini dalam tugas atau kode.

   • Scheduling Policy: Anda dapat menggunakan parameter Delayed execution time untuk menentukan berapa lama node anak harus menunggu sebelum dijalankan setelah alur kerja mulai berjalan. Tutorial ini tidak mengatur parameter ini.

6. Di bilah alat node, klik Save.

Konfigurasikan node dws_user_info_all_di

Node ini menggabungkan data dari tabel informasi pengguna (ods_user_info_d) dan tabel log yang telah diproses (dwd_log_info_di), lalu menulis hasilnya ke tabel dws_user_info_all_di.

1. Di kanvas alur kerja, arahkan kursor ke node dws_user_info_all_di lalu klik Open Node.

2. Tempel kode berikut ke editor node.

   Kode contoh untuk node dws_user_info_all_di

   -- Create table dws_user_info_all_di
   CREATE TABLE IF NOT EXISTS dws_user_info_all_di (
    uid STRING COMMENT 'User ID',
    gender STRING COMMENT 'Gender',
    age_range STRING COMMENT 'Age range',
    zodiac STRING COMMENT 'Zodiac sign',
    region STRING COMMENT 'Region, derived from IP',
    device STRING COMMENT 'Device type ',
    identity STRING COMMENT 'Access type: crawler feed user unknown',
    method STRING COMMENT 'HTTP request method',
    url STRING COMMENT 'url',
    referer STRING COMMENT 'Referrer URL',
    time STRING COMMENT 'Time yyyymmddhh:mi:ss'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;
   
   -- Data processing
   -- Scenario: Join the processed log data dwd_log_info_di with the user basic information data ods_user_info_d and write the results into the dws_user_info_all_di table.
   -- Notes: DataWorks provides scheduling parameters to write daily incremental data into the corresponding business partition of the target table in scheduling scenarios.
   --      In actual development, you can define code variables in the ${variable_name} format, and assign scheduling parameters to the variables on the scheduling configuration page to enable dynamic parameter passing in scheduling scenarios.
   INSERT OVERWRITE TABLE dws_user_info_all_di  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

3. Konfigurasikan parameter debug.

   Di sisi kanan editor node MaxCompute SQL, klik Run Configuration dan konfigurasikan parameter berikut. Parameter ini digunakan selama eksekusi debug di Langkah 4 untuk menguji tugas dengan parameter Run Configuration.

   Item konfigurasi	Deskripsi
   Computing Resources	Pilih sumber daya komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan dan kuota komputasinya yang sesuai.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
   Script Parameters	Tidak perlu konfigurasi. Kode contoh dalam tutorial ini menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. Saat melakukan debug alur kerja di Langkah 4, atur This operation value ke konstanta tertentu (misalnya, 20250223). Tugas akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam kode.

4. (opsional) Konfigurasikan pengaturan penjadwalan.

   Untuk tutorial ini, pertahankan nilai default untuk pengaturan penjadwalan. Anda dapat mengklik Scheduling Configuration di sisi kanan halaman MaxCompute SQL. Untuk informasi selengkapnya tentang parameter pengaturan penjadwalan, lihat Schedule settings.

   • Scheduling Parameters: Tutorial ini telah mengonfigurasi parameter penjadwalan di tingkat alur kerja. Tidak diperlukan konfigurasi tambahan untuk node individual dalam alur kerja. Anda dapat langsung menggunakan parameter ini dalam tugas atau kode.

   • Scheduling Policy: Anda dapat menggunakan parameter Delayed execution time untuk menentukan berapa lama node anak harus menunggu sebelum dijalankan setelah alur kerja mulai berjalan. Tutorial ini tidak mengatur parameter ini.

5. Di bilah alat node, klik Save.

Konfigurasikan node ads_user_info_1d

Node ini memproses lebih lanjut data dari tabel dws_user_info_all_di dan menulis hasilnya ke tabel ads_user_info_1d untuk menghasilkan profil pengguna dasar.

1. Di kanvas alur kerja, arahkan kursor ke node ads_user_info_1d lalu klik Open Node.

2. Tempel kode berikut ke editor node.

   Kode contoh untuk node ads_user_info_1d

   -- Create table ads_user_info_1d
   CREATE TABLE IF NOT EXISTS ads_user_info_1d (
    uid STRING COMMENT 'User ID',
    region STRING COMMENT 'Region, derived from IP',
    device STRING COMMENT 'Device type ',
    pv BIGINT COMMENT 'pv',
    gender STRING COMMENT 'Gender',
    age_range STRING COMMENT 'Age range',
    zodiac STRING COMMENT 'Zodiac sign'
   )
   PARTITIONED BY (
    dt STRING
   )
   LIFECYCLE 14;    
   
   -- Data processing
   -- Scenario: The following SQL further processes the user access information wide table dws_user_info_all_di to produce basic user profile data and writes it into the ads_user_info_1d table.
   -- Notes: DataWorks provides scheduling parameters to write daily incremental data into the corresponding business partition of the target table in scheduling scenarios.
   --      In actual development, you can define code variables in the ${variable_name} format, and assign scheduling parameters to the variables on the scheduling configuration page to enable dynamic parameter passing in scheduling scenarios.
   INSERT OVERWRITE TABLE ads_user_info_1d  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

3. Konfigurasikan parameter debug.

   Di sisi kanan editor node MaxCompute SQL, klik Run Configuration dan konfigurasikan parameter berikut. Parameter ini digunakan selama eksekusi debug di Langkah 4 untuk menguji tugas dengan parameter Run Configuration.

   Item konfigurasi	Deskripsi
   Computing Resources	Pilih sumber daya komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan dan kuota komputasinya yang sesuai.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
   Script Parameters	Tidak perlu konfigurasi. Kode contoh dalam tutorial ini menggunakan ${bizdate} untuk merepresentasikan tanggal bisnis. Saat melakukan debug alur kerja di Langkah 4, atur This operation value ke konstanta tertentu (misalnya, 20250223). Tugas akan menggunakan konstanta ini untuk menggantikan variabel yang didefinisikan dalam kode.

4. (opsional) Konfigurasikan pengaturan penjadwalan.

   Untuk tutorial ini, pertahankan nilai default untuk pengaturan penjadwalan. Anda dapat mengklik Scheduling Configuration di sisi kanan halaman MaxCompute SQL. Untuk informasi selengkapnya tentang parameter pengaturan penjadwalan, lihat Schedule settings.

   • Scheduling Parameters: Tutorial ini telah mengonfigurasi parameter penjadwalan di tingkat alur kerja. Tidak diperlukan konfigurasi tambahan untuk node individual dalam alur kerja. Anda dapat langsung menggunakan parameter ini dalam tugas atau kode.

   • Scheduling Policy: Anda dapat menggunakan parameter Delayed execution time untuk menentukan berapa lama node anak harus menunggu sebelum dijalankan setelah alur kerja mulai berjalan. Tutorial ini tidak mengatur parameter ini.

5. Di bilah alat node, klik Save.