DataWorks:Pemrosesan data

Tabel dwd_log_info_di_odps

Klik ganda tabel dwd_log_info_di_odps. Di halaman pengeditan yang terbuka, klik DDL dan masukkan pernyataan berikut.

CREATE TABLE IF NOT EXISTS dwd_log_info_di_odps (
 ip STRING COMMENT 'IP address',
 uid STRING COMMENT 'User ID',
 time STRING COMMENT 'Time in the yyyymmddhh:mi:ss format',
 status STRING COMMENT 'Status code returned by the server',
 bytes STRING COMMENT 'Number of bytes returned to the client',
 region STRING COMMENT 'Region, obtained from the IP address',
 method STRING COMMENT 'HTTP request type',
 url STRING COMMENT 'URL',
 protocol STRING COMMENT 'HTTP protocol version',
 referer STRING COMMENT 'Source URL',
 device STRING COMMENT 'Device type',
 identity STRING COMMENT 'Access type: crawler, feed, user, or unknown'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

Tabel dws_user_info_all_di_odps

Klik ganda tabel dws_user_info_all_di_odps. Di halaman pengeditan yang terbuka, klik DDL dan masukkan pernyataan berikut.

CREATE TABLE IF NOT EXISTS dws_user_info_all_di_odps (
 uid STRING COMMENT 'User ID',
 gender STRING COMMENT 'Gender',
 age_range STRING COMMENT 'Age range',
 zodiac STRING COMMENT 'Zodiac sign',
 region STRING COMMENT 'Region, obtained from the IP address',
 device STRING COMMENT 'Device type',
 identity STRING COMMENT 'Access type: crawler, feed, user, or unknown',
 method STRING COMMENT 'HTTP request type',
 url STRING COMMENT 'URL',
 referer STRING COMMENT 'Source URL',
 time STRING COMMENT 'Time in the yyyymmddhh:mi:ss format'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

Tabel ads_user_info_1d_odps

Klik ganda tabel ads_user_info_1d_odps. Di halaman pengeditan yang terbuka, klik DDL dan masukkan pernyataan berikut.

CREATE TABLE IF NOT EXISTS ads_user_info_1d_odps (
 uid STRING COMMENT 'User ID',
 region STRING COMMENT 'Region, obtained from the IP address',
 device STRING COMMENT 'Device type',
 pv BIGINT COMMENT 'Jumlah tampilan halaman (PVs)',
 gender STRING COMMENT 'Gender',
 age_range STRING COMMENT 'Age range',
 zodiac STRING COMMENT 'Zodiac sign'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;    

Node dwd_log_info_di_odps

Di kanvas alur kerja, klik ganda node dwd_log_info_di_odps. Gunakan fungsi yang telah Anda buat untuk menulis kode SQL yang memproses bidang dari tabel leluhur ods_raw_log_d_odps dan menulis output ke tabel dwd_log_info_di_odps. Untuk contoh pemrosesan data, lihat Lampiran: Contoh pemrosesan data.

1. Edit kode.

   -- Skenario: Pernyataan SQL ini menggunakan fungsi getregion untuk mengurai alamat IP dalam data log mentah. Fungsi ini juga menggunakan ekspresi reguler dan metode lain untuk memisahkan data mentah menjadi bidang-bidang yang dapat dianalisis dan menuliskannya ke tabel dwd_log_info_di_odps.
   --      Tutorial ini menyediakan fungsi getregion, yang mengonversi alamat IP menjadi wilayah.
   -- Catatan:
   --     1. Sebelum Anda dapat menggunakan fungsi di node DataWorks, Anda harus mengunggah sumber daya yang diperlukan ke DataWorks lalu mendaftarkan fungsi tersebut melalui UI menggunakan sumber daya tersebut.
   --        Sumber daya yang digunakan untuk mendaftarkan fungsi getregion dalam tutorial ini adalah ip2region.jar.
   --     2. DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi bisnis yang sesuai di tabel target dalam skenario penjadwalan.
   --        Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name}. Di halaman konfigurasi penjadwalan, Anda dapat menetapkan parameter penjadwalan ke variabel ini untuk mengaktifkan penerusan parameter dinamis selama eksekusi terjadwal.
   INSERT OVERWRITE TABLE dwd_log_info_di_odps PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region -- Gunakan UDF kustom untuk mendapatkan wilayah dari alamat IP.
     , regexp_substr(request, '(^[^ ]+ )') AS method -- Gunakan ekspresi reguler untuk membagi permintaan menjadi tiga bidang.
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- Gunakan ekspresi reguler untuk mengurai referer dan mendapatkan URL yang lebih akurat.
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- Dapatkan informasi perangkat dan jenis akses dari agent.
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d_odps  
     WHERE dt ='${bizdate}'
   ) a;

2. Konfigurasikan properti penjadwalan.

   Di halaman konfigurasi, klik Scheduling Properties di sebelah kanan untuk membuka panel Scheduling Settings, tempat Anda dapat mengonfigurasi penjadwalan dan informasi node. Untuk informasi lebih lanjut, lihat Properti Penjadwalan Node. Parameter berikut dapat dikonfigurasi:

   Parameter	Pengaturan	Ilustrasi
   Scheduling Parameter	Di bagian Scheduling Parameter, konfigurasikan parameter berikut: Parameter name: bizdate Parameter Value: $[yyyymmdd-1]	Panel parameter penjadwalan menunjukkan bahwa parameter bizdate memiliki nilai $[yyyymmdd-1] dan sumbernya adalah Parse from Code. Terdapat tombol Preview scheduling parameter di bagian bawah.
   Schedule	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Mengizinkan tugas dijalankan ulang terlepas dari keberhasilan atau kegagalannya sebelumnya. Gunakan nilai default untuk parameter lainnya. Catatan Node hanya berjalan setelah pukul 00:30 setiap hari.	Di panel Properti Waktu, metode pembuatan Instans adalah T+1 (pembuatan hari berikutnya), jenis penjadwalan adalah Penjadwalan Normal, siklus penjadwalan adalah Harian, waktu terjadwal diatur ke 00:30, properti jalankan ulang adalah Dapat dijalankan ulang saat berhasil atau gagal, dan tanggal efektif adalah Efektif Permanen.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda buat pada langkah Persiapkan lingkungan.	Di panel properti sumber daya, kelompok sumber daya penjadwalan diatur ke User_portraits (gunakan nama aktual kelompok sumber daya arsitektur tanpa server Anda).
   Dependencies	Fitur Code Auto-parsing secara otomatis menetapkan node ods_raw_log_d_odps yang menghasilkan tabel ods_raw_log_d_odps sebagai dependensi hulu dari node saat ini dwd_log_info_di_odps. Tetapkan tabel dwd_log_info_di_odps sebagai output node agar pekerjaan hilir yang mengkueri tabel ini secara otomatis bergantung pada node saat ini.	Di panel Dependensi, Auto-parse dependencies before commit diaktifkan. Node leluhur dikonfigurasi secara otomatis sebagai ods_raw_log_d_odps menggunakan Parse from code. Output node saat ini dapat berasal dari default sistem, penambahan manual, atau penguraian kode.

   Catatan

   Dependensi node leluhur: Klik Parse from code. Sistem mengurai nama tabel dari kode dan menggunakan nama output node leluhur yang sesuai, diformat sebagai Production_MaxCompute_Project_Name.TableName, sebagai Output Name of Ancestor Node.

   Output node saat ini: Klik Parse from code. Sistem mengurai nama tabel dari kode untuk menghasilkan nama output untuk node saat ini, diformat sebagai Production_MaxCompute_Project_Name.TableName. Output ini kemudian tersedia untuk node hilir.

3. Konfigurasikan pengaturan lain yang diperlukan, lalu klik ikon Simpan di bilah alat editor node.

Konfigurasikan node dws_user_info_all_di_odps

Di kanvas alur kerja, klik ganda node dws_user_info_all_di_odps. Tulis kode SQL untuk menggabungkan tabel leluhur dwd_log_info_di_odps dan ods_user_info_d_odps dan menulis hasilnya ke tabel dws_user_info_all_di_odps.

1. Edit kode.

   -- Skenario: Pernyataan SQL ini mengagregasikan data log yang telah diproses dari dwd_log_info_di_odps dan informasi pengguna dasar dari ods_user_info_d_odps, lalu menulis hasilnya ke tabel dws_user_info_all_di_odps.
   -- Catatan: DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi bisnis yang sesuai di tabel target dalam skenario penjadwalan.
   --      Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name}. Di halaman konfigurasi penjadwalan, Anda dapat menetapkan parameter penjadwalan ke variabel ini untuk mengaktifkan penerusan parameter dinamis selama eksekusi terjadwal.
   INSERT OVERWRITE TABLE dws_user_info_all_di_odps  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di_odps  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d_odps 
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

2. Konfigurasikan properti penjadwalan.

   Di halaman konfigurasi, klik Scheduling Properties di sebelah kanan untuk membuka panel Scheduling Settings dan konfigurasikan penjadwalan serta informasi node. Untuk informasi lebih lanjut, lihat Properti penjadwalan node. Item konfigurasi adalah sebagai berikut:

   Parameter	Pengaturan	Ilustrasi
   Scheduling Parameter	Di bagian Scheduling Parameter, konfigurasikan parameter berikut: Parameter name: bizdate Parameter Value: $[yyyymmdd-1]	Panel parameter penjadwalan menunjukkan bahwa parameter bizdate memiliki nilai $[yyyymmdd-1] dan sumbernya adalah Parse from Code. Terdapat tombol Preview scheduling parameter di bagian bawah.
   Schedule	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Mengizinkan tugas dijalankan ulang terlepas dari keberhasilan atau kegagalannya sebelumnya. Gunakan nilai default untuk parameter lainnya. Catatan Node hanya berjalan setelah pukul 00:30 setiap hari.	Di panel properti Waktu, Instance Generation diatur ke Generate next day (T+1), Jenis Penjadwalan adalah Normal, Siklus Penjadwalan adalah Day, Waktu Terjadwal diatur ke 00:30, Kebijakan Jalankan Ulang adalah Rerun on success or failure, dan Tanggal Efektif adalah Permanent.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda buat pada langkah Persiapkan lingkungan.	Di panel properti sumber daya, kelompok sumber daya penjadwalan diatur ke User_portraits (gunakan nama aktual kelompok sumber daya arsitektur tanpa server Anda).
   Dependencies	Sistem secara otomatis mengurai kode dan menetapkan node dwd_log_info_di_odps dan ods_user_info_d_odps yang menghasilkan tabel dwd_log_info_di_odps dan ods_user_info_d_odps sebagai dependensi hulu untuk node saat ini dws_user_info_all_di_odps. Sistem juga mendaftarkan tabel output node dws_user_info_all_di_odps sebagai output node, yang memungkinkan kueri hilir pada tabel ini secara otomatis membuat dependensi pada node saat ini.	Konfigurasi sama seperti untuk node dwd_log_info_di_odps. Node leluhur dikonfigurasi secara otomatis sebagai ods_user_info_d_odps dan dwd_log_info_di_odps dengan mengurai kode. Output node saat ini mencakup dws_user_info_all_di_odps.

   Catatan

   Dependensi node leluhur: Klik Parse from code. Sistem mengurai nama tabel dari kode dan menggunakan nama output node leluhur yang sesuai, diformat sebagai Production_MaxCompute_Project_Name.TableName, sebagai Output Name of Ancestor Node.

   Output node saat ini: Klik Parse from code. Sistem mengurai nama tabel dari kode untuk menghasilkan nama output untuk node saat ini, diformat sebagai Production_MaxCompute_Project_Name.TableName. Output ini kemudian tersedia untuk node hilir.

3. Konfigurasikan pengaturan lain yang diperlukan, lalu klik ikon Simpan di bilah alat editor node.

Konfigurasikan node ads_user_info_1d_odps

Di kanvas alur kerja, klik ganda node ads_user_info_1d_odps. Tulis kode SQL untuk memproses tabel leluhur dws_user_info_all_di_odps dan menulis hasilnya ke tabel ads_user_info_1d_odps.

1. Edit kode.

   -- Skenario: Pernyataan SQL ini memproses lebih lanjut tabel lebar dws_user_info_all_di_odps yang berisi informasi akses pengguna untuk menghasilkan data profil pengguna dasar dan menulis hasilnya ke tabel ads_user_info_1d_odps.
   -- Catatan: DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi bisnis yang sesuai di tabel target dalam skenario penjadwalan.
   --      Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name}. Di halaman konfigurasi penjadwalan, Anda dapat menetapkan parameter penjadwalan ke variabel ini untuk mengaktifkan penerusan parameter dinamis selama eksekusi terjadwal.
   INSERT OVERWRITE TABLE ads_user_info_1d_odps  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di_odps 
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

2. Konfigurasikan properti penjadwalan.

   Di halaman konfigurasi, klik scheduling properties di sebelah kanan untuk membuka panel Scheduling Settings, tempat Anda dapat mengonfigurasi penjadwalan dan informasi node. Untuk informasi lebih lanjut, lihat Properti penjadwalan node. Konfigurasi adalah sebagai berikut:

   Parameter	Pengaturan	Ilustrasi
   Scheduling Parameter	Di bagian Scheduling Parameter, konfigurasikan parameter berikut: Parameter name: bizdate Parameter Value: $[yyyymmdd-1]	Panel parameter penjadwalan menunjukkan bahwa parameter bizdate memiliki nilai $[yyyymmdd-1] dan sumbernya adalah Parse from Code. Terdapat tombol Preview scheduling parameter di bagian bawah.
   Schedule	Scheduling period: Day. Scheduling Time: 00:30. RUN Attribute: Mengizinkan tugas dijalankan ulang terlepas dari keberhasilan atau kegagalannya sebelumnya. Gunakan nilai default untuk parameter lainnya. Catatan Node hanya berjalan setelah pukul 00:30 setiap hari.	Di panel properti Waktu, Instance Generation diatur ke Generate next day (T+1), Jenis Penjadwalan adalah Normal, Siklus Penjadwalan adalah Day, Waktu Terjadwal diatur ke 00:30, Kebijakan Jalankan Ulang adalah Rerun on success or failure, dan Tanggal Efektif adalah Permanent.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda buat pada langkah Persiapkan lingkungan.	Di panel properti sumber daya, kelompok sumber daya penjadwalan diatur ke User_portraits (gunakan nama aktual kelompok sumber daya arsitektur tanpa server Anda).
   Dependencies	Fitur Auto-Parse Code secara otomatis mengonfigurasi dependensi node berdasarkan alur data. Fitur ini menetapkan node dws_user_info_all_1d_odps, yang menghasilkan tabel dws_user_info_all_1d_odps, sebagai dependensi hulu untuk node ads_user_info_1d_odps saat ini. Output node diatur ke tabel ads_user_info_1d sehingga kueri hilir ke tabel ini secara otomatis membuat dependensi pada node saat ini.	Konfigurasi sama seperti untuk node sebelumnya. Node leluhur dikonfigurasi secara otomatis sebagai dws_user_info_all_di_odps dengan mengurai kode. Output node saat ini mencakup ads_user_info_1d_odps.

   Catatan

   Dependensi node leluhur: Klik Parse from code. Sistem mengurai nama tabel dari kode dan menggunakan nama output node leluhur yang sesuai, diformat sebagai Production_MaxCompute_Project_Name.TableName, sebagai Output Name of Ancestor Node.

   Output node saat ini: Klik Parse from code. Sistem mengurai nama tabel dari kode untuk menghasilkan nama output untuk node saat ini, diformat sebagai Production_MaxCompute_Project_Name.TableName. Output ini kemudian tersedia untuk node hilir.

3. Konfigurasikan pengaturan lain yang diperlukan, lalu klik ikon Simpan di bilah alat editor node.