DataWorks：Proses data

Buat tabel dwd_log_info_di_odps

Klik dua kali tabel dwd_log_info_di_odps. Di tab konfigurasi tabel yang muncul, klik DDL dan masukkan pernyataan CREATE TABLE berikut:

CREATE TABLE IF NOT EXISTS dwd_log_info_di_odps (
 ip STRING COMMENT 'Alamat IP klien yang digunakan untuk mengirim permintaan',
 uid STRING COMMENT 'ID pengguna',
 time STRING COMMENT 'Waktu dalam format yyyymmddhh:mi:ss',
 status STRING COMMENT 'Kode status yang dikembalikan oleh server',
 bytes STRING COMMENT 'Jumlah byte yang dikembalikan ke klien',
 region STRING COMMENT 'Wilayah, yang diperoleh berdasarkan alamat IP',
 method STRING COMMENT 'Jenis permintaan HTTP',
 url STRING COMMENT 'url',
 protocol STRING COMMENT 'Nomor versi HTTP',
 referer STRING COMMENT 'URL sumber',
 device STRING COMMENT 'Jenis terminal',
 identity STRING COMMENT 'Tipe akses, yang bisa berupa crawler, feed, user, atau unknown'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

Buat tabel dws_user_info_all_di_odps

Klik dua kali tabel dws_user_info_all_di_odps. Di tab konfigurasi tabel yang muncul, klik DDL dan masukkan pernyataan CREATE TABLE berikut:

CREATE TABLE IF NOT EXISTS dws_user_info_all_di_odps (
 uid STRING COMMENT 'ID pengguna',
 gender STRING COMMENT 'Jenis kelamin',
 age_range STRING COMMENT 'Rentang usia pengguna',
 zodiac STRING COMMENT 'Zodiak',
 region STRING COMMENT 'Wilayah, yang diperoleh berdasarkan alamat IP',
 device STRING COMMENT 'Jenis terminal',
 identity STRING COMMENT 'Tipe akses, yang bisa berupa crawler, feed, user, atau unknown',
 method STRING COMMENT 'Jenis permintaan HTTP',
 url STRING COMMENT 'url',
 referer STRING COMMENT 'URL sumber',
 time STRING COMMENT 'Waktu dalam format yyyymmddhh:mi:ss'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

Buat tabel ads_user_info_1d_odps

Klik dua kali tabel ads_user_info_1d_odps. Di tab konfigurasi tabel yang muncul, klik DDL dan masukkan pernyataan CREATE TABLE berikut:

CREATE TABLE IF NOT EXISTS ads_user_info_1d_odps (
 uid STRING COMMENT 'ID pengguna',
 region STRING COMMENT 'Wilayah, yang diperoleh berdasarkan alamat IP',
 device STRING COMMENT 'Jenis terminal',
 pv BIGINT COMMENT 'pv',
 gender STRING COMMENT 'Jenis kelamin',
 age_range STRING COMMENT 'Rentang usia pengguna',
 zodiac STRING COMMENT 'Zodiak'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;    

Konfigurasi node dwd_log_info_di_odps

Di tab konfigurasi alur kerja, klik dua kali node dwd_log_info_di_odps. Di tab konfigurasi node, masukkan kode SQL yang memproses bidang di tabel leluhur ods_raw_log_d_odps dengan menggunakan fungsi yang dibuat dan menulis data yang diproses ke tabel dwd_log_info_di_odps. Untuk informasi lebih lanjut tentang cara memproses data, lihat Lampiran: Contoh Pemrosesan Data.

1. Edit kode node.

   -- Skenario: Pernyataan SQL berikut menggunakan fungsi getregion untuk mengurai alamat IP dalam data log mentah, menggunakan metode seperti ekspresi reguler untuk memisahkan data yang diurai menjadi bidang yang dapat dianalisis, lalu menulis bidang tersebut ke tabel dwd_log_info_di_odps.
   --     Dalam contoh ini, fungsi getregion yang digunakan untuk mengonversi alamat IP menjadi wilayah telah disiapkan.
   -- Catatan:
   --     1. Sebelum Anda dapat menggunakan fungsi di node DataWorks, Anda harus mengunggah sumber daya yang diperlukan untuk mendaftarkan fungsi ke DataWorks, lalu mendaftarkan fungsi tersebut secara visual menggunakan sumber daya tersebut.
   --        Dalam contoh ini, sumber daya yang digunakan untuk mendaftarkan fungsi getregion adalah ip2region.jar.
   --     2. Anda dapat mengonfigurasi parameter penjadwalan untuk node di DataWorks untuk menulis data tambahan ke partisi terkait di tabel yang diinginkan setiap hari dalam skenario penjadwalan.
   --        Dalam skenario pengembangan aktual, Anda dapat mendefinisikan variabel dalam kode node dalam format ${Nama Variabel} dan menetapkan parameter penjadwalan ke variabel pada tab Properties dari tab konfigurasi node. Dengan cara ini, nilai parameter penjadwalan dapat diganti secara dinamis dalam kode node berdasarkan konfigurasi parameter penjadwalan.
   INSERT OVERWRITE TABLE dwd_log_info_di_odps PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region -- Mendapatkan wilayah berdasarkan alamat IP menggunakan UDF.
     , regexp_substr(request, '(^[^ ]+ )') AS method -- Gunakan ekspresi reguler untuk mengekstrak tiga bidang dari permintaan.
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- Gunakan ekspresi reguler untuk memperjelas referrer untuk mendapatkan URL yang lebih akurat.
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- Mendapatkan informasi terminal dan tipe akses berdasarkan parameter agent.
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d_odps  
     WHERE dt ='${bizdate}'
   ) a;

2. Konfigurasikan properti penjadwalan.

   Di tab konfigurasi node, klik Properties di panel navigasi sisi kanan. Di tab Properties, konfigurasikan properti penjadwalan dan informasi dasar untuk node. Untuk informasi lebih lanjut, lihat Properti Penjadwalan Sebuah Node. Tabel berikut menjelaskan parameter.

   Bagian	Deskripsi	Ilustrasi
   Scheduling Parameter	Konfigurasikan parameter berikut di bagian Scheduling Parameter: Parameter Name: Atur nilainya ke bizdate. Parameter Value: Atur nilainya ke $[yyyymmdd-1].
   Schedule	Scheduling Cycle: Atur nilainya ke Hari. Scheduled time: Atur nilai menjadi 00:30. Rerun: Atur nilainya ke Izinkan Tanpa Memedulikan Status Berjalan. Gunakan nilai default untuk parameter lainnya. Catatan Waktu ketika node saat ini dijadwalkan untuk dijalankan setiap hari ditentukan oleh waktu penjadwalan node beban nol workshop_start dari alur kerja. Node saat ini dijadwalkan untuk dijalankan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih grup sumber daya serverless yang Anda beli di fase persiapan lingkungan.
   Dependencies	Atur Automatic Parsing From Code Before Node Committing ke Ya untuk mengizinkan sistem mengonfigurasi node ods_raw_log_d_odps yang menghasilkan tabel ods_raw_log_d_odps sebagai node leluhur dari node dwd_log_info_di_odps. Tabel dwd_log_info_di_odps digunakan sebagai output dari node dwd_log_info_di_odps. Dengan cara ini, node dwd_log_info_di_odps dapat dikonfigurasi secara otomatis sebagai node leluhur dari node lain ketika node tersebut menanyakan data tabel yang dihasilkan oleh node dwd_log_info_di_odps.

   Catatan

   Tentukan node leluhur dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel. Nama node output digunakan sebagai name of the output of an ancestor node.

   Tentukan output dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel, yang di-output ke node hilir.

3. Dalam contoh ini, item konfigurasi lain yang diperlukan dapat dikonfigurasi berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik ikon di bilah alat atas pada tab konfigurasi node untuk menyimpan konfigurasi node.

Konfigurasi node dws_user_info_all_di_odps

Di tab konfigurasi alur kerja, klik dua kali node dws_user_info_all_di_odps. Di tab konfigurasi node, masukkan kode SQL yang menggabungkan tabel leluhur dwd_log_info_di_odps dan ods_user_info_d_odps, lalu tulis data gabungan ke tabel dws_user_info_all_di_odps.

1. Edit kode node.

   -- Skenario: Agregasikan data log yang diproses di tabel dwd_log_info_di_odps dan informasi dasar pengguna di tabel ods_user_info_d_odps dan tulis data agregat ke tabel dws_user_info_all_di_odps.
   -- Catatan: Anda dapat mengonfigurasi parameter penjadwalan untuk node di DataWorks untuk menulis data tambahan ke partisi terkait di tabel yang diinginkan setiap hari dalam skenario penjadwalan.
   --      Dalam skenario pengembangan aktual, Anda dapat mendefinisikan variabel dalam kode node dalam format ${Nama Variabel} dan menetapkan parameter penjadwalan ke variabel pada tab Properties dari tab konfigurasi node. Dengan cara ini, nilai parameter penjadwalan dapat diganti secara dinamis dalam kode node berdasarkan konfigurasi parameter penjadwalan.
   INSERT OVERWRITE TABLE dws_user_info_all_di_odps  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di_odps  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d_odps 
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

2. Konfigurasikan properti penjadwalan.

   Di tab konfigurasi node, klik Properties di panel navigasi sisi kanan. Di tab Properties, konfigurasikan properti penjadwalan dan informasi dasar untuk node. Untuk informasi lebih lanjut, lihat Properti Penjadwalan Sebuah Node. Tabel berikut menjelaskan parameter.

   Bagian	Deskripsi	Ilustrasi
   Scheduling Parameter	Konfigurasikan parameter berikut di bagian Scheduling Parameter: Parameter Name: Atur nilainya ke bizdate. Parameter Value: Atur nilainya ke $[yyyymmdd-1].
   Schedule	Scheduling Cycle: Atur nilainya ke Hari. Scheduled time: Atur nilainya ke 00:30. Rerun: Atur nilainya ke Izinkan Tanpa Memedulikan Status Berjalan. Gunakan nilai default untuk parameter lainnya. Catatan Waktu ketika node saat ini dijadwalkan untuk dijalankan setiap hari ditentukan oleh waktu penjadwalan node beban nol workshop_start dari alur kerja. Node saat ini dijadwalkan untuk dijalankan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih grup sumber daya serverless yang Anda beli di fase persiapan lingkungan.
   Dependencies	Atur Penguraian Otomatis Dari Kode Sebelum Mengomitm Node ke Ya untuk mengizinkan sistem mengonfigurasi node dwd_log_info_di_odps dan ods_user_info_d_odps yang menghasilkan tabel dwd_log_info_di_odps dan ods_user_info_d_odps sebagai node leluhur dari node dws_user_info_all_di_odps. Tabel dws_user_info_all_di_odps digunakan sebagai output dari node dws_user_info_all_di_odps. Dengan cara ini, node dws_user_info_all_di_odps dapat dikonfigurasi secara otomatis sebagai node leluhur dari node lain ketika node tersebut menanyakan data tabel yang dihasilkan oleh node dws_user_info_all_di_odps.

   Catatan

   Tentukan node leluhur dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel. Nama node output digunakan sebagai name of the output of an ancestor node.

   Tentukan output dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel, yang di-output ke node hilir.

3. Dalam contoh ini, item konfigurasi lain yang diperlukan dapat dikonfigurasi berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik ikon di bilah alat atas pada tab konfigurasi node untuk menyimpan konfigurasi node.

Konfigurasi node ads_user_info_1d_odps

Di tab konfigurasi alur kerja, klik dua kali node ads_user_info_1d_odps. Di tab konfigurasi node, masukkan kode SQL yang memproses tabel leluhur dws_user_info_all_di_odps dan menulis data yang diproses ke tabel ads_user_info_1d_odps.

1. Edit kode node.

   -- Skenario: Pernyataan SQL berikut digunakan untuk memproses lebih lanjut tabel lebar dws_user_info_all_di_odps yang digunakan untuk menyimpan informasi akses pengguna ke tabel ads_user_info_1d_odps yang digunakan untuk menyimpan data profil pengguna dasar.
   -- Catatan: Anda dapat mengonfigurasi parameter penjadwalan untuk node di DataWorks untuk menulis data tambahan ke partisi terkait di tabel yang diinginkan setiap hari dalam skenario penjadwalan.
   --      Dalam skenario pengembangan aktual, Anda dapat mendefinisikan variabel dalam kode node dalam format ${Nama Variabel} dan menetapkan parameter penjadwalan ke variabel pada tab Properties dari tab konfigurasi node. Dengan cara ini, nilai parameter penjadwalan dapat diganti secara dinamis dalam kode node berdasarkan konfigurasi parameter penjadwalan.
   INSERT OVERWRITE TABLE ads_user_info_1d_odps  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di_odps 
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

2. Konfigurasikan properti penjadwalan.

   Di tab konfigurasi node, klik Properties di panel navigasi sisi kanan. Di tab Properties, konfigurasikan properti penjadwalan dan informasi dasar untuk node. Untuk informasi lebih lanjut, lihat Properti Penjadwalan Sebuah Node. Tabel berikut menjelaskan parameter.

   Bagian	Deskripsi	Ilustrasi
   Scheduling Parameter	Konfigurasikan parameter berikut di bagian Scheduling Parameter: Parameter Name: Atur nilainya ke bizdate. Parameter Value: Atur nilainya ke $[yyyymmdd-1].
   Schedule	Scheduling Cycle: Atur nilainya ke Hari. Scheduled time: Atur nilainya ke 00:30. Rerun: Atur nilainya ke Izinkan Tanpa Memedulikan Status Berjalan. Gunakan nilai default untuk parameter lainnya. Catatan Waktu ketika node saat ini dijadwalkan untuk dijalankan setiap hari ditentukan oleh waktu penjadwalan node beban nol workshop_start dari alur kerja. Node saat ini dijadwalkan untuk dijalankan setelah pukul 00:30 setiap hari.
   Resource Group	Pilih grup sumber daya serverless yang Anda beli di fase persiapan lingkungan.
   Dependencies	Atur Automatic Parsing From Code Before Node Committing ke Ya untuk mengizinkan sistem mengonfigurasi node dws_user_info_all_1d_odps yang menghasilkan tabel dws_user_info_all_1d_odps sebagai node leluhur dari node ads_user_info_1d_odps. Tabel ads_user_info_1d digunakan sebagai output dari node ads_user_info_1d. Dengan cara ini, node ads_user_info_1d dapat dikonfigurasi secara otomatis sebagai node leluhur dari node lain ketika node tersebut menanyakan data tabel yang dihasilkan oleh node ads_user_info_1d.

   Catatan

   Tentukan node leluhur dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel. Nama node output digunakan sebagai name of the output of an ancestor node.

   Tentukan output dari node saat ini: Klik Parse Input and Output from Code, nama tabel dalam kode diurai ke node output bernama dalam format Nama proyek MaxCompute di lingkungan produksi.Nama tabel, yang di-output ke node hilir.

3. Dalam contoh ini, item konfigurasi lain yang diperlukan dapat dikonfigurasi berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik ikon di bilah alat atas pada tab konfigurasi node untuk menyimpan konfigurasi node.