Tutorial analisis profil pengguna: Proses data dengan DataStudio dan MaxCompute - DataWorks

Topik ini menjelaskan cara menggunakan node MaxCompute di DataWorks untuk memproses tabel informasi pengguna ods_user_info_d dan data log akses ods_raw_log_d yang telah disinkronkan ke MaxCompute guna menghasilkan data profil pengguna target. Setelah membaca topik ini, Anda akan memahami cara menggunakan kombinasi DataWorks dan MaxCompute untuk menghitung serta menganalisis data yang telah disinkronkan dan menyelesaikan skenario pemrosesan data sederhana dalam gudang data.

Prasyarat

Sebelum memulai, selesaikan langkah-langkah dalam Sinkronisasi data.

Langkah 1: Bangun alur kerja pemrosesan data

Setelah menyinkronkan data ke MaxCompute dalam langkah Sinkronisasi data, kini Anda akan memprosesnya untuk menghasilkan profil pengguna dasar.

Pada panel navigasi kiri DataStudio, klik ikon untuk membuka halaman pengembangan data. Di bagian Project Directory, temukan alur kerja yang telah Anda buat dan klik namanya untuk membuka kanvas alur kerja.

Tabel berikut menjelaskan contoh node dan fungsinya dalam tutorial ini.

Type	Name	Description
MaxCompute SQL	`dwd_log_info_di`	Gunakan fungsi bawaan dan UDF seperti `getregion` untuk memisahkan data log mentah dari `ods_raw_log_d` dan menuliskannya ke tabel `dwd_log_info_di` ke beberapa bidang.
MaxCompute SQL	`dws_user_info_all_di`	Rangkum tabel informasi dasar pengguna (`ods_user_info_d`) dan tabel data log yang telah diproses awal (`dwd_log_info_di`), lalu tulis datanya ke tabel `dws_user_info_all_di`.
MaxCompute SQL	`ads_user_info_1d`	Lanjutkan pemrosesan data dari tabel `dws_user_info_all_di` dan tulis hasilnya ke tabel `ads_user_info_1d` untuk menghasilkan profil pengguna dasar.

Catatan
Dalam alur kerja, Anda dapat menggambar garis secara manual untuk mengatur dependensi penjadwalan antar node. Anda juga dapat membiarkan sistem mengidentifikasi dependensi secara otomatis dengan mengurai kode di node anak. Tutorial ini menggunakan metode koneksi manual. Untuk informasi selengkapnya tentang penguraian kode, lihat Penguraian dependensi otomatis.

Langkah 2: Daftarkan UDF

Untuk memastikan tugas pemrosesan data berjalan lancar, Anda perlu mendaftarkan UDF MaxCompute (getregion) guna mengurai struktur data log yang disinkronkan ke MaxCompute selama tahap Sinkronisasi Data menjadi sebuah tabel.

Penting

Tutorial ini menyediakan resource yang diperlukan untuk fungsi yang memetakan alamat IP ke wilayah. Unduh resource tersebut ke mesin lokal Anda dan unggah ke ruang kerja DataWorks sebelum mendaftarkan fungsi tersebut.
Fungsi dan contoh resource IP hanya untuk keperluan tutorial. Untuk kasus penggunaan produksi yang memerlukan pemetaan alamat IP ke lokasi geografis, Anda harus memperoleh layanan konversi IP dari penyedia profesional.

Unggah resource (`ip2region.jar`)

Unduh paket ip2region.jar.

Catatan
Contoh resource ip2region.jar hanya untuk keperluan tutorial.
Pada panel navigasi kiri halaman DataStudio, klik ikon untuk membuka halaman RESOURCE MANAGEMENT. Klik > New Resource > MaxCompute Jar. Setelah menetapkan nama untuk resource, halaman unggah resource akan muncul.

Catatan
Nama resource tidak perlu sama dengan nama file yang diunggah.
Untuk Document Source, pilih Local, klik Click Upload, lalu pilih file ip2region.jar yang telah Anda unduh secara lokal.
Untuk Data Source, pilih resource komputasi MaxCompute yang telah Anda ikat pada tahap Persiapkan lingkungan.
Pada bilah alat node, klik Save lalu klik Publish. Ikuti petunjuk pada panel publish untuk menerbitkan resource ke proyek MaxCompute untuk lingkungan pengembangan dan produksi.

Daftarkan UDF (`getregion`)

Pada halaman Resource Management, klik > New Function > MaxCompute Function, tetapkan nama untuk resource, lalu Anda akan diarahkan ke halaman Register Function (dalam tutorial ini, fungsi diberi nama getregion).

Pada halaman Create Function, konfigurasikan parameter yang dijelaskan dalam tabel berikut. Anda dapat mempertahankan nilai default untuk semua parameter lainnya.

Parameter	Description
Function type	Pilih `OTHER`.
Data Source	Pilih resource komputasi MaxCompute yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.
Class Name	Masukkan `org.alidata.odps.udf.Ip2Region`.
Resource List	Pilih `ip2region.jar`.
Description	Konversi alamat IP menjadi wilayah.
Command Format	Masukkan `getregion('ip')`.
Parameter Description	Alamat IP.

Klik Save pada bilah alat node, lalu klik Publish. Pada panel penerbitan, ikuti petunjuk untuk menerbitkan fungsi ke proyek MaxCompute untuk lingkungan pengembangan dan produksi.

Langkah 3: Konfigurasikan node pemrosesan data

Pemrosesan data mengharuskan Anda menerapkan logika untuk setiap lapisan dengan menjadwalkan job MaxCompute SQL. Tutorial ini menyediakan kode SQL contoh lengkap untuk mengonfigurasi node dwd_log_info_di, dws_user_info_all_di, dan ads_user_info_1d secara berurutan.

Konfigurasikan node `dwd_log_info_di`

Dalam kode contoh untuk node ini, kode SQL menggunakan fungsi yang telah dibuat untuk memproses bidang dari tabel hulu ods_raw_log_d dan menuliskan hasilnya ke tabel dwd_log_info_di.

Pada panel navigasi kiri DataStudio, klik ikon untuk membuka halaman pengembangan data. Di bagian Project Directory, temukan alur kerja yang telah Anda buat dan klik namanya untuk membuka kanvas alur kerja.
Pada halaman orkestrasi alur kerja, arahkan kursor ke node dwd_log_info_di, lalu klik Open Node.

Tempel kode berikut ke editor kode node.

Kode contoh untuk node dwd_log_info_di

-- Buat tabel dwd_log_info_di.
CREATE TABLE IF NOT EXISTS dwd_log_info_di (
 ip STRING COMMENT 'Alamat IP.',
 uid STRING COMMENT 'ID pengguna.',
 time STRING COMMENT 'Waktu dalam format yyyymmddhh:mi:ss.',
 status STRING COMMENT 'Kode status yang dikembalikan oleh server.',
 bytes STRING COMMENT 'Jumlah byte yang dikembalikan ke klien.',
 region STRING COMMENT 'Wilayah, diperoleh dari alamat IP.',
 method STRING COMMENT 'Jenis permintaan HTTP.',
 url STRING COMMENT 'URL.',
 protocol STRING COMMENT 'Versi protokol HTTP.',
 referer STRING COMMENT 'URL referrer.',
 device STRING COMMENT 'Jenis klien.',
 identity STRING COMMENT 'Jenis akses. Nilai yang valid: crawler, feed, user, dan unknown.'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

-- Proses data.
-- Skenario: Pernyataan SQL berikut menggunakan fungsi getregion untuk mengurai alamat IP dalam data log mentah. 
-- Fungsi ini juga menggunakan metode seperti ekspresi reguler untuk memisahkan data mentah menjadi bidang-bidang yang dapat dianalisis dan menuliskannya ke tabel dwd_log_info_di.
-- Fungsi getregion, yang digunakan untuk menyelesaikan alamat IP menjadi wilayah, disediakan untuk tutorial ini.
-- Catatan:
--     1. Sebelum menggunakan UDF di node DataWorks, Anda harus mengunggah resource yang diperlukan ke DataWorks lalu mendaftarkan fungsi tersebut menggunakan resource tersebut.
--        Resource yang digunakan untuk mendaftarkan fungsi getregion dalam tutorial ini adalah ip2region.jar.
--     2. DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi waktu data yang sesuai di tabel tujuan.
--        Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name} dan memberikan parameter penjadwalan sebagai nilai pada tab Properties. Hal ini memungkinkan substitusi parameter dinamis saat tugas dijalankan.
INSERT OVERWRITE TABLE dwd_log_info_di PARTITION (dt='${bizdate}')
SELECT ip 
  , uid
  , time
  , status
  , bytes 
  , getregion(ip) AS region -- Gunakan UDF untuk mendapatkan wilayah dari alamat IP.
  , regexp_substr(request, '(^[^ ]+ )') AS method -- Gunakan ekspresi reguler untuk membagi permintaan menjadi tiga bidang.
  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
  , regexp_substr(request, '([^ ]+$)') AS protocol 
  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- Gunakan ekspresi reguler untuk membersihkan referer dan mendapatkan URL yang lebih tepat.
  , CASE
    WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- Dapatkan informasi jenis klien dan akses dari agent.
    WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
    WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
    WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
    WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
    WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
    ELSE 'unknown'
  END AS device
  , CASE
    WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
    WHEN TOLOWER(agent) RLIKE 'feed'
    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
    WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
    AND agent RLIKE '^[Mozilla|Opera]'
    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
    ELSE 'unknown'
  END AS identity
  FROM (
    SELECT SPLIT(col, '##@@')[0] AS ip
    , SPLIT(col, '##@@')[1] AS uid
    , SPLIT(col, '##@@')[2] AS time
    , SPLIT(col, '##@@')[3] AS request
    , SPLIT(col, '##@@')[4] AS status
    , SPLIT(col, '##@@')[5] AS bytes
    , SPLIT(col, '##@@')[6] AS referer
    , SPLIT(col, '##@@')[7] AS agent
  FROM ods_raw_log_d  
  WHERE dt ='${bizdate}'
) a;

Konfigurasikan parameter debugging.

Di sisi kanan editor node MaxCompute SQL, klik Run Configuration dan konfigurasikan parameter berikut untuk menjalankan pengujian dengan parameter relevan dari Run Configuration selama debugging di Langkah 4.

Parameter	Description
Computing Resources	Pilih resource komputasi MaxCompute dan kuota yang sesuai yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.
Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
Script Parameters	Tidak perlu konfigurasi. Kode contoh yang disediakan dalam tutorial ini menggunakan `${bizdate}` untuk merepresentasikan waktu data. Di Langkah 4, saat Anda melakukan debugging dan menjalankan alur kerja, atur This operation value ke konstanta tertentu, misalnya `20250223`. Tugas tersebut kemudian akan mengganti variabel dengan konstanta ini selama waktu proses.

(Opsional) Konfigurasikan properti penjadwalan.

Untuk tutorial ini, Anda dapat mempertahankan nilai default untuk parameter konfigurasi penjadwalan. Di sisi kanan halaman MaxCompute SQL, klik Scheduling Configuration. Untuk informasi selengkapnya tentang parameter konfigurasi penjadwalan, lihat Node Scheduling Configuration.
- Scheduling Parameters: Parameter ini dikonfigurasi di tingkat alur kerja dalam tutorial ini. Anda tidak perlu mengonfigurasinya untuk setiap node dalam alur kerja. Anda dapat menggunakannya langsung dalam tugas atau kode Anda.
- Scheduling Policy: Pada parameter Delayed execution time, Anda dapat menentukan berapa lama menunda eksekusi node anak setelah alur kerja dijalankan. Pengaturan ini tidak dikonfigurasi dalam tutorial ini.
Pada bilah alat node, klik Save.

Konfigurasikan node `dws_user_info_all_di`

Node ini merangkum tabel informasi dasar pengguna (ods_user_info_d) dan tabel data log yang telah diproses awal (dwd_log_info_di), lalu menuliskan datanya ke tabel dws_user_info_all_di.

Pada halaman orkestrasi alur kerja, arahkan kursor ke node dws_user_info_all_di, lalu klik Open Node.

Tempel kode berikut ke editor kode node.

Kode contoh untuk node dws_user_info_all_di

-- Buat tabel dws_user_info_all_di.
CREATE TABLE IF NOT EXISTS dws_user_info_all_di (
 uid STRING COMMENT 'ID pengguna.',
 gender STRING COMMENT 'Jenis kelamin.',
 age_range STRING COMMENT 'Rentang usia.',
 zodiac STRING COMMENT 'Tanda zodiak.',
 region STRING COMMENT 'Wilayah, diperoleh dari alamat IP.',
 device STRING COMMENT 'Jenis klien.',
 identity STRING COMMENT 'Jenis akses. Nilai yang valid: crawler, feed, user, dan unknown.',
 method STRING COMMENT 'Jenis permintaan HTTP.',
 url STRING COMMENT 'URL.',
 referer STRING COMMENT 'URL referrer.',
 time STRING COMMENT 'Waktu dalam format yyyymmddhh:mi:ss.'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

-- Proses data.
-- Skenario: Menggabungkan data log yang telah diproses dari dwd_log_info_di dan informasi pengguna dari ods_user_info_d, lalu menuliskan hasilnya ke tabel dws_user_info_all_di.
-- Catatan: DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi waktu data yang sesuai di tabel tujuan.
--       Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name} dan memberikan parameter penjadwalan sebagai nilai pada tab Properties. Hal ini memungkinkan substitusi parameter dinamis saat tugas dijalankan.
INSERT OVERWRITE TABLE dws_user_info_all_di  PARTITION (dt='${bizdate}')
SELECT COALESCE(a.uid, b.uid) AS uid
  , b.gender
  , b.age_range
  , b.zodiac
  , a.region
  , a.device
  , a.identity
  , a.method
  , a.url
  , a.referer
  , a.time
FROM (
  SELECT *
  FROM dwd_log_info_di  
  WHERE dt = '${bizdate}'
) a
LEFT OUTER JOIN (
  SELECT *
  FROM ods_user_info_d
  WHERE dt = '${bizdate}'
) b
ON a.uid = b.uid;

Konfigurasikan parameter debugging.

Parameter	Description
Computing Resources	Pilih resource komputasi MaxCompute dan kuota yang sesuai yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.
Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
Script Parameters	Tidak perlu konfigurasi. Kode contoh yang disediakan dalam tutorial ini menggunakan `${bizdate}` untuk merepresentasikan waktu data. Di Langkah 4, saat Anda melakukan debugging dan menjalankan alur kerja, atur This operation value ke konstanta tertentu, misalnya `20250223`. Tugas tersebut kemudian akan mengganti variabel dengan konstanta ini selama waktu proses.

(Opsional) Konfigurasikan properti penjadwalan.

Untuk tutorial ini, Anda dapat mempertahankan nilai default untuk parameter konfigurasi penjadwalan. Di sisi kanan halaman MaxCompute SQL, klik Scheduling Configuration. Untuk informasi selengkapnya tentang parameter konfigurasi penjadwalan, lihat Node Scheduling Configuration.
- Scheduling Parameters: Parameter ini dikonfigurasi di tingkat alur kerja dalam tutorial ini. Anda tidak perlu mengonfigurasinya untuk setiap node dalam alur kerja. Anda dapat menggunakannya langsung dalam tugas atau kode Anda.
- Scheduling Policy: Pada parameter Delayed execution time, Anda dapat menentukan berapa lama menunda eksekusi node anak setelah alur kerja dijalankan. Pengaturan ini tidak dikonfigurasi dalam tutorial ini.
Pada bilah alat node, klik Save.

Konfigurasikan node `ads_user_info_1d`

Node ini melanjutkan pemrosesan data dari tabel dws_user_info_all_di, menuliskan datanya ke tabel ads_user_info_1d, dan menghasilkan profil pengguna dasar.

Pada halaman orkestrasi alur kerja, arahkan kursor ke node ads_user_info_1d, lalu klik Open Node.

Tempel kode berikut ke editor kode node.

Kode contoh untuk node ads_user_info_1d

-- Buat tabel ads_user_info_1d.
CREATE TABLE IF NOT EXISTS ads_user_info_1d (
 uid STRING COMMENT 'ID pengguna.',
 region STRING COMMENT 'Wilayah, diperoleh dari alamat IP.',
 device STRING COMMENT 'Jenis klien.',
 pv BIGINT COMMENT 'Jumlah tampilan halaman.',
 gender STRING COMMENT 'Jenis kelamin.',
 age_range STRING COMMENT 'Rentang usia.',
 zodiac STRING COMMENT 'Tanda zodiak.'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;    

-- Proses data.
-- Skenario: Melanjutkan pemrosesan informasi akses pengguna dari tabel lebar dws_user_info_all_di untuk menghasilkan data profil pengguna dasar dan menuliskannya ke tabel ads_user_info_1d.
-- Catatan: DataWorks menyediakan parameter penjadwalan yang memungkinkan Anda menulis data inkremental harian ke partisi waktu data yang sesuai di tabel tujuan.
--       Dalam skenario pengembangan dunia nyata, Anda dapat mendefinisikan variabel kode dalam format ${variable_name} dan memberikan parameter penjadwalan sebagai nilai pada tab Properties. Hal ini memungkinkan substitusi parameter dinamis saat tugas dijalankan.
INSERT OVERWRITE TABLE ads_user_info_1d  PARTITION (dt='${bizdate}')
SELECT uid
  , MAX(region)
  , MAX(device)
  , COUNT(0) AS pv
  , MAX(gender)
  , MAX(age_range)
  , MAX(zodiac)
FROM dws_user_info_all_di
WHERE dt = '${bizdate}'
GROUP BY uid;

Konfigurasikan parameter debugging.

Parameter	Description
Computing Resources	Pilih resource komputasi MaxCompute dan kuota yang sesuai yang telah Anda asosiasikan pada langkah Persiapkan lingkungan.
Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang telah Anda beli pada langkah Persiapkan lingkungan.
Script Parameters	Tidak perlu konfigurasi. Kode contoh yang disediakan dalam tutorial ini menggunakan `${bizdate}` untuk merepresentasikan waktu data. Di Langkah 4, saat Anda melakukan debugging dan menjalankan alur kerja, atur This operation value ke konstanta tertentu, misalnya `20250223`. Tugas tersebut kemudian akan mengganti variabel dengan konstanta ini selama waktu proses.

(Opsional) Konfigurasikan properti penjadwalan.

Untuk tutorial ini, Anda dapat mempertahankan nilai default untuk parameter konfigurasi penjadwalan. Di sisi kanan halaman MaxCompute SQL, klik Scheduling Configuration. Untuk informasi selengkapnya tentang parameter konfigurasi penjadwalan, lihat Node Scheduling Configuration.
- Scheduling Parameters: Parameter ini dikonfigurasi di tingkat alur kerja dalam tutorial ini. Anda tidak perlu mengonfigurasinya untuk setiap node dalam alur kerja. Anda dapat menggunakannya langsung dalam tugas atau kode Anda.
- Scheduling Policy: Pada parameter Delayed execution time, Anda dapat menentukan berapa lama menunda eksekusi node anak setelah alur kerja dijalankan. Pengaturan ini tidak dikonfigurasi dalam tutorial ini.
Pada bilah alat node, klik Save.

Langkah 4: Proses data

Proses data.

Pada bilah alat alur kerja, klik Run. Tetapkan nilai untuk variabel parameter yang didefinisikan di setiap node untuk eksekusi ini (tutorial ini menggunakan 20250223; Anda dapat mengubahnya sesuai kebutuhan). Klik OK dan tunggu hingga eksekusi selesai.
Kueri hasil pemrosesan data.
1. Pada panel navigasi kiri Data Studio, klik untuk membuka halaman pengembangan data. Di bagian direktori pribadi, klik untuk membuat file dengan akhiran .sql (Anda dapat menggunakan nama file apa pun).
2. Di bagian bawah halaman, pastikan mode bahasa diatur ke MaxCompute SQL.
3. Pada editor SQL, masukkan pernyataan SQL berikut untuk memeriksa jumlah catatan di tabel hasil akhir ads_user_info_1d dan memastikan apakah data telah diproses.
```
-- Anda perlu mengubah kondisi filter partisi ke waktu data aktual untuk eksekusi Anda. 
-- Dalam tutorial ini, parameter debugging bizdate (waktu data) diatur ke 20250223.
SELECT count(*) FROM ads_user_info_1d WHERE dt='<your_data_timestamp>';
```
  - Jika kueri mengembalikan data, berarti data telah berhasil diproses.
  - Jika tidak ada data yang dikembalikan, pastikan This operation value yang dikonfigurasi saat Anda menjalankan alur kerja sesuai dengan tanggal bisnis yang ditentukan oleh dt dalam kueri. Anda dapat mengklik alur kerja, lalu klik Runtime Logs di sisi kanan, klik View di kolom Operation pada catatan eksekusi, lalu periksa nilai tanggal bisnis (partition=[pt=xxx]) dalam log waktu proses alur kerja.

Langkah 5: Terapkan alur kerja

Tugas hanya dapat dijadwalkan secara otomatis setelah diterapkan ke lingkungan produksi. Anda dapat mengikuti langkah-langkah berikut untuk menerapkan alur kerja.

Catatan

Dalam tutorial ini, parameter penjadwalan dikonfigurasi di properti penjadwalan alur kerja. Anda tidak perlu mengonfigurasinya untuk setiap node sebelum penerapan.

Pada bilah navigasi kiri Data Studio, klik untuk membuka halaman DataStudio. Lalu, di area Project Directory, temukan alur kerja yang telah dibuat dan klik alur kerja tersebut untuk membuka halaman orkestrasi alur kerja.
Klik Publish pada bilah alat node untuk membuka panel Publish.
Klik Start Release Production. Pada kotak dialog konfirmasi yang muncul, pilih metode penerapan berdasarkan kebutuhan Anda:
- Full deployment: Menerapkan alur kerja saat ini dan semua node tugas internalnya.
- Incremental deployment: Hanya menerapkan alur kerja saat ini dan node tugas internal yang telah dimodifikasi sejak penerapan terakhir. Ini cocok untuk optimasi iteratif dan pembaruan minor.
Setelah Anda mengonfirmasi metode penerapan, sistem akan secara otomatis menjalankan proses penerapan, menerapkan alur kerja dan node tugas yang dipilih ke lingkungan pengembangan dan produksi secara berurutan. Untuk menyelesaikan penerapan ke lingkungan produksi, Anda harus mengklik Confirm Release.

Langkah 6: Jalankan tugas di produksi

Setelah tugas diterapkan, instans akan dihasilkan untuk dijalankan pada hari berikutnya. Anda dapat menggunakan Supplementary data untuk melakukan pengisian ulang data untuk alur kerja yang telah diterapkan dan memeriksa apakah tugas dapat dijalankan di lingkungan produksi. Untuk informasi selengkapnya, lihat Data Backfill Instance O&M.

Setelah tugas berhasil diterapkan, klik Operation and Maintenance Center di pojok kanan atas.

Atau, klik ikon di pojok kiri atas dan pilih All Products > Data Development and O&M > Operation and Maintenance Center (Workflow).
Pada bilah navigasi kiri, klik Auto Triggered Task O&M > Auto Triggered Node. Pada halaman Auto Triggered Node, klik node virtual workshop_start.
Pada DAG di sisi kanan, klik kanan node workshop_start, lalu pilih Supplementary data > Current and Descendant Nodes Retroactively.
Pilih tugas yang memerlukan pengisian ulang data, atur waktu data, lalu klik Submit and Redirect.
Pada halaman pengisian ulang data, klik Refresh hingga semua tugas SQL berhasil dijalankan.

Catatan

Setelah menyelesaikan tutorial ini, untuk menghindari biaya tambahan, Anda dapat mengatur periode validitas penjadwalan node atau freeze node root proses bisnis (node virtual workshop_start).

Langkah selanjutnya

Visualisasi data: Setelah analisis profil pengguna selesai, gunakan modul analisis data untuk menampilkan data yang telah diproses dalam bentuk grafik. Hal ini membantu Anda dengan cepat mengekstraksi informasi penting dan memperoleh wawasan tentang tren bisnis.
Pantau kualitas data: Konfigurasikan aturan pemantauan kualitas data untuk tabel yang dihasilkan selama pemrosesan data. Hal ini memungkinkan Anda mengidentifikasi dan memblokir data kotor sebelumnya untuk mencegah dampaknya menyebar.
Kelola data: Setelah alur kerja analisis profil pengguna selesai, tabel data yang sesuai dibuat di MaxCompute. Anda dapat melihat tabel-tabel ini di Data Map dan memeriksa lineage untuk memahami hubungan di antara mereka.
Layanan data API: Setelah memperoleh data hasil akhir yang telah diproses, gunakan modul layanan data untuk berbagi data melalui API yang distandarkan. Hal ini memungkinkan Anda menyediakan data ke modul bisnis lain yang mengonsumsi data melalui API.

Prasyarat

Langkah 1: Bangun alur kerja pemrosesan data

Langkah 2: Daftarkan UDF

Unggah resource (ip2region.jar)

Daftarkan UDF (getregion)

Langkah 3: Konfigurasikan node pemrosesan data

Konfigurasikan node dwd_log_info_di

Konfigurasikan node dws_user_info_all_di

Konfigurasikan node ads_user_info_1d

Langkah 4: Proses data

Langkah 5: Terapkan alur kerja

Langkah 6: Jalankan tugas di produksi

Langkah selanjutnya

Unggah resource (`ip2region.jar`)

Daftarkan UDF (`getregion`)

Konfigurasikan node `dwd_log_info_di`

Konfigurasikan node `dws_user_info_all_di`

Konfigurasikan node `ads_user_info_1d`