DataWorks terintegrasi dengan E-MapReduce (EMR) untuk pengembangan dan analisis gudang data. Tutorial ini memandu Anda melalui studi kasus analisis profil pengguna yang mencakup Data Integration, Data Studio, dan Operation Center.
Pengenalan eksperimen
Strategi bisnis yang efektif memerlukan data profil dasar pengguna website, termasuk atribut geografis dan sosial yang diperoleh dari aktivitas pengguna. Dengan menganalisis data profil berdasarkan waktu dan lokasi, Anda dapat mengoptimalkan operasi traffic website. DataWorks dan EMR secara bersama mendukung sinkronisasi, pemrosesan, manajemen, dan konsumsi data secara end-to-end.
Baca Ikhtisar eksperimen untuk memahami seluruh proses eksperimen analisis profil pengguna sebelum memulai tutorial ini.
Prosedur
-
Langkah 1: Persiapkan lingkungan
Buat kluster EMR dan ruang kerja DataWorks, lalu konfigurasikan lingkungan tersebut.
-
Langkah 2: Sinkronkan data
Konfigurasikan task sinkronisasi data di DataWorks untuk menyinkronkan informasi pengguna dan log akses website ke sumber data Object Storage Service (OSS), lalu buat tabel menggunakan node EMR Hive untuk mengkueri data yang telah disinkronkan.
-
Langkah 3: Proses data
Gunakan node EMR Hive di DataWorks untuk memproses data informasi pengguna dan log akses yang telah disinkronkan ke OSS, lalu hasilkan data profil pengguna.
-
Langkah 4: Konfigurasikan monitor
Konfigurasikan monitor di DataWorks Data Quality untuk tabel dwd_log_info_di_emr yang dihasilkan dari data yang telah diproses.