Data Lake Formation：DLF eksplorasi data - Analisis perilaku pengguna Taobao

Pratinjau dan periksa data

Di panel navigasi di sebelah kiri, klik Data Exploration. Di editor SQL, masukkan pernyataan berikut untuk melihat data file:

SET spark.sql.legacy.timeParserPolicy=LEGACY;
-- Pratinjau data.
SELECT * FROM `demo_db`.`user` limit 10;
SELECT * FROM `demo_db`.`item` limit 10;

-- Jumlah pengguna.
SELECT COUNT(DISTINCT user_id) FROM `demo_db`.`user`;

-- Jumlah item.
SELECT COUNT(DISTINCT item_id) FROM `demo_db`.`item`;

-- Jumlah catatan perilaku.
SELECT COUNT(*) FROM `demo_db`.`user`;

Gambar berikut menunjukkan hasilnya.

Pra-pemrosesan data

Anda dapat memproses data mentah untuk meningkatkan keterbacaan data dan performa analisis.

• Buat tabel user_log dalam format Parquet dan partisi tabel berdasarkan tanggal.

• Konversikan nilai behavior_type menjadi string yang mudah dipahami. Nilai valid: 1, 2, 3, dan 4. 1 menunjukkan klik, 2 menunjukkan tambah ke favorit, 3 menunjukkan tambah ke keranjang, dan 4 menunjukkan pembayaran.

• Pisahkan kolom waktu log menjadi kolom tanggal dan jam, dan tambahkan kolom hari dalam seminggu. Ini membantu Anda menganalisis data pada tingkat tanggal dan jam.

• Filter bidang yang tidak diperlukan. Lalu, simpan data yang diperlukan di tabel baru bernama user_log.

Perilaku pengguna akan dianalisis berdasarkan tabel baru.

CREATE TABLE `demo_db`.`user_log` 
USING PARQUET
PARTITIONED BY (date)
AS SELECT 
    user_id, 
    item_id,
    CASE 
      WHEN behavior_type = 1 THEN 'click'
      WHEN behavior_type = 2 THEN 'collect'
      WHEN behavior_type = 3 THEN 'cart'
      WHEN behavior_type = 4 THEN 'pay'
    END AS behavior, 
    item_category, 
    time,
    date_format(time, 'yyyy-MM-dd') AS date,
    date_format(time, 'H') AS hour,
    date_format(time, 'u') AS day_of_week
  FROM `dlf_demo`.`user`;
  
 -- Lihat hasilnya.  
SELECT * FROM `demo_db`.`user_log` limit 10; 

Gambar berikut menunjukkan hasilnya.

Analisis perilaku pengguna

1. Berdasarkan model corong, analisis perilaku semua pengguna dari klik, tambah ke keranjang, tambah ke favorit hingga pembelian.

   -- Analisis membutuhkan waktu 13 detik.
   SELECT
     behavior, COUNT(*) AS total
   FROM `demo_db`.`user_log`
   GROUP BY behavior
   ORDER BY total DESC

   Gambar berikut menunjukkan hasilnya.

   

2. Analisis perilaku pengguna pada setiap hari dalam seminggu.

   -- Analisis membutuhkan waktu 14 detik.
   SELECT 
     date, day_of_week,
     COUNT(DISTINCT(user_id)) as uv,
     SUM(CASE WHEN behavior = 'click' THEN 1 ELSE 0 END) AS click,
     SUM(CASE WHEN behavior = 'cart' THEN 1 ELSE 0 END) AS cart,
     SUM(CASE WHEN behavior = 'collect' THEN 1 ELSE 0 END) AS collect,
     SUM(CASE WHEN behavior = 'pay' THEN 1 ELSE 0 END) AS pay
   FROM `demo_db`.`user_log`
   GROUP BY date, day_of_week
   ORDER BY date

   Gambar berikut menunjukkan hasilnya. (Hasil analisis terdistorsi karena dataset dipangkas.)

3. Analisis 10 kategori item paling populer dalam dataset berdasarkan tabel item.

   -- Analisis membutuhkan waktu 1 menit dan 10 detik.
   SELECT item.item_category, COUNT(*) AS times
   FROM `demo_db`.`item` item
     JOIN `demo_db`.`user_log` log
     ON item.item_id = log.item_id
   WHERE log.behavior='pay'
   GROUP BY item.item_category
   ORDER BY times DESC
   LIMIT 10;

   Gambar berikut menunjukkan hasilnya.

4. (Opsional) Unduh hasil analisis.

   DLF memungkinkan Anda mengunduh hasil analisis sebagai file CSV. Sebelum pengunduhan, Anda harus menentukan jalur OSS untuk menyimpan hasil analisis. Hasil analisis disimpan ke jalur yang ditentukan.

   1. Di sudut kanan atas halaman Data Exploration, klik Path Settings. Di kotak dialog Pilih Jalur OSS, tentukan parameter Result Storage Path. Anda dapat memilih folder yang ada atau membuat folder.

      

   2. Setelah konfigurasi selesai, jalankan pernyataan SQL. Di tab Running History, Anda dapat mengklik Download di kolom Tindakan rekaman untuk mengunduh file. Anda juga dapat mengakses dan mengunduh file di konsol OSS.

5. (Opsional) Simpan pernyataan SQL.

   Anda dapat mengklik Save untuk menyimpan pernyataan SQL yang Anda jalankan di langkah sebelumnya. Lalu, Anda dapat mengeksekusi pernyataan SQL yang disimpan di tab Saved Query jika diperlukan.