Data Lake Formation：DLF資料探索快速入門-淘寶使用者行為分析

第一步：開通DLF和OSS服務

1. 登入資料湖構建控制台。

2. 開通DLF服務及其依賴OSS服務，並完成授權。（如已開通可直接跳過）。

   1. 若之前未開通過DLF服務，會提示使用者開通服務。單擊免费开通数据湖构建。

   2. 開通服務後，返回DLF控制台頁面。會提示開通OSS服務，以及授予DLF訪問依賴資料來源的許可權。單擊开通，完成OSS開通及授權。

3. 開通完成後，可進入DLF控制台首頁。

第二步：將需要分析的資料檔案上傳至OSS

1. 下載範例代碼，放在本地磁碟。

   解壓後得到檔案夾：user_behavior_data，包含item和user兩個檔案夾，裡面分別包含了各自的CSV資料檔案。本次分析主要集中在user檔案中，資料內容如下。

   user_id,item_id,behavior_type,user_geohash,item_category,time
   98047837,232431562,1,,4245,2014-12-06 02
   97726136,383583590,1,,5894,2014-12-09 20
   98607707,64749712,1,,2883,2014-12-18 11
   98662432,320593836,1,96nn52n,6562,2014-12-06 10
   98145908,290208520,1,,13926,2014-12-16 21
   93784494,337869048,1,,3979,2014-12-03 20
   94832743,105749725,1,,9559,2014-12-13 20
   95290487,76866650,1,,10875,2014-11-27 16
   96610296,161166643,1,,3064,2014-12-11 23
   100684618,21751142,3,,2158,2014-12-05 23
   100509623,266020206,3,tfvomgk,4923,2014-12-08 17
   101781721,139144131,1,9rgt162,3424,2014-12-13 21
   103891828,255365467,1,96sjmho,552,2014-12-01 13
   101260672,212072908,1,95q0is4,10984,2014-12-12 11

2. 將解壓後的user_behavior_data檔案夾上傳至OSS。詳情請參見簡單上傳。

   上傳後目錄結構中，item和user為兩個表的資料檔案夾。

   說明

   需刪除檔案夾中的.DS_Store檔案。

第三步：在DLF上抽取中繼資料

1. 登入資料湖構建控制台。

2. 建立資料庫。

   1. 在左側功能表列，選擇元数据 > 元数据管理。

   2. 單擊数据库頁簽，選擇目標数据目录，單擊新建数据库。

   3. 配置以下資料庫資訊，單擊确定。

      • 所属数据目录：選擇所屬資料目錄。

      • 数据库名称：：輸入資料庫名稱。

      • 数据库描述：可選，輸入資料庫描述。

      • 选择路径：選擇上一步中存有使用者行為分析資料user_behavior_data的OSS路徑。

   4. 資料庫建立成功。

      中繼資料管理頁面的資料庫頁簽中，dlf_demo資料目錄下顯示資料庫default和demo_db，可通過操作列查看對應的表、函數或進行編輯和刪除。

3. 進行DLF資料幫浦。

   1. 在左側導覽列，單擊元数据 > 元数据抽取。

   2. 在中繼資料抽取頁面，單擊新建抽取任务。參數配置詳情請參見中繼資料抽取。

   3. 填寫抽取源相關配置，單擊下一步。

      配置樣本：抽取任務名稱設定為dif_demo_extract，OSS路徑選擇目標資料路徑（如oss://<Bucket名稱>/dif/user_behavior_data/），解析格式選擇csv。在csv檔案配置地區，欄位分隔符號選擇逗號(,)，表頭髮現選擇首行為表頭，引用標識選擇英文單引號(')。

   4. 選擇要使用的目標資料庫，單擊下一步。

      在 設定目標資訊 頁面，選擇 所屬資料目錄（例如 dlf_demo）和 目標資料庫（例如 demo_db），按需填寫 目標資料表首碼。在 抽取任務發現表欄位更新時 中選擇處理策略（如 忽略更新，不修改任何錶）；在 如何處理OSS中發現已刪除對象 中選擇處理策略（如 忽略更新,不刪除任何錶）。完成後單擊 下一步。

   5. 設定抽取任務資訊。

      • RAM 角色：預設為開通階段已經授權的“AliyunDLFWorkFlowDefaultRole”。

      • 执行策略：選擇手动执行。

      • 抽取策略：選擇全量抽取。掃描全量資料檔案，在資料規模比較大時，作業消耗時間長，抽取結果更準確。

   6. 核對資訊後，單擊保存并立即执行。

      確認頁面分為三個區塊：資料來源資訊（包括抽取任務名稱、OSS路徑、解析格式等）、目標資訊（包括所屬資料目錄、目標資料庫等）和任務配置（包括RAM角色、抽取策略、執行策略等）。

   7. 系統會跳轉到中繼資料抽取列表頁面，建立的任務開始建立並自動運行。在資料規模比較大時，作業消耗時間長。

      待任務運行成功後，滑鼠移到狀態列的問號表徵圖，可看到已經成功建立了兩張中繼資料表。

      浮層顯示抽取成功的兩張表分別為 demo_db.item 和 demo_db.user。

4. 查詢資料表資訊。

   1. 單擊浮層中的数据库，單擊表列表頁簽，可查看該庫中相關的表資訊。

      demo_db 資料庫的 表列表 中顯示 item 和 user 兩張表，表格式均為 CSV，資料目錄ID為 dlf_demo，儲存位置分別對應 OSS 上的 dlf/user_behavior_data/item 和 dlf/user_behavior_data/user 路徑。

   2. 單擊表名，查看並確認抽取出來的表結構是否符合預期。

      本樣本中，資料表 user 的表類型為 EXTERNAL_TABLE，所屬資料庫為 demo_db，儲存格式為 CSV。普通列包含6個欄位：user_id(int)、item_id(int)、behavior_type(int)、user_geohash(string)、item_category(int)、time(string)，表結構與預期一致即可。

      表 item 的基本資料顯示：表類型為 EXTERNAL_TABLE，所屬資料庫 demo_db，儲存位置為 oss://xxx/dlf/user_behavior_data/item，儲存格式為 CSV，SerializationLib 為 org.apache.hadoop.hive.serde2.OpenCSVSerde。普通列包含 3 個欄位：item_id(int)、item_geohash(string)、item_category(int)。

第四步：使用者行為資料分析

資料分析的過程主要分為三步：

1. 預覽並檢查資料資訊。

2. 簡單的資料清洗。

3. 進行使用者活躍度、漏鬥模型和商品熱度分析。

SET spark.sql.legacy.timeParserPolicy=LEGACY;
-- 預覽資料
SELECT * FROM `demo_db`.`user` limit 10;
SELECT * FROM `demo_db`.`item` limit 10;
-- 使用者數
SELECT COUNT(DISTINCT user_id) FROM `demo_db`.`user`;
-- 商品數
SELECT COUNT(DISTINCT item_id) FROM `demo_db`.`item`;
-- 行為記錄數
SELECT COUNT(*) FROM `demo_db`.`user`;

CREATE TABLE `demo_db`.`user_log` 
USING PARQUET
PARTITIONED BY (date)
AS SELECT 
    user_id, 
    item_id,
    CASE 
      WHEN behavior_type = 1 THEN 'click'
      WHEN behavior_type = 2 THEN 'collect'
      WHEN behavior_type = 3 THEN 'cart'
      WHEN behavior_type = 4 THEN 'pay'
    END AS behavior, 
    item_category, 
    time,
    date_format(time, 'yyyy-MM-dd') AS date,
    date_format(time, 'H') AS hour,
    date_format(time, 'u') AS day_of_week
  FROM `dlf_demo`.`user`;