DataWorks:データの処理

1. コードの編集

[dwd_log_info_di_emr] ノードをダブルクリックして、設定タブを開きます。コードエディターに、次の SQL ステートメントを入力します。

-- DWD 層テーブルを作成します。
CREATE TABLE IF NOT EXISTS dwd_log_info_di_emr (
  ip STRING COMMENT 'IP アドレス。',
  uid STRING COMMENT 'ユーザー ID。',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時刻。',
  status STRING COMMENT 'サーバーから返されたステータスコード。',
  bytes STRING COMMENT 'クライアントに返されたバイト数。',
  region STRING COMMENT 'IP アドレスに基づいて取得されたリージョン。',
  method STRING COMMENT 'HTTP リクエストタイプ。',
  url STRING COMMENT 'URL。',
  protocol STRING COMMENT 'HTTP プロトコルバージョン。',
  referer STRING COMMENT 'ソース URL。',
  device STRING COMMENT 'クライアントタイプ。',
  identity STRING COMMENT '種別。有効な値: crawler、feed、user、unknown。'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dwd_log_info_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

set hive.vectorized.execution.enabled = false;
INSERT OVERWRITE TABLE dwd_log_info_di_emr PARTITION (dt='${bizdate}')
SELECT ip
  , uid
  , tm
  , status
  , bytes 
  , getregion(ip) AS region -- UDF を使用して IP アドレスからリージョンを取得します。
  , regexp_extract(request, '(^[^ ]+) .*') AS method -- 正規表現を使用してリクエストを 3 つのフィールドに分割します。
  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
  , regexp_extract(request, '.* ([^ ]+$)') AS protocol 
  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer  -- 正規表現を使用して referer をクレンジングし、より正確な URL を取得します。
  , CASE
    WHEN lower(agent) RLIKE 'android' THEN 'android' -- agent からクライアントと種別の情報を取得します。
    WHEN lower(agent) RLIKE 'iphone' THEN 'iphone'
    WHEN lower(agent) RLIKE 'ipad' THEN 'ipad'
    WHEN lower(agent) RLIKE 'macintosh' THEN 'macintosh'
    WHEN lower(agent) RLIKE 'windows phone' THEN 'windows_phone'
    WHEN lower(agent) RLIKE 'windows' THEN 'windows_pc'
    ELSE 'unknown'
  END AS device
  , CASE
    WHEN lower(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
    WHEN lower(agent) RLIKE 'feed'
    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
    WHEN lower(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
    AND agent RLIKE '^[Mozilla|Opera]'
    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
    ELSE 'unknown'
  END AS identity
  FROM (
    SELECT SPLIT(col, '##@@')[0] AS ip
    , SPLIT(col, '##@@')[1] AS uid
    , SPLIT(col, '##@@')[2] AS tm
    , SPLIT(col, '##@@')[3] AS request
    , SPLIT(col, '##@@')[4] AS status
    , SPLIT(col, '##@@')[5] AS bytes
    , SPLIT(col, '##@@')[6] AS referer
    , SPLIT(col, '##@@')[7] AS agent
    FROM ods_raw_log_d_emr
  WHERE dt = '${bizdate}'
) a;

2. スケジューリングプロパティの設定

この設定では、日次スケジューリングシナリオを実装します。00:30 に、アップストリームの [ods_raw_log_d_emr] ノードが OSS の [user_log.txt] ファイルから EMR の [ods_raw_log_d_emr] テーブルへのデータ同期を完了した後、[dwd_log_info_di_emr] ノードがトリガーされます。このノードは、[ods_raw_log_d_emr] テーブルからデータを処理し、結果を [dwd_log_info_di_emr] テーブルの対応するパーティションに書き込みます。

3. 設定の保存

必要に応じて、その他の必要なパラメーターを設定します。設定が完了したら、ツールバーの アイコンをクリックして、設定を保存します。

1. コードの編集

[dws_user_info_all_di_emr] ノードをダブルクリックして、設定タブを開きます。コードエディターに、次の SQL ステートメントを入力します。

-- DW 層テーブルを作成します。
CREATE TABLE IF NOT EXISTS dws_user_info_all_di_emr (
  uid STRING COMMENT 'ユーザー ID。',
  gender STRING COMMENT '性別。',
  age_range STRING COMMENT '年齢範囲。',
  zodiac STRING COMMENT '星座。',
  region STRING COMMENT 'IP アドレスに基づいて取得されたリージョン。',
  device STRING COMMENT 'クライアントタイプ。',
  identity STRING COMMENT '種別。有効な値: crawler、feed、user、unknown。',
  method STRING COMMENT 'HTTP リクエストタイプ。',
  url STRING COMMENT 'URL。',
  referer STRING COMMENT 'ソース URL。',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時刻。'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dws_user_info_all_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE dws_user_info_all_di_emr PARTITION (dt='${bizdate}')
SELECT COALESCE(a.uid, b.uid) AS uid
  , b.gender
  , b.age_range
  , b.zodiac
  , a.region
  , a.device
  , a.identity
  , a.method
  , a.url
  , a.referer
  , a.`time`
FROM (
  SELECT *
  FROM dwd_log_info_di_emr
  WHERE dt = '${bizdate}'
) a
LEFT OUTER JOIN (
  SELECT *
  FROM ods_user_info_d_emr
  WHERE dt = '${bizdate}'
) b
ON a.uid = b.uid;

2. スケジューリングプロパティの設定

この設定では、日次スケジューリングシナリオを実装します。00:30 に、アップストリームの [ods_user_info_d_emr] および [dwd_log_info_di_emr] タスクが完了した後、[dws_user_info_all_di_emr] ノードがトリガーされます。このノードは、[ods_user_info_d_emr] テーブルと [dwd_log_info_di_emr] テーブルのデータをマージし、結果を [dws_user_info_all_di_emr] テーブルに書き込みます。

3. 設定の保存

必要に応じて、その他の必要なパラメーターを設定します。設定が完了したら、ツールバーの アイコンをクリックして、設定を保存します。

1. コードの編集

[ads_user_info_1d_emr] ノードをダブルクリックして、設定タブを開きます。コードエディターに、次の SQL ステートメントを入力します。

-- RPT 層テーブルを作成します。
CREATE TABLE IF NOT EXISTS ads_user_info_1d_emr (
  uid STRING COMMENT 'ユーザー ID。',
  region STRING COMMENT 'IP アドレスに基づいて取得されたリージョン。',
  device STRING COMMENT 'クライアントタイプ。',
  pv BIGINT COMMENT 'ページビュー数。',
  gender STRING COMMENT '性別。',
  age_range STRING COMMENT '年齢範囲。',
  zodiac STRING COMMENT '星座。'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE ads_user_info_1d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE ads_user_info_1d_emr PARTITION (dt='${bizdate}')
SELECT uid
  , MAX(region)
  , MAX(device)
  , COUNT(0) AS pv
  , MAX(gender)
  , MAX(age_range)
  , MAX(zodiac)
FROM dws_user_info_all_di_emr
WHERE dt = '${bizdate}'
GROUP BY uid;

2. スケジューリングプロパティの設定

アップストリームの [dws_user_info_all_di_emr] ノードが [ods_user_info_d_emr] テーブルと [dwd_log_info_di_emr] テーブルのマージを完了した後、[ads_user_info_1d_emr] ノードがトリガーされ、データをさらに処理して最終的なデータセットを生成します。

3. 設定の保存

必要に応じて、その他の必要なパラメーターを設定します。設定が完了したら、ツールバーの アイコンをクリックして、設定を保存します。