DataWorks:データ処理

1. ノードコードの編集

dwd_log_info_di_emr ノードをダブルクリックして、ノード構成タブに移動します。 構成タブで、次の文を入力します。

-- ODS レイヤーにテーブルを作成します。
CREATE TABLE IF NOT EXISTS dwd_log_info_di_emr (
  ip STRING COMMENT 'IPアドレス',
  uid STRING COMMENT 'ユーザーID',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間',
  status STRING COMMENT 'サーバーから返される状態コード',
  bytes STRING COMMENT 'クライアントに返されるバイト数',
  region STRING COMMENT 'IPアドレスに基づいて取得される地域',
  method STRING COMMENT 'HTTPリクエストタイプ',
  url STRING COMMENT 'URL',
  protocol STRING COMMENT 'HTTPのバージョン番号',
  referer STRING COMMENT 'ソースURL',
  device STRING COMMENT '端末タイプ',
  identity STRING COMMENT 'アクセスタイプ。クローラー、フィード、ユーザー、または不明のいずれかになります。'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dwd_log_info_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

set hive.vectorized.execution.enabled = false;
INSERT OVERWRITE TABLE dwd_log_info_di_emr PARTITION (dt='${bizdate}')
SELECT ip
  , uid
  , tm
  , status
  , bytes 
  , getregion(ip) AS region -- ユーザー定義関数（UDF）を使用して、IPアドレスに基づいて地域を取得します。
  , regexp_substr(request, '(^[^ ]+ )') AS method -- 正規表現を使用して、リクエストから 3 つのフィールドを抽出します。
  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
  , regexp_extract(request, '.* ([^ ]+$)') AS protocol 
  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer  -- 正規表現を使用して HTTP リファラーをクレンジングし、より正確な URL を取得します。
  , CASE
    WHEN lower (agent) RLIKE 'android' THEN 'android' -- agent パラメーターの値から端末とアクセスタイプを取得します。
    WHEN lower(agent) RLIKE 'iphone' THEN 'iphone'
    WHEN lower(agent) RLIKE 'ipad' THEN 'ipad'
    WHEN lower(agent) RLIKE 'macintosh' THEN 'macintosh'
    WHEN lower(agent) RLIKE 'windows phone' THEN 'windows_phone'
    WHEN lower(agent) RLIKE 'windows' THEN 'windows_pc'
    ELSE 'unknown'
  END AS device
  , CASE
    WHEN lower(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
    WHEN lower(agent) RLIKE 'feed'
    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
    WHEN lower(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
    AND agent RLIKE '^[Mozilla|Opera]'
    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
    ELSE 'unknown'
  END AS identity
  FROM (
    SELECT SPLIT(col, '##@@')[0] AS ip
    , SPLIT(col, '##@@')[1] AS uid
    , SPLIT(col, '##@@')[2] AS tm
    , SPLIT(col, '##@@')[3] AS request
    , SPLIT(col, '##@@')[4] AS status
    , SPLIT(col, '##@@')[5] AS bytes
    , SPLIT(col, '##@@')[6] AS referer
    , SPLIT(col, '##@@')[7] AS agent
    FROM ods_raw_log_d_emr
  WHERE dt = '${bizdate}'
) a;

2. スケジューリングプロパティの構成

次の表に示すように dwd_log_info_di_emr ノードのスケジューリングプロパティを構成すると、dwd_log_info_di_emr ノードの祖先ノードである ods_raw_log_d_emr ノードが、スケジューリングシナリオで毎日 00:30 に OSS オブジェクト user_log.txt から EMR テーブル ods_raw_log_d_emr にデータを同期した後、dwd_log_info_di_emr ノードがトリガーされて ods_raw_log_d_emr テーブルのデータを処理し、処理されたデータを dwd_log_info_di_emr テーブルのデータタイムスタンプベースのパーティションに書き込みます。

3. 構成の保存

この例では、ビジネス要件に基づいて他の必要な構成項目を構成できます。 構成が完了したら、ノードの構成タブの上部ツールバーにある アイコンをクリックして、ノードの構成を保存します。

1. ノードコードの編集

dws_user_info_all_di_emr ノードをダブルクリックして、ノード設定タブに移動します。設定タブに、次のステートメントを入力します。

-- DW レイヤーにテーブルを作成します。
CREATE TABLE IF NOT EXISTS dws_user_info_all_di_emr (
  uid STRING COMMENT 'ユーザーID',
  gender STRING COMMENT '性別',
  age_range STRING COMMENT '年齢層',
  zodiac STRING COMMENT '星座',
  region STRING COMMENT 'IPアドレスに基づいて取得される地域',
  device STRING COMMENT '端末タイプ',
  identity STRING COMMENT 'アクセスタイプ。クローラー、フィード、ユーザー、または不明のいずれかになります。',
  method STRING COMMENT 'HTTPリクエストタイプ',
  url STRING COMMENT 'URL',
  referer STRING COMMENT 'ソースURL',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dws_user_info_all_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE dws_user_info_all_di_emr PARTITION (dt='${bizdate}')
SELECT COALESCE(a.uid, b.uid) AS uid
  , b.gender
  , b.age_range
  , b.zodiac
  , a.region
  , a.device
  , a.identity
  , a.method
  , a.url
  , a.referer
  , a.`time`
FROM (
  SELECT *
  FROM dwd_log_info_di_emr
  WHERE dt = '${bizdate}'
) a
LEFT OUTER JOIN (
  SELECT *
  FROM ods_user_info_d_emr
  WHERE dt = '${bizdate}'
) b
ON a.uid = b.uid;

2. スケジューリングプロパティの構成

次の表に示すように、dws_user_info_all_di_emr ノードのスケジューリングプロパティを構成します。 dws_user_info_all_di_emr ノードの祖先ノードである ods_user_info_d_emr ノードと dwd_log_info_di_emr ノードがスケジューリングシナリオで毎日 00:30 に実行を完了すると、dws_user_info_all_di_emr ノードがトリガーされて ods_user_info_d_emr テーブルと dwd_log_info_di_emr テーブルを結合および処理し、処理されたデータを dws_user_info_all_di_emr テーブルに書き込みます。

3. 構成の保存

この例では、ビジネス要件に基づいて他の必要な構成項目を構成できます。 構成が完了したら、ノードの構成タブの上部ツールバーにある アイコンをクリックして、ノードの構成を保存します。

1. ノードコードの編集

[ads_user_info_1d_emr] ノードをダブルクリックして、ノードの構成タブに移動します。 構成タブで、次の文を入力します。

-- RPT レイヤーにテーブルを作成します。
CREATE TABLE IF NOT EXISTS ads_user_info_1d_emr (
  uid STRING COMMENT 'ユーザーID',
  region STRING COMMENT 'IPアドレスに基づいて取得される地域',
  device STRING COMMENT '端末タイプ',
  pv BIGINT COMMENT 'ページビュー数',
  gender STRING COMMENT '性別',
  age_range STRING COMMENT '年齢層',
  zodiac STRING COMMENT '星座'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE ads_user_info_1d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE ads_user_info_1d_emr PARTITION (dt='${bizdate}')
SELECT uid
  , MAX(region)
  , MAX(device)
  , COUNT(0) AS pv
  , MAX(gender)
  , MAX(age_range)
  , MAX(zodiac)
FROM dws_user_info_all_di_emr
WHERE dt = '${bizdate}'
GROUP BY uid;

2. スケジューリングプロパティの構成

dws_user_info_all_di_emr ノードが ods_user_info_d_emr テーブルと dwd_log_info_di_emr テーブルをマージした後、ads_user_info_1d_emr ノードをトリガーしてデータをさらに処理し、消費可能なデータを生成できます。

3. 構成の保存

この例では、ビジネス要件に基づいて他の必要な構成項目を構成できます。 構成が完了したら、ノードの構成タブの上部ツールバーにある アイコンをクリックして、ノードの構成を保存します。