E-MapReduce:データの処理

1. コードの編集

dwd_log_info_di_emr ノードをダブルクリックして、ノード構成タブにアクセスします。 表示される構成タブに次の文を入力します。

-- ODS レイヤテーブルを作成する
CREATE TABLE IF NOT EXISTS dwd_log_info_di_emr (
  ip STRING COMMENT 'IP アドレス',
  uid STRING COMMENT 'ユーザーの ID',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間',
  status STRING COMMENT 'サーバーから返される状態コード',
  bytes STRING COMMENT 'クライアントに返されるバイト数',
  region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
  method STRING COMMENT 'HTTP リクエストのタイプ',
  url STRING COMMENT 'URL',
  protocol STRING COMMENT 'HTTP のバージョン番号',
  referer STRING COMMENT 'ソース URL',
  device STRING COMMENT '端末タイプ',
  identity STRING COMMENT 'アクセス タイプ。クローラー、フィード、ユーザー、または不明の場合があります'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dwd_log_info_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

set hive.vectorized.execution.enabled = false;
INSERT OVERWRITE TABLE dwd_log_info_di_emr PARTITION (dt='${bizdate}')
SELECT ip
  , uid
  , tm
  , status
  , bytes 
  , getregion(ip) AS region -- ユーザー定義関数（UDF）を使用して IP アドレスに基づいてリージョンを取得します。
  , regexp_extract(request, '(^[^ ]+) .*') AS method -- 正規表現を使用してリクエストを 3 つのフィールドに分割します。
  , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
  , regexp_extract(request, '.* ([^ ]+$)') AS protocol 
  , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer  -- 正規表現を使用してリファラーをスクラブし、より正確な URL を取得します。
  , CASE
    WHEN lower(agent) RLIKE 'android' THEN 'android' -- agent パラメーターの値から端末とアクセス タイプを取得します。
    WHEN lower(agent) RLIKE 'iphone' THEN 'iphone'
    WHEN lower(agent) RLIKE 'ipad' THEN 'ipad'
    WHEN lower(agent) RLIKE 'macintosh' THEN 'macintosh'
    WHEN lower(agent) RLIKE 'windows phone' THEN 'windows_phone'
    WHEN lower(agent) RLIKE 'windows' THEN 'windows_pc'
    ELSE 'unknown'
  END AS device
  , CASE
    WHEN lower(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
    WHEN lower(agent) RLIKE 'feed'
    OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
    WHEN lower(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
    AND agent RLIKE '^[Mozilla|Opera]'
    AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
    ELSE 'unknown'
  END AS identity
  FROM (
    SELECT SPLIT(col, '##@@')[0] AS ip
    , SPLIT(col, '##@@')[1] AS uid
    , SPLIT(col, '##@@')[2] AS tm
    , SPLIT(col, '##@@')[3] AS request
    , SPLIT(col, '##@@')[4] AS status
    , SPLIT(col, '##@@')[5] AS bytes
    , SPLIT(col, '##@@')[6] AS referer
    , SPLIT(col, '##@@')[7] AS agent
    FROM ods_raw_log_d_emr
  WHERE dt = '${bizdate}'
) a;

2. スケジューリング情報の構成

スケジューリングシナリオを設定するには、毎日 00:30 に ods_raw_log_d_emruser_log.txtods_raw_log_d_emrdwd_log_info_di_emrods_raw_log_d_emrdwd_log_info_di_emr ノードをトリガーするようにシステムを構成します。 これにより、OSS から データが EMR の テーブルに同期されます。 その後、 ノードは テーブルのデータを処理し、結果は テーブルの営業時間パーティションに格納されます。

3. 構成の保存

この例に必要なその他の項目を必要に応じて構成します。 完了したら、ノードコード編集ページのツールバーにある ボタンをクリックして、現在の構成を保存します。

1. コードの編集

dws_user_info_all_di_emr ノードをダブルクリックして、ノード構成タブにアクセスします。 表示される構成タブに次の文を入力します。

-- DW レイヤテーブルを作成する
CREATE TABLE IF NOT EXISTS dws_user_info_all_di_emr (
  uid STRING COMMENT 'ユーザーの ID',
  gender STRING COMMENT 'ユーザーの性別',
  age_range STRING COMMENT 'ユーザーの年齢層',
  zodiac STRING COMMENT 'ユーザーの星座',
  region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
  device STRING COMMENT '端末タイプ',
  identity STRING COMMENT 'アクセス タイプ。クローラー、フィード、ユーザー、または不明の場合があります',
  method STRING COMMENT 'HTTP リクエストのタイプ',
  url STRING COMMENT 'URL',
  referer STRING COMMENT 'ソース URL',
  `time` STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE dws_user_info_all_di_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE dws_user_info_all_di_emr PARTITION (dt='${bizdate}')
SELECT COALESCE(a.uid, b.uid) AS uid
  , b.gender
  , b.age_range
  , b.zodiac
  , a.region
  , a.device
  , a.identity
  , a.method
  , a.url
  , a.referer
  , a.`time`
FROM (
  SELECT *
  FROM dwd_log_info_di_emr
  WHERE dt = '${bizdate}'
) a
LEFT OUTER JOIN (
  SELECT *
  FROM ods_user_info_d_emr
  WHERE dt = '${bizdate}'
) b
ON a.uid = b.uid;

2. スケジューリング情報の構成

スケジューリングシナリオを実装するには、毎日 00:30 に、アップストリームタスク ods_user_info_d_emrdwd_log_info_di_emrdws_user_info_all_di_emrods_user_info_d_emrdwd_log_info_di_emrdws_user_info_all_di_emr と が完了したら、 ノードがトリガーされるようにシステムを構成します。 これにより、 テーブルと テーブルがマージされ、結果が テーブルに書き込まれます。

3. 構成の保存

この例に必要なその他の項目を必要に応じて構成します。 完了したら、ノードコード編集ページのツールバーにある ボタンをクリックして、現在の構成を保存します。

1. コードの編集

ads_user_info_1d_emr ノードをダブルクリックして、ノード構成タブにアクセスします。 表示される構成タブに次の文を入力します。

-- RPT レイヤテーブルを作成する
CREATE TABLE IF NOT EXISTS ads_user_info_1d_emr (
  uid STRING COMMENT 'ユーザーの ID',
  region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
  device STRING COMMENT '端末タイプ',
  pv BIGINT COMMENT 'pv',
  gender STRING COMMENT 'ユーザーの性別',
  age_range STRING COMMENT 'ユーザーの年齢層',
  zodiac STRING COMMENT 'ユーザーの星座'
)
PARTITIONED BY (
  dt STRING
);

ALTER TABLE ads_user_info_1d_emr ADD IF NOT EXISTS PARTITION (dt='${bizdate}');

INSERT OVERWRITE TABLE ads_user_info_1d_emr PARTITION (dt='${bizdate}')
SELECT uid
  , MAX(region)
  , MAX(device)
  , COUNT(0) AS pv
  , MAX(gender)
  , MAX(age_range)
  , MAX(zodiac)
FROM dws_user_info_all_di_emr
WHERE dt = '${bizdate}'
GROUP BY uid;

2. スケジューリング情報の構成

アップストリーム dws_user_info_all_di_emrods_user_info_d_emrdwd_log_info_di_emrads_user_info_1d_emr ノードタスクが テーブルと テーブルをマージした後、 ノードタスクをトリガーして、データをさらに処理し、消費可能なデータを生成できます。

3. 構成の保存

この例に必要なその他の項目を必要に応じて構成します。 完了したら、ノードコード編集ページのツールバーにある ボタンをクリックして、現在の構成を保存します。