DataWorks:データの処理

dwd_log_info_di_odps テーブルを作成する

dwd_log_info_di_odps テーブルをダブルクリックします。 表示されるテーブル構成タブで、[DDL] をクリックし、次の CREATE TABLE ステートメントを入力します。

CREATE TABLE IF NOT EXISTS dwd_log_info_di_odps (
 ip STRING COMMENT 'リクエストを送信するために使用されるクライアントの IP アドレス',
 uid STRING COMMENT 'ユーザーの ID',
 time STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間',
 status STRING COMMENT 'サーバーから返される状態コード',
 bytes STRING COMMENT 'クライアントに返されるバイト数',
 region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
 method STRING COMMENT 'HTTP リクエストのタイプ',
 url STRING COMMENT 'URL',
 protocol STRING COMMENT 'HTTP のバージョン番号',
 referer STRING COMMENT 'ソース URL',
 device STRING COMMENT '端末タイプ',
 identity STRING COMMENT 'アクセス タイプ。クローラー、フィード、ユーザー、または不明の場合があります。'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

dws_user_info_all_di_odps テーブルを作成する

dws_user_info_all_di_odps テーブルをダブルクリックします。 表示されるテーブル構成タブで、[DDL] をクリックし、次の CREATE TABLE ステートメントを入力します。

CREATE TABLE IF NOT EXISTS dws_user_info_all_di_odps (
 uid STRING COMMENT 'ユーザーの ID',
 gender STRING COMMENT '性別',
 age_range STRING COMMENT 'ユーザーの年齢層',
 zodiac STRING COMMENT '星座',
 region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
 device STRING COMMENT '端末タイプ',
 identity STRING COMMENT 'アクセス タイプ。クローラー、フィード、ユーザー、または不明の場合があります。',
 method STRING COMMENT 'HTTP リクエストのタイプ',
 url STRING COMMENT 'URL',
 referer STRING COMMENT 'ソース URL',
 time STRING COMMENT 'yyyymmddhh:mi:ss 形式の時間'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;

ads_user_info_1d_odps テーブルを作成する

ads_user_info_1d_odps テーブルをダブルクリックします。 表示されるテーブル構成タブで、[DDL] をクリックし、次の CREATE TABLE ステートメントを入力します。

CREATE TABLE IF NOT EXISTS ads_user_info_1d_odps (
 uid STRING COMMENT 'ユーザーの ID',
 region STRING COMMENT 'IP アドレスに基づいて取得されるリージョン',
 device STRING COMMENT '端末タイプ',
 pv BIGINT COMMENT 'ページビュー',
 gender STRING COMMENT '性別',
 age_range STRING COMMENT 'ユーザーの年齢層',
 zodiac STRING COMMENT '星座'
)
PARTITIONED BY (
 dt STRING
)
LIFECYCLE 14;    

dwd_log_info_di_odps ノードを設定する

ワークフローの構成タブで、dwd_log_info_di_odps ノードをダブルクリックします。 ノードの構成タブで、作成された関数を使用して祖先テーブル ods_raw_log_d_odps のフィールドを処理し、処理されたデータを dwd_log_info_di_odps テーブルに書き込む SQL コードを入力します。 データの処理方法の詳細については、「付録: データ処理の例」をご参照ください。

1. ノードコードを編集します。

   -- シナリオ: 次の SQL ステートメントは、getregion 関数を使用して生のログデータの IP アドレスを解析し、正規表現などのメソッドを使用して解析されたデータを分析可能なフィールドに分割し、フィールドを dwd_log_info_di_odps テーブルに書き込みます。
   --      この例では、IP アドレスをリージョンに変換するために使用される getregion 関数が準備されています。
   -- 注:
   --     1. DataWorks ノードで関数を使用する前に、関数の登録に必要なリソースを DataWorks にアップロードし、リソースを使用して関数を視覚的に登録する必要があります。
   --        この例では、getregion 関数を登録するために使用されるリソースは ip2region.jar です。
   --     2. DataWorks でノードのスケジューリングパラメーターを設定して、スケジューリングシナリオで毎日増分データを目的のテーブルの関連パーティションに書き込むことができます。
   --        実際の開発シナリオでは、ノードのコードで ${変数名} 形式で変数を定義し、ノードの構成タブの [プロパティ] タブで変数にスケジューリングパラメーターを割り当てることができます。 これにより、スケジューリングパラメーターの値は、スケジューリングパラメーターの構成に基づいてノードコードで動的に置き換えることができます。
   INSERT OVERWRITE TABLE dwd_log_info_di_odps PARTITION (dt='${bizdate}')
   SELECT ip 
     , uid
     , time
     , status
     , bytes 
     , getregion(ip) AS region -- UDF を使用して IP アドレスに基づいてリージョンを取得します。
     , regexp_substr(request, '(^[^ ]+ )') AS method -- 正規表現を使用してリクエストから 3 つのフィールドを抽出します。
     , regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') AS url
     , regexp_substr(request, '([^ ]+$)') AS protocol 
     , regexp_extract(referer, '^[^/]+://([^/]+){1}') AS referer -- 正規表現を使用してリファラーを明確にし、より正確な URL を取得します。
     , CASE
       WHEN TOLOWER(agent) RLIKE 'android' THEN 'android' -- agent パラメーターに基づいて端末情報とアクセス タイプを取得します。
       WHEN TOLOWER(agent) RLIKE 'iphone' THEN 'iphone'
       WHEN TOLOWER(agent) RLIKE 'ipad' THEN 'ipad'
       WHEN TOLOWER(agent) RLIKE 'macintosh' THEN 'macintosh'
       WHEN TOLOWER(agent) RLIKE 'windows phone' THEN 'windows_phone'
       WHEN TOLOWER(agent) RLIKE 'windows' THEN 'windows_pc'
       ELSE 'unknown'
     END AS device
     , CASE
       WHEN TOLOWER(agent) RLIKE '(bot|spider|crawler|slurp)' THEN 'crawler'
       WHEN TOLOWER(agent) RLIKE 'feed'
       OR regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') RLIKE 'feed' THEN 'feed'
       WHEN TOLOWER(agent) NOT RLIKE '(bot|spider|crawler|feed|slurp)'
       AND agent RLIKE '^[Mozilla|Opera]'
       AND regexp_extract(request, '^[^ ]+ (.*) [^ ]+$') NOT RLIKE 'feed' THEN 'user'
       ELSE 'unknown'
     END AS identity
     FROM (
       SELECT SPLIT(col, '##@@')[0] AS ip
       , SPLIT(col, '##@@')[1] AS uid
       , SPLIT(col, '##@@')[2] AS time
       , SPLIT(col, '##@@')[3] AS request
       , SPLIT(col, '##@@')[4] AS status
       , SPLIT(col, '##@@')[5] AS bytes
       , SPLIT(col, '##@@')[6] AS referer
       , SPLIT(col, '##@@')[7] AS agent
     FROM ods_raw_log_d_odps  
     WHERE dt ='${bizdate}'
   ) a;

2. スケジューリングプロパティを設定します。

   ノードの構成タブで、右側のナビゲーションウィンドウの [プロパティ] をクリックします。 [プロパティ] タブで、ノードのスケジューリングプロパティと基本情報を設定します。 詳細については、「ノードのスケジューリングプロパティ」をご参照ください。 パラメーターについて、次の表で説明します。

   セクション	説明	図
   [スケジューリングパラメーター]	[スケジューリングパラメーター] セクションで次のパラメーターを設定します。 [パラメーター名]: 値を bizdate に設定します。 [パラメーター値]: 値を $[yyyymmdd-1] に設定します。
   [スケジュール]	[スケジューリングサイクル]: 値を 日 に設定します。 [スケジュールされた時間]: 値を 00:30 に設定します。 [再実行]: 値を「実行状態に関係なく許可」に設定します。 その他のパラメーターにはデフォルト値を使用します。 説明 現在のノードが毎日実行されるようにスケジュールされる時間は、ワークフローのゼロ負荷ノード workshop_start のスケジュールされた時間によって決まります。 現在のノードは、毎日 00:30 以後に実行されるようにスケジュールされています。
   [リソースグループ]	環境の準備 フェーズで購入したサーバーレスリソースグループを選択します。
   [依存関係]	[ノードのコミット前にコードから自動的に解析] を [はい] に設定すると、ods_raw_log_d_odps テーブルを生成する ods_raw_log_d_odps ノードを dwd_log_info_di_odps ノードの祖先ノードとしてシステムが設定できるようになります。 dwd_log_info_di_odps テーブルは、dwd_log_info_di_odps ノードの出力として使用されます。 これにより、これらのノードが dwd_log_info_di_odps ノードによって生成されたテーブルデータにクエリを実行するときに、dwd_log_info_di_odps ノードを他のノードの祖先ノードとして自動的に設定できます。

   説明

   現在のノードの祖先ノードを決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析されます。 出力ノード名は、[祖先ノードの出力の名前] として使用されます。

   現在のノードの出力を決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析され、ダウンストリームノードに出力されます。

3. この例では、ビジネス要件に基づいて、その他に必要な構成項目を設定できます。 設定が完了したら、ノードの構成タブの上部にあるツールバーの アイコンをクリックして、ノードの設定を保存します。

dws_user_info_all_di_odps ノードを設定する

ワークフローの構成タブで、dws_user_info_all_di_odps ノードをダブルクリックします。 ノードの構成タブで、dwd_log_info_di_odps 祖先テーブルと ods_user_info_d_odps 祖先テーブルをマージし、マージされたデータを dws_user_info_all_di_odps テーブルに書き込む SQL コードを入力します。

1. ノードコードを編集します。

   -- シナリオ: dwd_log_info_di_odps テーブル内の処理済みログデータと ods_user_info_d_odps テーブル内のユーザーの基本情報を集計し、集計されたデータを dws_user_info_all_di_odps テーブルに書き込みます。
   -- 注: DataWorks でノードのスケジューリングパラメーターを設定して、スケジューリングシナリオで毎日増分データを目的のテーブルの関連パーティションに書き込むことができます。
   --      実際の開発シナリオでは、${変数名} 形式でノードのコードに変数を定義し、ノードの構成タブの [プロパティ] タブで変数にスケジューリングパラメーターを割り当てることができます。 これにより、スケジューリングパラメーターの値は、スケジューリングパラメーターの構成に基づいてノードコードで動的に置き換えることができます。
   INSERT OVERWRITE TABLE dws_user_info_all_di_odps  PARTITION (dt='${bizdate}')
   SELECT COALESCE(a.uid, b.uid) AS uid
     , b.gender
     , b.age_range
     , b.zodiac
     , a.region
     , a.device
     , a.identity
     , a.method
     , a.url
     , a.referer
     , a.time
   FROM (
     SELECT *
     FROM dwd_log_info_di_odps  
     WHERE dt = '${bizdate}'
   ) a
   LEFT OUTER JOIN (
     SELECT *
     FROM ods_user_info_d_odps 
     WHERE dt = '${bizdate}'
   ) b
   ON a.uid = b.uid;

2. スケジューリングプロパティを設定します。

   ノードの構成タブで、右側のナビゲーションウィンドウの [プロパティ] をクリックします。 [プロパティ] タブで、ノードのスケジューリングプロパティと基本情報を設定します。 詳細については、「ノードのスケジューリングプロパティ」をご参照ください。 パラメーターについて、次の表で説明します。

   セクション	説明	図
   [スケジューリングパラメーター]	[スケジューリングパラメーター] セクションで次のパラメーターを設定します。 [パラメーター名]: 値を bizdate に設定します。 [パラメーター値]: 値を $[yyyymmdd-1] に設定します。
   [スケジュール]	[スケジューリングサイクル]: 値を 日 に設定します。 [スケジュールされた時間]: 値を 00:30 に設定します。 [再実行]: 値を「実行状態に関係なく許可」に設定します。 その他のパラメーターにはデフォルト値を使用します。 説明 現在のノードが毎日実行されるようにスケジュールされる時間は、ワークフローのゼロ負荷ノード workshop_start のスケジュールされた時間によって決まります。 現在のノードは、毎日 00:30 以後に実行されるようにスケジュールされています。
   [リソースグループ]	環境の準備 フェーズで購入したサーバーレスリソースグループを選択します。
   [依存関係]	[ノードのコミット前にコードから自動的に解析] を [はい] に設定すると、dwd_log_info_di_odps テーブルと ods_user_info_d_odps テーブルを生成する dwd_log_info_di_odps ノードと ods_user_info_d_odps ノードを dws_user_info_all_di_odps ノードの祖先ノードとしてシステムが設定できるようになります。 dws_user_info_all_di_odps テーブルは、dws_user_info_all_di_odps ノードの出力として使用されます。 これにより、これらのノードが dws_user_info_all_di_odps ノードによって生成されたテーブルデータにクエリを実行するときに、dws_user_info_all_di_odps ノードを他のノードの祖先ノードとして自動的に設定できます。

   説明

   現在のノードの祖先ノードを決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析されます。 出力ノード名は、[祖先ノードの出力の名前] として使用されます。

   現在のノードの出力を決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析され、ダウンストリームノードに出力されます。

3. この例では、ビジネス要件に基づいて、その他に必要な構成項目を設定できます。 設定が完了したら、ノードの構成タブの上部にあるツールバーの アイコンをクリックして、ノードの設定を保存します。

ads_user_info_1d_odps ノードを設定する

ワークフローの構成タブで、ads_user_info_1d_odps ノードをダブルクリックします。 ノードの構成タブで、 dws_user_info_all_di_odps 祖先テーブルを処理し、処理されたデータを ads_user_info_1d_odps テーブルに書き込む SQL コードを入力します。

1. ノードコードを編集します。

   -- シナリオ: 次の SQL ステートメントは、ユーザーアクセス情報を格納するために使用される dws_user_info_all_di_odps ワイドテーブルを、ユーザーの基本プロファイルデータを格納するために使用される ads_user_info_1d_odps テーブルにさらに処理するために使用されます。
   -- 注: DataWorks でノードのスケジューリングパラメーターを設定して、スケジューリングシナリオで毎日増分データを目的のテーブルの関連パーティションに書き込むことができます。
   --      実際の開発シナリオでは、${変数名} 形式でノードのコードに変数を定義し、ノードの構成タブの [プロパティ] タブで変数にスケジューリングパラメーターを割り当てることができます。 これにより、スケジューリングパラメーターの値は、スケジューリングパラメーターの構成に基づいてノードコードで動的に置き換えることができます。
   INSERT OVERWRITE TABLE ads_user_info_1d_odps  PARTITION (dt='${bizdate}')
   SELECT uid
     , MAX(region)
     , MAX(device)
     , COUNT(0) AS pv
     , MAX(gender)
     , MAX(age_range)
     , MAX(zodiac)
   FROM dws_user_info_all_di_odps 
   WHERE dt = '${bizdate}'
   GROUP BY uid; 

2. スケジューリングプロパティを設定します。

   ノードの構成タブで、右側のナビゲーションウィンドウの [プロパティ] をクリックします。 [プロパティ] タブで、ノードのスケジューリングプロパティと基本情報を設定します。 詳細については、「ノードのスケジューリングプロパティ」をご参照ください。 パラメーターについて、次の表で説明します。

   セクション	説明	図
   [スケジューリングパラメーター]	[スケジューリングパラメーター] セクションで次のパラメーターを設定します。 [パラメーター名]: 値を bizdate に設定します。 [パラメーター値]: 値を $[yyyymmdd-1] に設定します。
   [スケジュール]	[スケジューリングサイクル]: 値を 日 に設定します。 [スケジュールされた時間]: 値を 00:30 に設定します。 [再実行]: 値を「実行状態に関係なく許可」に設定します。 その他のパラメーターにはデフォルト値を使用します。 説明 現在のノードが毎日実行されるようにスケジュールされる時間は、ワークフローのゼロ負荷ノード workshop_start のスケジュールされた時間によって決まります。 現在のノードは、毎日 00:30 以後に実行されるようにスケジュールされています。
   [リソースグループ]	環境の準備 フェーズで購入したサーバーレスリソースグループを選択します。
   [依存関係]	[ノードのコミット前にコードから自動的に解析] を [はい] に設定すると、dws_user_info_all_1d_odps テーブルを生成する dws_user_info_all_1d_odps ノードを ads_user_info_1d_odps ノードの祖先ノードとしてシステムが設定できるようになります。 ads_user_info_1d テーブルは、ads_user_info_1d ノードの出力として使用されます。 これにより、これらのノードが ads_user_info_1d ノードによって生成されたテーブルデータにクエリを実行するときに、ads_user_info_1d ノードを他のノードの祖先ノードとして自動的に設定できます。

   説明

   現在のノードの祖先ノードを決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析されます。 出力ノード名は、[祖先ノードの出力の名前] として使用されます。

   現在のノードの出力を決定する: [コードから入力と出力を解析] をクリックすると、コード内のテーブル名が 本番環境の MaxCompute プロジェクト名.テーブル名 形式で名前が付けられた出力ノードに解析され、ダウンストリームノードに出力されます。

3. この例では、ビジネス要件に基づいて、その他に必要な構成項目を設定できます。 設定が完了したら、ノードの構成タブの上部にあるツールバーの アイコンをクリックして、ノードの設定を保存します。