DataWorks:上級: 注文のベストセラー商品カテゴリを分析する

1. ワークフローオーケストレーションページで、workshop ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. workshop ノード編集ページの右側のパネルで [スケジューリング構成] をクリックし、パラメーターを構成します。このチュートリアルでは、次の主要なパラメーターを構成する必要があります。他のすべてのパラメーターはデフォルト値のままにできます。

   スケジューリング構成パラメーター	説明
   スケジューリングタイプ	このチュートリアルでは ドライランスケジューリング に設定します。
   スケジューリングリソースグループ	このチュートリアルでは、「リソースグループを作成してワークスペースにアタッチする」で作成したサーバーレスリソースグループに設定します。
   ノード依存関係の構成	workshop は初期ノードであり、上流依存関係がないため、[ワークスペースルートノードを使用] をクリックしてワークスペースルートノードにワークフローの実行をトリガーさせることができます。 ワークスペースルートノードの名前は workspace_name_root です。

3. ノードツールバーで [保存] をクリックしてノードを保存します。

1. ワークフローオーケストレーションページで、ods_item_info ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. 同期パイプラインのネットワークとリソース設定を構成します。

   パラメーター	説明
   データソース	データソース: MySQL。 データソース名: MySQL_Source。
   マイリソースグループ	「リソースグループを作成してワークスペースにアタッチする」で購入したサーバーレスリソースグループを選択します。
   データ宛先	データ宛先: MaxCompute(ODPS)。 データソース名: 「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源を選択します。この例では MaxCompute_Source を使用します。

3. [次へ] をクリックして同期タスクを構成します。

   1. [データソースと宛先の構成]

      説明

      表に記載されていないパラメーターについては、デフォルト値を保持してください。

      構成エリア	パラメーター	構成の説明
      データソース	テーブル	item_info。
      データ宛先	テーブル	[ワンクリックでターゲットテーブルスキーマを生成] をクリックして MaxCompute テーブルを迅速に作成します。次のテーブル作成ステートメントを [テーブル作成ステートメント] エリアに貼り付け、[テーブルの作成] をクリックします。このテーブルは、データソースから商品情報を受け取るために使用されます。 テーブル作成 SQL CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee`DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	パーティション情報	このチュートリアルでは ${bizdate} を入力します。これは、テストフェーズ中に bizdate パラメーターに定数値を割り当て、スケジュールされた実行中に bizdate パラメーターに動的に値を割り当てるために使用されます。DataStudio でサポートされている変数形式と構成メソッドの詳細については、「スケジューリングパラメーター」をご参照ください。

   2. [フィールドマッピング] と [チャネル制御] を確認します。

      DataWorks は、構成されたフィールドマッピングに基づいて、ソースフィールドから宛先フィールドにデータを書き込みます。タスクの同時実行数やダーティデータポリシーなどの設定も構成できます。このチュートリアルでは、[ダーティデータポリシー] を [ダーティデータを許容しない] に設定します。他のすべての設定はデフォルト値のままにできます。詳細については、「コードレス UI でオフライン同期タスクを構成する」をご参照ください。

4. ノードツールバーで [保存] をクリックしてノードを保存します。

1. ワークフローオーケストレーションページで、ods_trade_order ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. 同期パイプラインのネットワークとリソース設定を構成します。

   パラメーター	説明
   データソース	データソース: MySQL。 データソース名: MySQL_Source。
   マイリソースグループ	「リソースグループを作成してワークスペースにアタッチする」で購入したサーバーレスリソースグループを選択します。
   データ宛先	データ宛先: MaxCompute(ODPS)。 データソース名: 「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源を選択します。この例では MaxCompute_Source を使用します。

3. [次へ] をクリックして同期タスクを構成します。

   1. [データソースと宛先の構成]

      説明

      表に記載されていないパラメーターについては、デフォルト値を保持してください。

      構成エリア	パラメーター	構成の説明
      データソース	テーブル	trade_order。
      データ宛先	テーブル	[ワンクリックでターゲットテーブルスキーマを生成] をクリックして MaxCompute テーブルを迅速に作成します。次のテーブル作成ステートメントを [テーブル作成ステートメント] エリアに貼り付け、[テーブルの作成] をクリックします。このテーブルは、データソースから商品情報を受け取るために使用されます。 テーブル作成 SQL CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	パーティション情報	このチュートリアルでは ${bizdate} を入力します。これは、テストフェーズ中に bizdate パラメーターに定数値を割り当て、スケジュールされた実行中に bizdate パラメーターに動的に値を割り当てるために使用されます。DataStudio でサポートされている変数形式と構成メソッドの詳細については、「スケジューリングパラメーター」をご参照ください。

   2. [フィールドマッピング] と [チャネル制御] を確認します。

      DataWorks は、構成されたフィールドマッピングに基づいて、ソースフィールドから宛先フィールドにデータを書き込みます。タスクの同時実行数やダーティデータポリシーなどの設定も構成できます。このチュートリアルでは、[ダーティデータポリシー] を [ダーティデータを許容しない] に設定します。他のすべての設定はデフォルト値のままにできます。詳細については、「コードレス UI でオフライン同期タスクを構成する」をご参照ください。

4. ノードツールバーで [保存] をクリックしてノードを保存します。

このノードは、ods_item_info テーブルから商品ディメンションデータを処理し、商品ディメンションテーブル dim_item_info を生成します。

1. ワークフローオーケストレーションページで、dim_item_info ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. ノード編集ページに次のコードを貼り付けます。

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT '商品最終更新日',
       gmt_create                     STRING COMMENT '商品作成時間',
       item_id                        BIGINT COMMENT '商品数値 ID',
       title                          STRING COMMENT '商品タイトル',
       sub_title                      STRING COMMENT '商品サブタイトル',
       pict_url                       STRING COMMENT 'メイン画像 URL',
       desc_path                      STRING COMMENT '商品説明のパス',
       item_status                    BIGINT COMMENT '商品ステータス 1: 確認済み 0: 未確認',
       last_online_time               DATETIME COMMENT '最終販売開始時間, 商品出品時間',
       last_offline_time              DATETIME COMMENT '販売終了時間, オークション商品のみの販売サイクルの終了を示す',
       duration                       BIGINT COMMENT '有効期間, 販売サイクル, 7 日または 14 日の 2 つの値のみ',
       reserve_price                  DOUBLE COMMENT '現在価格',
       secure_trade_ordinary_post_fee DOUBLE COMMENT '標準郵便料金',
       secure_trade_fast_post_fee     DOUBLE COMMENT '速達郵便料金',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'EMS 郵便料金',
       last_online_quantity           BIGINT COMMENT '商品が最後に出品されたときの在庫数',
       features                       STRING COMMENT '商品特徴',
       cate_id                        BIGINT COMMENT '商品リーフカテゴリ ID',
       cate_name                      STRING COMMENT '商品リーフカテゴリ名',
       commodity_id                   BIGINT COMMENT 'カテゴリ ID',
       commodity_name                 STRING COMMENT 'カテゴリ名',
       is_virtual                     STRING COMMENT '仮想商品かどうか',
       shop_id                        BIGINT COMMENT 'ショップ ID',
       shop_nick                      STRING COMMENT 'ショップ NICK',
       is_deleted                     BIGINT COMMENT 'カテゴリが削除されたかどうか'
   )
   COMMENT '商品基本情報ディメンションテーブル'
   PARTITIONED BY (pt STRING COMMENT 'データタイムスタンプ, yyyymmdd')
   LIFECYCLE 365;
   
   
   -- dim_item_info テーブルにデータを挿入
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. デバッグパラメーターを構成します。

   MaxCompute SQL ノード編集ページの右側のパネルで、[デバッグ構成] をクリックします:

   • [計算資源] パラメーターには、「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源とその対応する計算クォータを選択します。

   • リソースグループパラメーターには、「リソースグループを作成してワークスペースにアタッチする」で作成したサーバーレスリソースグループを選択します。

4. ノードツールバーで [保存] をクリックしてノードを保存します。

このノードは、ods_trade_order テーブルからの詳細なトランザクションデータに対して初期のクレンジング、変換、ビジネスロジック処理を行い、トランザクション注文詳細ファクトテーブル dwd_trade_order を生成します。

1. ワークフローオーケストレーションページで、dwd_trade_order ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. ノード編集ページに次のコードを貼り付けます。

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT '主キー, 重複排除後の最新 ID',
       gmt_create       DATETIME COMMENT '作成時間',
       gmt_modified     DATETIME COMMENT '変更時間',
       sub_order_id     BIGINT COMMENT 'サブオーダー ID',
       parent_order_id  BIGINT COMMENT '親オーダー ID',
       buyer_id         BIGINT COMMENT '購入者数値 ID',
       buyer_nick       STRING COMMENT '購入者ニックネーム, null 値を処理',
       item_id          BIGINT COMMENT '商品数値 ID',
       item_price       DECIMAL(38,18) COMMENT '商品価格, セント単位',
       buy_amount       BIGINT COMMENT '購入数量',
       biz_type         BIGINT COMMENT 'トランザクションタイプ',
       memo             STRING COMMENT 'メモ, null 値を処理',
       pay_status       BIGINT COMMENT '支払いステータス',
       logistics_status BIGINT COMMENT '物流ステータス',
       status           BIGINT COMMENT 'ステータス',
       seller_memo      STRING COMMENT 'トランザクションの販売者メモ',
       buyer_memo       STRING COMMENT 'トランザクションの購入者メモ',
       clean_ip         STRING COMMENT 'クレンジングされた購入者 IP, 無効なフォーマットをフィルター',
       end_time         DATETIME COMMENT 'トランザクション終了時間',
       pay_time         DATETIME COMMENT '支払い時間',
       is_sub           BIGINT COMMENT 'サブオーダーかどうか, 1 はサブオーダーを示す',
       is_parent        BIGINT COMMENT '親オーダーかどうか, 1 は親オーダーを示す',
       shop_id          BIGINT COMMENT 'ショップ ID',
       total_fee        DECIMAL(38,18) COMMENT '割引および調整後のサブオーダー料金',
       is_large_order_flag BOOLEAN COMMENT '大口注文のフラグ'
   )
   COMMENT 'トランザクション注文詳細ファクトテーブル, 初期クレンジングとビジネスロジック処理を含む'
   PARTITIONED BY (pt STRING COMMENT 'データタイムスタンプ, yyyymmdd')
   LIFECYCLE 365; -- データ存続期間を 365 日に設定
   
   
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       MAX(id) AS id, -- 最新の ID を重複排除の基準として使用すると仮定
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- null の buyer_nick を処理
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- null の memo を処理
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- 無効な IP フォーマットをフィルター
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- 10000 セントを超える注文を大口注文と仮定
           ELSE FALSE 
       END AS is_large_order_flag -- ビジネスロジックフラグを追加
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- 重複排除のための行番号
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1 -- 各重複排除グループの最初のレコードのみを保持
   GROUP BY 
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       buyer_nick,
       item_id,
       item_price,
       buy_amount,
       biz_type,
       memo,
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       is_large_order_flag;

3. デバッグパラメーターを構成します。

   MaxCompute SQL ノード編集ページの右側のパネルで、[デバッグ構成] をクリックします:

   • [計算資源] パラメーターには、「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源とその対応する計算クォータを選択します。

   • リソースグループパラメーターには、「リソースグループを作成してワークスペースにアタッチする」で作成したサーバーレスリソースグループを選択します。

4. ノードツールバーで [保存] をクリックしてノードを保存します。

このノードは、dwd_trade_order テーブルと dim_item_info テーブルからクレンジングおよび標準化された詳細データを集計し、日次商品カテゴリ売上集計テーブル dws_daily_category_sales を生成します。

1. ワークフローオーケストレーションページで、dws_daily_category_sales ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. ノード編集ページに次のコードを貼り付けます。

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT '商品リーフカテゴリ ID',
       cate_name           STRING COMMENT '商品リーフカテゴリ名',
       total_sales_amount  DECIMAL(38,18) COMMENT '商品カテゴリの総売上高, セント単位',
       order_count         BIGINT COMMENT '注文数'
   )
   COMMENT '日次商品カテゴリ売上集計テーブル'
   PARTITIONED BY (pt STRING COMMENT 'データタイムスタンプ, yyyymmdd')
   LIFECYCLE 365;
   
   
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. デバッグパラメーターを構成します。

   MaxCompute SQL ノード編集ページの右側のパネルで、[デバッグ構成] をクリックします:

   • [計算資源] パラメーターには、「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源とその対応する計算クォータを選択します。

   • リソースグループパラメーターには、「リソースグループを作成してワークスペースにアタッチする」で作成したサーバーレスリソースグループを選択します。

4. ノードツールバーで [保存] をクリックしてノードを保存します。

このノードは、dws_daily_category_sales テーブルに基づいて、日次ベストセラー商品カテゴリのランキングテーブル ads_top_selling_categories を生成します。

1. ワークフローオーケストレーションページで、ads_top_selling_categories ノードにマウスを合わせ、[ノードを開く] をクリックします。

2. ノード編集ページに次のコードを貼り付けます。

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT '売上ランキング',
       cate_id             BIGINT COMMENT '商品リーフカテゴリ ID',
       cate_name           STRING COMMENT '商品リーfカテゴリ名',
       total_sales_amount  DECIMAL(38,18) COMMENT '商品カテゴリの総売上高, セント単位',
       order_count         BIGINT COMMENT '注文数'
   )
   COMMENT '日次ベストセラー商品カテゴリのランキングテーブル'
   PARTITIONED BY (pt STRING COMMENT 'データタイムスタンプ, yyyymmdd');
   
   
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. デバッグパラメーターを構成します。

   MaxCompute SQL ノード編集ページの右側のパネルで、[デバッグ構成] をクリックします:

   • [計算資源] パラメーターには、「MaxCompute 計算資源の作成とアタッチ」でアタッチした MaxCompute 計算資源とその対応する計算クォータを選択します。

   • リソースグループパラメーターには、「リソースグループを作成してワークスペースにアタッチする」で作成したサーバーレスリソースグループを選択します。

4. ノードツールバーで [保存] をクリックしてノードを保存します。