DataWorks は E-MapReduce (EMR) と統合して、データウェアハウスの開発と分析を実現します。このチュートリアルでは、Data Integration、Data Studio、およびオペレーションセンターを利用したユーザープロファイル分析のケーススタディを、手順を追って説明します。
実験の概要
効果的なビジネス戦略を策定するには、ユーザーアクティビティから導き出される地理的属性や社会的属性といった、Webサイトユーザーの基本的なプロファイルデータが必要です。時間や場所別にプロファイルデータを分析することで、Webサイトのトラフィックの運用を最適化できます。DataWorks と EMR を組み合わせることで、エンドツーエンドのデータ同期、処理、管理、および利用をサポートします。
このチュートリアルを開始する前に、実験の概要 をお読みいただき、ユーザープロファイル分析実験の全体的な流れを把握してください。
操作手順
-
ステップ 1：環境の準備
EMR クラスターと DataWorks ワークスペースを作成し、環境を設定します。
-
ステップ 2：データの同期
DataWorks でデータ同期タスクを設定してユーザー情報とWebサイトアクセスログを Object Storage Service (OSS) データソースに同期し、EMR Hive ノードでテーブルを作成して同期済みデータをクエリします。
-
ステップ 3：データの処理
DataWorks の EMR Hive ノードを使用して、OSS に同期したユーザー情報とアクセスログデータを処理し、ユーザープロファイル結果を生成します。
-
ステップ 4：モニターの設定
DataWorks のデータ品質で、処理済みデータから生成された dwd_log_info_di_emr テーブルを対象に、モニターを設定します。