DataWorks s'intègre à E-MapReduce (EMR) pour le développement et l'analyse d'entrepôts de données. Ce tutoriel présente une étude de cas sur l'analyse des profils utilisateurs, couvrant Data Integration, Data Studio et Operation Center.
Présentation de l'expérience
Pour élaborer des stratégies commerciales efficaces, vous avez besoin de données de base sur les profils des utilisateurs du site web, notamment leurs attributs géographiques et sociaux dérivés de leurs activités. L'analyse de ces données par période et par emplacement vous permet d'affiner la gestion du trafic de votre site. DataWorks et EMR assurent conjointement la synchronisation, le traitement, la gestion et la consommation des données de bout en bout.
Consultez la rubrique Aperçu de l'expérience pour comprendre l'intégralité du processus de l'expérience d'analyse des profils utilisateurs avant de commencer ce tutoriel.
Procédure
-
Étape 1 : Préparer l'environnement
Créez un cluster EMR et un espace de travail DataWorks, puis configurez l'environnement.
-
Étape 2 : Synchroniser les données
Configurez une tâche de synchronisation des données dans DataWorks pour synchroniser les informations utilisateur et les journaux d'accès au site web vers une source de données Object Storage Service (OSS). Créez ensuite des tables à l'aide de nœuds EMR Hive pour interroger les données synchronisées.
-
Étape 3 : Traiter les données
Utilisez des nœuds EMR Hive dans DataWorks pour traiter les informations utilisateur et les journaux d'accès synchronisés vers OSS, afin de générer les résultats des profils utilisateurs.
-
Étape 4 : Configurer une surveillance
Configurez une règle de surveillance dans Data Quality de DataWorks pour la table dwd_log_info_di_emr générée à partir des données traitées.