Parcourez une analyse des profils utilisateurs d'un site web pour découvrir les tâches principales de DataWorks : synchronisation, traitement, gestion et consommation des données.
Objectifs
Résultat attendu
Réalisez de manière autonome les tâches courantes dans DataWorks, notamment la synchronisation des données, le développement de données et l'exploitation et maintenance (O&M) des tâches.
Public cible
Développeurs, analystes de données et responsables opérationnels produits qui doivent extraire et analyser les données d'entrepôts de données.
Présentation de la conception
Extrayez les profils utilisateur de base à partir des données comportementales du site web (attributs géographiques, attributs sociaux, etc.) afin de piloter la planification périodique des tâches et des opérations de trafic granulaires dans DataWorks.
Services impliqués
Ce tutoriel utilise les services suivants.
|
Catégorie de service |
Nom du service |
Description |
|
Base de données |
Stocke les informations de base des utilisateurs. |
|
|
Stocke les informations des journaux. |
||
|
Moteur de calcul |
Traite les données brutes et stocke les résultats. Choisissez l'une des options suivantes : MaxCompute, EMR, EMR Serverless StarRocks ou EMR Serverless Spark. |
|
|
Intermédiaire de données |
Sert d'intermédiaire de données pour la synchronisation, le traitement, la surveillance de la qualité, la consommation et la planification. |
Les bases de données et DataWorks sont partagées entre tous les chemins de moteurs de calcul. Il vous suffit d'associer le moteur de calcul souhaité à votre espace de travail DataWorks.
Si vous utilisez EMR ou EMR Serverless Spark, préparez une source de données OSS pour recevoir les informations de base des utilisateurs et les informations des journaux. Si vous utilisez EMR Serverless StarRocks, préparez une source de données OSS pour stocker le package
.jardestiné à l'enregistrement d'une fonction StarRocks. Assurez-vous que les sources de données OSS disposent d'un espace de stockage suffisant et que vous détenez les autorisations requises.
Architecture
Ajoutez les bases de données en tant que sources de données et associez les moteurs de calcul dans votre espace de travail DataWorks, puis traitez et consommez les données pour déduire les attributs géographiques et sociaux des utilisateurs.
Flux de travail
Sélectionnez un chemin d'analyse des profils utilisateurs en fonction de votre moteur de calcul. Quatre chemins sont disponibles : Analyse des profils utilisateurs (MaxCompute), Analyse des profils utilisateurs (StarRocks), Analyse des profils utilisateurs (EMR), et Analyse des profils utilisateurs (Spark). Chaque chemin comprend les étapes suivantes :
Utilisez Data Integration pour synchroniser les informations utilisateur et les journaux d'accès depuis les sources de données vers un moteur de calcul.
Divisez les journaux d'accès en champs analysables dans le moteur de calcul.
Agréguez les informations utilisateur avec les journaux d'accès traités.
Traitez les données agrégées pour produire des profils utilisateurs.
Opérations
Le tableau suivant décrit les opérations de ce tutoriel.
|
Étape |
Opération |
Objectif par phase |
|
Synchroniser les données |
Synchronisez les informations utilisateur MySQL et les journaux d'accès OSS vers les ressources de calcul.
|
Vous apprendrez à :
|
|
Traiter les données |
Utilisez Data Studio pour diviser les données des journaux en champs analysables à l'aide de fonctions et d'expressions régulières, puis agrégez ces champs avec les informations utilisateur pour produire les données de profil. |
Vous apprendrez à :
|
|
Gérer les données |
Utilisez Data Map pour afficher et gérer les métadonnées des tables source. Surveillez les données erronées résultant de modifications de la source et arrêtez les tâches associées en cas d'erreur pour éviter tout impact en aval. |
|
|
Consommer les données |
|
Présenter les données visuellement et créer des API dans DataWorks. |
Données de l'exemple
Ces structures de données sont utilisées lors des étapes de synchronisation, de traitement et de gestion.
Structure des données de journal
Examinez les données métier, le format des données et la structure cible du profil utilisateur avant de commencer.
Format des données de journal brutes dans le fichier OSS user_log.txt :
$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent"$http_referer" "$http_user_agent" [unknown_content];Les données du journal contiennent les champs suivants.
|**Nom du champ**
|
**Description du champ**
| | --- | --- | |
$remote_addr
|
L'adresse IP du client.
| |
$remote_user
|
Le nom d'utilisateur de connexion du client.
| |
$time_local
|
L'heure locale du serveur.
| |
$request
|
La requête HTTP, composée de la méthode de requête, de l'URL et de la version HTTP.
| |
$status
|
Le code d'état de la réponse du serveur.
| |
$body_bytes_sent
|
Le nombre d'octets renvoyés au client, à l'exclusion de l'en-tête de réponse.
| |
$http_referer
|
L'URL source de la requête.
| |
$http_user_agent
|
Les informations du client, telles que le navigateur.
|
Structure des données d'information utilisateur
Structure de la table de données MySQL ods_user_info_d :
**Nom du champ**
|
**Description du champ**
| | --- | --- | |
uid
|
Le nom d'utilisateur.
| |
gender
|
Le sexe.
| |
age_range
|
La tranche d'âge.
| |
zodiac
|
Le signe astrologique.
|
Structure des données de sortie
Structure finale de la table après l'analyse des données brutes. Ajustez les champs en fonction de vos exigences métier.
|**Nom du champ**
|
**Description du champ**
| | --- | --- | |
uid
|
Le nom d'utilisateur.
| |
region
|
La région.
| |
device
|
Le type de terminal.
| |
pv
|
Le nombre de pages vues.
| |
gender
|
Le sexe.
| |
age_range
|
La tranche d'âge.
| |
Zodiac
|
Le signe astrologique.
|