O DataWorks se integra ao E-MapReduce (EMR) para o desenvolvimento e a análise de data warehouses. Este tutorial apresenta um estudo de caso sobre análise de perfil de usuário, abordando o Data Integration, o Data Studio e o Operation Center.
Introdução ao experimento
Estratégias de negócios eficazes exigem dados básicos de perfil dos usuários do site, incluindo atributos geográficos e sociais derivados das atividades dos usuários. Ao analisar os dados de perfil por tempo e localização, você pode refinar as operações de tráfego do site. O DataWorks e o EMR oferecem suporte conjunto à sincronização, processamento, gerenciamento e consumo de dados de ponta a ponta.
Leia Experiment overview para entender o processo completo do experimento de análise de perfil de usuário antes de iniciar este tutorial.
Procedimento
-
Etapa 1: Prepare the environment
Crie um cluster do EMR e um workspace do DataWorks e configure o ambiente.
-
Etapa 2: Synchronize data
Configure uma tarefa de sincronização de dados no DataWorks para sincronizar informações de usuários e logs de acesso ao site com uma source de dados do Object Storage Service (OSS) e crie tabelas usando nós do EMR Hive para consultar os dados sincronizados.
-
Etapa 3: Process data
Use nós do EMR Hive no DataWorks para processar as informações de usuários e os dados de log de acesso sincronizados com o OSS e gere resultados de perfil de usuário.
-
Etapa 4: Configure a monitor
Configure um monitor no DataWorks Data Quality para a tabela dwd_log_info_di_emr gerada a partir dos dados processados.