DataWorks:Caso simples: Análise de grupos de compradores de imóveis

Etapa 1: Criar uma tabela do MaxCompute

Antes de enviar os dados de teste, crie uma tabela chamada bank_data no projeto do MaxCompute para armazenar os dados recebidos, utilizando o recurso Alibaba Cloud Account do DataWorks.

1. Faça login no console do DataWorks. Na barra de navegação superior, selecione a região desejada. No painel de navegação à esquerda do console do DataWorks, escolha Data Development and O&M > Data Development. Na página exibida, selecione o workspace desejado na lista suspensa Data Catalog e clique em Go to Data Studio.

2. No painel de navegação à esquerda da página Data Studio, clique no ícone para acessar o painel Data Catalog.

3. (Opcional) Caso seu projeto do MaxCompute não apareça no Data Catalog, clique no ícone ao lado de Select Workspace para ir à aba DataWorks Data Sources. Lá, adicione seu projeto do MaxCompute (já configurado como recurso de computação ou fonte de dados) ao workspace como um catálogo de dados.

4. No painel Data Catalog, clique em MaxCompute. Dentro do seu projeto do MaxCompute, navegue até Table. Clique no ícone para criar uma nova tabela.

   Nota

   • Se o recurso de schema estiver habilitado para o projeto do MaxCompute, abra o schema no projeto antes de criar uma tabela do MaxCompute na pasta Table sob o projeto.

   • Neste tutorial, utiliza-se um workspace no Standard Mode, e a depuração ocorre apenas no ambiente de desenvolvimento. Portanto, basta criar a tabela bank_data no ambiente de desenvolvimento do projeto do MaxCompute. Se estiver usando um workspace no Basic Mode, crie a tabela bank_data no ambiente de produção.

5. Na seção DDL da aba de criação de tabela, insira o código SQL a seguir. O sistema gerará automaticamente todas as informações da tabela.

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT 'The age',
    job             STRING COMMENT 'The job type',
    marital         STRING COMMENT 'The marital status',
    education       STRING COMMENT 'The education level',
    default         STRING COMMENT 'Whether a credit card is possessed',
    housing         STRING COMMENT 'The mortgage',
    loan            STRING COMMENT 'The loan',
    contact         STRING COMMENT 'The contact information',
    month           STRING COMMENT 'The month',
    day_of_week     STRING COMMENT 'The day of the week',
    duration        STRING COMMENT 'The duration',
    campaign        BIGINT COMMENT 'The number of contacts during the campaign',
    pdays           DOUBLE COMMENT 'The time elapsed since the last contact',
    previous        DOUBLE COMMENT 'The number of contacts with the customer',
    poutcome        STRING COMMENT 'The result of the previous marketing campaign',
    emp_var_rate    DOUBLE COMMENT 'The employment change rate',
    cons_price_idx  DOUBLE COMMENT 'The consumer price index',
    cons_conf_idx   DOUBLE COMMENT 'The consumer confidence index',
    euribor3m       DOUBLE COMMENT 'The euro deposit rate',
    nr_employed     DOUBLE COMMENT 'The number of employees',
    y               BIGINT COMMENT 'Whether a time deposit is possessed'
   );

6. Na barra de ferramentas superior da aba de configuração, clique em Deploy para criar a tabela bank_data no projeto do MaxCompute no ambiente de desenvolvimento.

7. Após a criação da tabela bank_data, clique no nome dela na seção MaxCompute para visualizar as informações detalhadas.

Etapa 2: Enviar dados para a tabela bank_data

Baixe o arquivo banking.csv para sua máquina local e envie os dados contidos nele para a tabela bank_data criada no projeto do MaxCompute. Para mais informações, consulte Upload data.

1. No canto superior esquerdo do console do DataWorks, clique no ícone e escolha All Products > MaxCompute > Standard Mode.

2. Na seção Recent Upload Records, clique em Upload Data. Na página Upload Data, configure os parâmetros conforme a tabela abaixo.

   Seção		Descrição
   Data Source		Arquivo local.
   Specify Data to Be Uploaded	Select File	Envie o arquivo banking.csv baixado para sua máquina local.
   Configure Destination Table	Compute Engine	MaxCompute.
   	MaxComputeProject Name	Selecione o projeto do MaxCompute ao qual a tabela bank_data pertence.
   	Select Destination Table	Selecione bank_data. Se bank_data não for exibida, consulte FAQ para atualizar os metadados da tabela.
   Preview Data of Uploaded File		Clique em Mapping by Order para concluir o mapeamento entre os dados do arquivo e os campos da tabela bank_data.

   Nota

   • Envie arquivos com extensões .csv, .xls, .xlsx e .json da sua máquina local.

   • Ao enviar um arquivo .xls ou .xlsx, a primeira planilha será carregada por padrão.

   • Para arquivos .csv, o tamanho máximo permitido é de 5 GB. Para outros tipos, o limite é de 100 MB.

   • Mantenha os valores padrão para os parâmetros não descritos na tabela.

3. Clique em Upload Data para enviar os dados do arquivo CSV para a tabela bank_data.

4. Verifique se os dados foram gravados na tabela bank_data.

   Após o envio, utilize o recurso SQL query (legacy) para confirmar a gravação dos dados na tabela bank_data.

   1. Clique no ícone no canto superior esquerdo. Na página pop-up, clique em All Products > DataAnalysis > SQL Query.

   2. Em My Files, clique em > Create File. Especifique um File Name personalizado e clique em Determine.

   3. Na página de consulta SQL, insira a seguinte instrução SQL.

      SELECT * FROM bank_data limit 10；

   4. No canto superior direito da aba de configuração do arquivo de consulta SQL, selecione o workspace ao qual a tabela bank_data pertence e a fonte de dados do MaxCompute desejada, e clique em OK.

      Nota

      Neste tutorial, utiliza-se um workspace no Standard Mode, e a tabela bank_data foi criada apenas no ambiente de desenvolvimento. Portanto, selecione uma fonte de dados do MaxCompute no ambiente de desenvolvimento. Se estiver usando um workspace no modo básico, selecione uma fonte de dados no ambiente de produção.

   5. Na barra de ferramentas superior da aba de configuração, clique no ícone Run. Na caixa de diálogo Estimate Costs, clique em Run. Após a execução da instrução SQL, visualize os dez primeiros registros da tabela bank_data na parte inferior da aba. Isso confirma que o envio do arquivo local para a tabela bank_data foi bem-sucedido.

      

Etapa 3: Processar dados

Utilize nós MaxCompute SQL para filtrar dados na tabela bank_data, obter a distribuição de níveis de escolaridade entre pessoas solteiras com hipoteca e gravar os dados processados na tabela result_table.

Etapa 4: Depurar e executar o workflow

Após configurar o workflow dw_basic_case, depure-o e execute-o na página Data Studio para validar as configurações.

1. Ao concluir o desenvolvimento dos nós internos do workflow, mude para a aba de configuração do workflow e clique no ícone Save na barra de ferramentas superior para salvá-lo.

2. Com o workflow salvo, clique no ícone Run na barra de ferramentas superior da aba de configuração para depurar e executar o workflow.

3. Após a conclusão da execução do workflow, visualize o resultado. A figura a seguir mostra o resultado esperado.

   

Etapa 5: Consultar e exibir dados

Depois que os dados forem enviados ao MaxCompute e processados no Data Studio, consulte e visualize os resultados da análise.

1. Clique no ícone no canto superior esquerdo. Na página pop-up, clique em All Products > Node functionality > Computing Quota.

2. No painel SQL Query, clique no ícone ao lado de Computing Quota e selecione Create File. Na caixa de diálogo DataAnalysis, configure o parâmetro File Name conforme suas necessidades e clique em SQL Query.

3. Na página de consulta SQL, insira a seguinte instrução SQL.

   SELECT * FROM result_table;

4. No canto superior direito da aba de configuração do arquivo de consulta SQL, selecione o workspace ao qual a tabela result_table pertence e a fonte de dados do MaxCompute desejada, e clique em OK.

   Nota

   Neste tutorial, utiliza-se um workspace no My Files, e a tabela result_table foi criada apenas no ambiente de desenvolvimento, sem implantação na produção. Portanto, selecione uma fonte de dados do MaxCompute no ambiente de desenvolvimento. Se estiver usando um workspace no modo básico, selecione uma fonte de dados no ambiente de produção.

5. Na barra de ferramentas superior da aba de configuração, clique no ícone Run. Na caixa de diálogo Estimate Costs, clique em Run.

6. Na aba que exibe o resultado da execução, clique no ícone para visualizar o resultado gráfico. Clique no ícone no canto superior direito da aba para personalizar o estilo do gráfico.

7. No canto superior direito da aba que exibe o resultado da execução, clique no ícone Standard Mode para salvar o gráfico como um cartão. No painel de navegação à esquerda da página SQL Query, clique no ícone (样式设置) para visualizar o cartão salvo.

   

A tabela de destino bank_data não é exibida durante o envio de dados

Acesse Delete Workspace > Data Integration > Upload and Download > All Products > DataMap. O My Data deve seguir o formato "projeto.tabela" ou "odps.projeto.tabela", onde:

• projeto é o My Tools. Você pode encontrá-lo clicando em bank_data no Refresh Table Metadata na Etapa 1 e verificando o painel Guid à direita.

• tabela é o nome da tabela, que é bank_data.