Este tópico descreve como criar tabelas no DataWorks e carregar dados nelas, usando as tabelas bank_data e result_table como exemplos.
Pré-requisitos
O diretório do MaxCompute aparece no DataStudio somente após a adição de uma fonte de dados MaxCompute ao workspace e a vinculação do recurso de computação correspondente.
Adicione uma fonte de dados MaxCompute ao seu workspace. Para mais informações, consulte Vincular um recurso de computação do MaxCompute.
Vincule um recurso de computação do MaxCompute no DataStudio. Para isso, no painel de navegação à esquerda do console do DataStudio, clique em Computing Resources e siga as instruções na tela.
-
Configure um grupo de recursos para o mecanismo no System Management. Para mais informações, consulte System Management.
ImportanteSe você não configurar um grupo de recursos para o mecanismo no System Management, a seguinte mensagem de erro será exibida:
The source or destination engine requires a resource group for data upload. Please contact the workspace administrator to configure a resource group.
Contexto
A tabela bank_data armazena dados de negócios, enquanto a tabela result_table armazena resultados de análises.
Criar a tabela bank_data
-
Acesse a página do DataStudio.
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
-
Na página do DataStudio, passe o mouse sobre o ícone
e clique em .Alternativamente, abra um workflow, clique com o botão direito em MaxCompute e selecione Create Table.
Na caixa de diálogo Create Table, selecione um Path, insira bank_data no campo Name e clique em Create.
Na página de edição da tabela, clique em DDL.
-
Na caixa de diálogo DDL, insira a instrução a seguir e clique em Generate Table Schema.
CREATE TABLE IF NOT EXISTS bank_data ( age BIGINT COMMENT 'Age', job STRING COMMENT 'Job type', marital STRING COMMENT 'Marital status', education STRING COMMENT 'Education level', default STRING COMMENT 'Whether the user has a credit card', housing STRING COMMENT 'Housing loan', loan STRING COMMENT 'Personal loan', contact STRING COMMENT 'Contact method', month STRING COMMENT 'Month of the year', day_of_week STRING COMMENT 'Day of the week', duration STRING COMMENT 'Last contact duration, in seconds', campaign BIGINT COMMENT 'Number of contacts performed during this campaign', pdays DOUBLE COMMENT 'Days since the last contact from a previous campaign', previous DOUBLE COMMENT 'Number of contacts performed before this campaign', poutcome STRING COMMENT 'Outcome of the previous marketing campaign', emp_var_rate DOUBLE COMMENT 'Employment variation rate', cons_price_idx DOUBLE COMMENT 'Consumer price index', cons_conf_idx DOUBLE COMMENT 'Consumer confidence index', euribor3m DOUBLE COMMENT 'Euribor 3-month rate', nr_employed DOUBLE COMMENT 'Number of employees', y BIGINT COMMENT 'Whether the client has subscribed to a term deposit' );Para mais informações sobre a sintaxe SQL de criação de tabelas, consulte CREATE TABLE.
Na caixa de diálogo Confirm Operation, clique em Confirm.
-
Após gerar o esquema da tabela, insira um Display Name para a tabela na seção General. Em seguida, clique em Commit to Development Environment e Commit to Production Environment.
NotaEste exemplo usa um workspace no modo padrão. Se estiver usando um workspace no modo básico, clique apenas em Commit to Production Environment.
No painel de navegação à esquerda, clique em Table Management.
Na página Table Management, clique duas vezes no nome da tabela para visualizar seus detalhes.
Criar a tabela result_table
-
Na página do DataStudio, passe o mouse sobre o ícone
e clique em .Alternativamente, abra um workflow, clique com o botão direito em MaxCompute e selecione Create Table.
Na caixa de diálogo Create Table, selecione um Path, insira result_table no campo Table Name e clique em Create.
-
Na caixa de diálogo DDL Statement, insira a instrução a seguir e clique em Generate Table Schema.
CREATE TABLE IF NOT EXISTS result_table ( education STRING COMMENT 'Education level', num BIGINT COMMENT 'Number of people' ); Na caixa de diálogo Confirm Operation, clique em Confirm.
Após gerar o esquema da tabela, insira um Display Name para a tabela na seção General. Em seguida, clique em Commit to Development Environment e Commit to Production Environment.
No painel de navegação à esquerda, clique em Table Management.
Na página Table Management, clique duas vezes no nome da tabela para visualizar seus detalhes.
Carregar dados locais para bank_data
O DataWorks permite:
Carregar arquivos de texto locais em tabelas de um workspace.
Importar dados de negócios de várias fontes de dados para um workspace usando o Data Integration.
As seguintes limitações se aplicam ao carregar arquivos de texto locais:
Tipo de arquivo: Apenas arquivos .txt, .csv e .log são suportados.
-
Tamanho do arquivo: O limite é de 30 MB por arquivo.
Para carregar arquivos maiores que 30 MB, use um dos métodos abaixo:
Carregue o arquivo de dados no OSS e acesse os dados criando uma tabela externa do MaxCompute. Para mais informações sobre como carregar dados no OSS, consulte Carregar objetos. Para mais informações sobre tabelas externas do MaxCompute, consulte Tabelas externas.
Carregue o arquivo de dados no OSS e use o Data Integration para sincronizar os dados do OSS com uma tabela do MaxCompute. Para mais informações sobre como carregar dados no OSS, consulte Carregar objetos. Para mais informações sobre como sincronizar dados do OSS para uma tabela do MaxCompute, consulte Configurar uma tarefa de sincronização no modo assistente.
Use o recurso Data analysis > Data Upload.
Destino: É possível importar dados para tabelas particionadas e não particionadas. No entanto, os valores da chave de partição não podem conter caracteres chineses, e comercial (&), asteriscos (*) ou outros caracteres especiais.
Este exemplo demonstra como importar o arquivo local banking.txt para o DataWorks.
Na página do DataStudio, clique no ícone
.-
Na caixa de diálogo Data Import Wizard, pesquise a tabela
bank_datainserindo pelo menos três caracteres do nome e clique em Next.NotaSe não encontrar a tabela após criá-la, sincronize-a manualmente no Data Map e tente pesquisá-la novamente. Para mais informações sobre como sincronizar uma tabela manualmente, consulte Meus Dados.
-
Defina Select Data Import Method como Upload Local File e clique em Browse ao lado de Select File. Selecione o arquivo de dados local e configure os parâmetros de importação.
Parâmetro
Descrição
Select Data Import Method
O valor padrão é Upload Local File.
File Format
Escolha entre CSV ou Custom Text File.
Select File
Clique em Browse para selecionar o arquivo local que deseja carregar.
Select Delimiter
Os delimitadores suportados incluem Comma (,), Tab, Semicolon (;), Space, **
**, # e &. Neste exemplo, selecione Comma (,).
Original Character Set
Conjuntos de caracteres suportados: GBK, UTF-8, CP936 e ISO-8859. Neste exemplo, selecione GBK.
Import First Row
Indique a linha a partir da qual a importação deve começar. Neste exemplo, selecione 1.
First Row as Field Names
Especifique se a primeira linha contém nomes de colunas. Para este exemplo, não selecione First Row as Field Names.
Preview Data
Esta seção exibe uma prévia dos dados.
Clique em Next.
Escolha um método para mapear os campos de origem aos campos de destino. Neste exemplo, selecione By Location.
Clique em Import Data.
Próximas etapas
Agora você sabe criar uma tabela e carregar dados. No próximo tutorial, você aprenderá a criar, configurar e executar um workflow para analisar e processar dados em seu workspace. Para mais informações, consulte Criar um workflow.