DataWorks:Criar uma tabela EMR

Informações de contexto

Após criar um Legacy Data Development: EMR compute resource, a plataforma cria automaticamente um rastreador de metadados do EMR no Data Map para coletar os metadados do cluster. Se você ainda não conseguir selecionar um banco de dados EMR nesta página após criar o recurso de computação EMR, acesse o Data Map, localize o rastreador de metadados do cluster e colete os metadados novamente. Para mais informações, consulte Collect E-MapReduce metadata.

Procedimento

1. Acesse a página DataStudio.

   Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Passe o cursor sobre o ícone e clique em Create Table > EMR > Table.

   Como alternativa, localize o fluxo de trabalho de destino, clique com o botão direito em EMR e clique em Create Table.

3. Na caixa de diálogo Create Table, configure os parâmetros da tabela, como a instância do engine e o caminho.

   Para Engine Type, selecione EMR. Especifique o Database e o Name. Em seguida, clique em Create.

4. Clique em Create para abrir o editor de tabelas.

5. Na seção General, configure os parâmetros.

   Parâmetro	Descrição
   Level-1 Folder	A pasta de nível 1 para a tabela. Nota As pastas de nível 1 e nível 2 organizam as tabelas no DataWorks para facilitar o gerenciamento.
   Level-2 Folder	A pasta de nível 2 para a tabela.
   Create Folder	Clique em Create Folder para acessar a página Folder Management. Nesta página, crie pastas de nível 1 e nível 2.
   Refresh	Após criar uma pasta, clique em Refresh.
   Description	Uma breve descrição da nova tabela.

6. Na seção Physical Model, configure os parâmetros.

   Os formatos de armazenamento compatíveis incluem ORC, PARQUET, SEQUENCEFILE, AVRO, TEXTFILE, JSON, RCFile e Custom.

   Parâmetro	Descrição
   Layer	Selecione a camada e a classificação física nas listas suspensas. Para criar uma nova camada ou classificação física, entre em contato com o administrador do workspace, clique em Create Level e adicione-as na página Level Management. Após criá-las, clique em Refresh.
   Physical classification
   Partition Type	As opções são Partitioned Table e Non-partitioned Table.
   Table Type	As opções são Internal Table e External Table.
   Select storage format	Selecione um formato de armazenamento para os arquivos na tabela com base nos seus requisitos de negócios.

7. Na seção Schema, configure os parâmetros.

   Parâmetro	Descrição
   Create Field	Clique em Create Field, configure as informações do campo e clique em Save para adicionar um novo campo.
   Up	Ajusta a ordem dos campos de uma nova tabela. Se reordenar os campos de uma tabela existente, você deverá excluir a tabela atual e criar uma nova com o mesmo nome. Essa operação é proibida em ambiente de produção.
   Down
   Field Name	O nome do campo. Pode conter apenas letras, números e sublinhados (_).
   Field Type	Tipos de dados compatíveis: TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, CHAR, STRING, BINARY, DATETIME, DATE, TIMESTAMP, BOOLEAN, ARRAY, MAP e STRUCT.
   Definition or Maximum Value Length	Se o tipo de dados selecionado exigir um tamanho, especifique o tamanho na caixa de texto.
   Description	Uma descrição do campo.
   Primary Key	Define o campo como chave primária. A chave primária é um conceito de negócio que garante a unicidade dos registros. O DataWorks não impõe restrições de chave primária.
   Modify	Após salvar um campo, clique em Modify para modificar a configuração dele e clique em Save.
   Delete	Exclui o campo. Nota Se você excluir um campo de uma tabela existente e enviar a alteração, deverá excluir a tabela atual e criar uma nova com o mesmo nome. Essa operação é proibida em ambiente de produção.
   Add Partition	defina Partition Type como Partitioned Table na seção Physical Model e configure os campos de partição. Você pode adicionar uma partição à tabela atual. Se adicionar uma partição a uma tabela existente, deverá excluir a tabela atual e criar uma nova com o mesmo nome. Essa operação é proibida em ambiente de produção.

8. Na barra de ferramentas, clique no ícone e envie a tabela EMR ao ambiente de produção.

   Se usar um workspace no Standard Mode, envie primeiro a tabela para o ambiente de desenvolvimento e, em seguida, para o ambiente de produção.

   Nota

   Ao enviar a tabela, selecione um grupo de recursos de agendamento. Se usar um grupo de recursos serverless, o DataWorks envia uma tarefa de criação de tabela para o engine e gera os logs de execução. Use os logs de execução para solucionar problemas de envio. Se nenhum grupo de recursos serverless estiver disponível, adquira e configure um. Para mais informações, consulte Use a serverless resource group.