Data Management:Geração de dados de teste

Pré-requisitos

O DMS oferece suporte aos seguintes tipos de banco de dados:

• MySQL: ApsaraDB RDS for MySQL, PolarDB for MySQL, ApsaraDB MyBase for MySQL, PolarDB-X, AnalyticDB for MySQL e bancos de dados MySQL de outras origens

• SQL Server: ApsaraDB RDS for SQL Server, ApsaraDB MyBase for SQL Server e bancos de dados SQL Server de outras origens

• PostgreSQL: ApsaraDB RDS for PostgreSQL, PolarDB for PostgreSQL, ApsaraDB MyBase for PostgreSQL, AnalyticDB for PostgreSQL e bancos de dados PostgreSQL de outras origens

• MariaDB: ApsaraDB RDS for MariaDB e bancos de dados MariaDB de outras origens

• ApsaraDB for OceanBase in MySQL mode

• PolarDB for PostgreSQL (Compatible with Oracle)

Contexto

Preparar dados para testes funcionais ou de desempenho pode ser um desafio. Os métodos comuns incluem:

• Inserção manual: ineficiente e inadequada para grandes conjuntos de dados.

• Scripts personalizados: têm custo de manutenção elevado, aplicabilidade limitada e frequentemente produzem dados com baixa aleatoriedade.

• Clones de dados de produção: são inseguros e podem gerar riscos à privacidade dos dados.

O desenvolvimento geralmente exige uma forma frequente, segura e eficiente de preparar dados com características controláveis. O recurso de geração de dados de teste do DMS atende a essas necessidades.

Observações de uso

• Gere dados de teste para apenas uma tabela por vez. Para gerar dados de teste para várias tabelas, repita o processo para cada uma.

• Uma única tarefa pode gerar no máximo 1 milhão de linhas de dados.

• Os benchmarks de desempenho a seguir servem apenas como referência. O DMS limita o tráfego para evitar sobrecarga do banco de dados devido à geração rápida de grandes volumes de dados.

  • A geração de 1 milhão de linhas para uma tabela com 4 colunas leva aproximadamente 60 segundos.

  • A geração de 1 milhão de linhas para uma tabela com 40 colunas leva aproximadamente de 120 a 180 segundos.

Procedimento

1. Faça login no DMS 5.0.

2. Na barra de navegação superior, escolha Database Development > Environment Construction > Test Data Generation.

   Nota

   Se você usar o console do DMS no modo simples, passe o ponteiro sobre o ícone no canto superior esquerdo do console e escolha All Features > Database Development > Environment Construction > Test Data Generation.

3. Na página Test Data Generation Tickets, clique em Test Data Generation no canto superior direito.

   Nota

   Como alternativa, no SQL Console do banco de dados de destino, clique com o botão direito na tabela desejada e escolha Data Plans > Test Data Generation.

4. Na página de solicitação de ticket de geração de dados de teste, preencha os campos conforme descrito na tabela a seguir e clique em Submit.

   Parâmetro	Descrição
   Task name	Um nome adequado facilita buscas futuras e esclarece a intenção da tarefa para os aprovadores.
   Database name	Selecione o banco de dados onde deseja gerar os dados. É necessário ter as permissões adequadas para esse banco de dados.
   Table name	Tabela a ser preenchida com dados. Uma lista de preenchimento automático aparece conforme você digita o nome da tabela.
   Configure algorithm	Esta opção aparece após a seleção de um Table name. Configure o método de geração para cada coluna. Para mais informações, consulte Configuração de algoritmo.
   Number of rows	Quantidade de linhas de dados a gerar.
   Conflict handling	Selecione um modo de tratamento de conflitos. Valores válidos: Skip when encountering data conflicts: se ocorrer um conflito de dados em uma chave primária ou chave única, o sistema ignora o registro conflitante e continua o processo com os demais dados. Replace when encountering data conflicts: se ocorrer um conflito de dados em uma chave primária ou chave única, o sistema substitui a linha existente e continua o processo com os demais dados.
   Change stakeholder	Adicione as partes interessadas necessárias. Usuários não listados como participantes, aprovadores ou partes interessadas não podem visualizar os detalhes do ticket.

5. Após o envio, o ticket entra no fluxo de aprovação. Depois da aprovação, o sistema gera automaticamente os dados e os insere no banco de dados de destino.

   Nota

   Por padrão, o Administrador de Banco de Dados (DBA) do banco de dados correspondente aprova os tickets de geração de dados de teste. Para mais informações, consulte Geração de dados de teste.

Configuração de algoritmo

Os algoritmos de geração de dados de teste oferecem três métodos: random, custom e enumeration.

• random

  • Para tipos numéricos, há dois métodos de geração disponíveis: self-increasing sequence (mediante especificação de um starting value e de um step) e interval number (gera um valor aleatório dentro de um intervalo especificado). Para tipos inteiros com o método interval number, defina um valor mínimo e máximo para gerar um número inteiro aleatório nesse intervalo (por exemplo, de 1 a 100).

  • Para tipos de texto, há dois métodos de geração disponíveis: variable length string (gera um valor aleatório com comprimento e faixa de caracteres especificados) e non-repeating string (gera strings únicas e aleatórias).

  • Para tipos de data e hora, gere valores aleatórios dentro de um intervalo de data ou hora especificado.

• custom

  Atualmente, esse método tem suporte apenas para tipos de texto. Ele fornece tipos de dados padrão para informações pessoais, geolocalização e diversos dados específicos de setores.

  As categorias também incluem Basic type e IT-related. Cada categoria possui subtipos específicos. Por exemplo, em informações pessoais, selecione opções como nomes chineses, cores, indústrias, empresas, departamentos, cargos e universidades. Após fazer a seleção, clique em Confirm Algorithm Configuration para salvar as configurações.

• enumeration

  Forneça uma lista de valores. O DMS selecionará itens aleatoriamente dessa lista para preencher os dados.

  Nota

  O método de enumeração oferece suporte a tipos de dados numéricos, de texto e de data/hora.

  Na caixa de diálogo da lista de valores, clique em Add Enumeration Value para adicionar os valores necessários. Para excluir um valor existente, clique em Remove na linha correspondente. Ao concluir, clique em Confirm Algorithm Configuration.

Operações relacionadas

Após a geração dos dados de teste, execute as seguintes operações:

• Consulte os dados no SQL Console do DMS. Para mais informações, consulte Introdução ao SQL Console.

• Monitore e visualize o desempenho do banco de dados. Para mais informações, consulte Monitoramento de desempenho em tempo real.