Data Management:Génération de données de test

Prérequis

Les types de base de données suivants sont pris en charge :

• MySQL : ApsaraDB RDS for MySQL, PolarDB for MySQL, ApsaraDB MyBase for MySQL, PolarDB-X, AnalyticDB for MySQL et les bases de données MySQL d'autres sources

• SQL Server : ApsaraDB RDS for SQL Server, ApsaraDB MyBase for SQL Server et les bases de données SQL Server d'autres sources

• PostgreSQL : ApsaraDB RDS for PostgreSQL, PolarDB for PostgreSQL, ApsaraDB MyBase for PostgreSQL, AnalyticDB for PostgreSQL et les bases de données PostgreSQL d'autres sources

• MariaDB : ApsaraDB RDS for MariaDB et les bases de données MariaDB d'autres sources

• ApsaraDB for OceanBase en mode MySQL

• PolarDB for PostgreSQL (Compatible with Oracle)

Contexte

La préparation des données pour les tests fonctionnels ou de performance peut représenter un véritable défi. Les méthodes courantes incluent :

• Saisie manuelle : inefficace et inadaptée aux grands volumes de données.

• Scripts personnalisés : coûteux à maintenir, non universellement applicables et produisant souvent des données dont l'aléatoire est médiocre.

• Clones de données de production : peu sûrs et susceptibles d'entraîner des risques pour la confidentialité des données.

Le développement nécessite souvent un moyen fréquent, sécurisé et efficace de préparer des données aux caractéristiques contrôlables. La fonctionnalité Test Data Generation de DMS est conçue pour répondre à ces besoins.

Remarques d'utilisation

• Vous ne pouvez générer des données de test que pour une seule table à la fois. Pour générer des données de test pour plusieurs tables, répétez le processus pour chaque table.

• Une tâche unique peut générer au maximum 1 million de lignes de données.

• Les repères de performance suivants sont fournis à titre indicatif uniquement. DMS limite le trafic pour éviter la surcharge de la base de données due à la génération rapide de grands volumes de données.

  • La génération de 1 million de lignes pour une table comportant 4 colonnes prend environ 60 secondes.

  • La génération de 1 million de lignes pour une table comportant 40 colonnes prend environ 120 à 180 secondes.

Procédure

1. Connectez-vous à DMS 5.0.

2. Dans la barre de navigation supérieure, choisissez Database Development > Environment Construction > Test Data Generation.

   Remarque

   Si vous utilisez la console DMS en mode simple, placez le pointeur sur l'icône dans le coin supérieur gauche de la console et choisissez All Features > Database Development > Environment Construction > Test Data Generation.

3. Sur la page Test Data Generation Tickets, cliquez sur Test Data Generation dans le coin supérieur droit.

   Remarque

   Vous pouvez également cliquer avec le bouton droit sur la table cible dans la SQL Console de la base de données concernée, puis choisir Data Plans > Test Data Generation.

4. Sur la page de demande de ticket Test Data Generation, renseignez les champs comme décrit dans le tableau suivant, puis cliquez sur Submit.

   Paramètre	Description
   Task name	Un nom pertinent facilite les recherches ultérieures et clarifie l'intention de la tâche pour les approbateurs.
   Database name	Sélectionnez la base de données dans laquelle vous souhaitez générer des données. Vous devez disposer des autorisations requises pour cette base de données.
   Table name	Table à remplir avec des données. Une liste de saisie semi-automatique s'affiche lorsque vous saisissez le nom de la table.
   Configure algorithm	Cette option s'affiche après avoir sélectionné un Table name. Vous pouvez configurer la méthode de génération pour chaque colonne. Pour plus d'informations, consultez la section Configuration de l'algorithme.
   Number of rows	Nombre de lignes de données à générer.
   Conflict handling	Sélectionnez un mode de gestion des conflits. Valeurs valides : Skip when encountering data conflicts : si un conflit de données se produit sur une clé primaire ou une clé unique, l'enregistrement conflictuel est ignoré et le processus continue avec les autres données. Replace when encountering data conflicts : si un conflit de données se produit sur une clé primaire ou une clé unique, la ligne existante est remplacée et le processus continue avec les autres données.
   Change stakeholder	Ajoutez les parties prenantes nécessaires. Les utilisateurs qui ne figurent pas parmi les participants, les approbateurs ou les parties prenantes ne peuvent pas consulter les détails du ticket.

5. Après avoir soumis le ticket, celui-ci entre dans le processus d'approbation. Une fois approuvé, le système génère automatiquement les données et les insère dans la base de données cible.

   Remarque

   Par défaut, l'administrateur de base de données (DBA) de la base de données correspondante approuve les tickets Test Data Generation. Pour plus d'informations, consultez la section Génération de données de test.

Configuration de l'algorithme

Les algorithmes de génération de données de test prennent en charge trois méthodes : random, custom et enumeration.

• random

  • Pour les types numériques, deux méthodes de génération sont disponibles : self-increasing sequence (en spécifiant une starting value et un step) et interval number (génère une valeur aléatoire dans une plage spécifiée). Pour les types entiers utilisant la méthode interval number, vous pouvez définir une valeur minimale et une valeur maximale afin de générer un entier aléatoire dans cette plage (par exemple, de 1 à 100).

  • Pour les types texte, deux méthodes de génération sont disponibles : variable length string (génère une valeur aléatoire dans une plage de longueur et de caractères spécifiée) et non-repeating string (génère des chaînes uniques aléatoires).

  • Pour les types date et heure, vous pouvez générer des valeurs aléatoires dans une plage de dates ou d'heures spécifiée.

• custom

  Cette méthode est actuellement prise en charge uniquement pour les types texte. Elle fournit des types de données standard pour les informations personnelles, la géolocalisation et diverses données spécifiques à l'industrie.

  Les catégories incluent également Basic type et IT-related. Chaque catégorie dispose de sous-types spécifiques. Par exemple, sous les informations personnelles, vous pouvez sélectionner des options telles que les noms chinois, les couleurs, les industries, les entreprises, les départements, les titres de poste et les universités. Après avoir effectué votre sélection, cliquez sur Confirm Algorithm Configuration pour enregistrer les paramètres.

• enumeration

  Vous pouvez fournir une liste de valeurs, et DMS sélectionnera aléatoirement dans cette liste pour remplir les données.

  Remarque

  La méthode d'énumération prend en charge les types de données numériques, texte et date/heure.

  Dans la boîte de dialogue de liste de valeurs, cliquez sur Add Enumeration Value pour ajouter les valeurs requises. Pour supprimer une valeur existante, cliquez sur Remove dans la ligne correspondante. Lorsque vous avez terminé, cliquez sur Confirm Algorithm Configuration.

Opérations connexes

Une fois les données de test générées, vous pouvez effectuer les opérations suivantes :

• Interrogez les données dans la SQL Console de DMS. Pour plus d'informations, consultez la section Prise en main de SQL Console.

• Surveillez et consultez les performances de votre base de données. Pour plus d'informations, consultez la section surveillance des performances en temps réel.