TPC-DS, tests de performance - MaxCompute - Centre de documentation Alibaba Cloud

MaxCompute prend en charge l'interrogation de données à des échelles allant des téraoctets (To) aux pétaoctets (Po) et exaoctets (Eo), offrant des avantages significatifs en matière de performances. Cette rubrique utilise le jeu de données public et les outils de test de MaxCompute pour valider ses performances via le benchmark Big Data TPC-DS. MaxCompute propose deux méthodes de test : la méthode 1 (recommandée) utilise le nouveau moteur d'accélération des requêtes MaxQA, tandis que la méthode 2 utilise le moteur MCQA (MCQA n'est plus ouvert aux nouveaux utilisateurs ; les utilisateurs existants peuvent consulter cette méthode).

Préparatifs

Préparez votre environnement.
- Avant d'exécuter un test TPC-DS, activez MaxCompute et créez un projet. Pour plus de détails, reportez-vous à Annexe : Paramètres de configuration du projet.
- Méthode 1 (recommandée) : Activez MaxQA (MaxCompute Query Acceleration 2.0). Cette fonctionnalité est actuellement en aperçu public (cliquez sur le lien d'aperçu public pour y participer ; consultez le calendrier d'aperçu public pour connaître la disponibilité par région).
  - Consultez la section Présentation de l'accélération des requêtes MaxQA pour activer une instance par abonnement et créer un groupe de quotas interactif.
- Méthode 2 (plus ouverte aux nouveaux utilisateurs) : Activez MCQA (MaxCompute Query Acceleration 1.0), disponible uniquement pour les utilisateurs MCQA existants. Consultez la section Accélération des requêtes MCQA (plus ouverte aux nouveaux utilisateurs) pour activer une instance par abonnement.
Préparez l'outil de test.

Pour simplifier les tests, MaxCompute fournit un outil automatisé de test de performance TPC-DS qui vous aide à exécuter rapidement les tests et à générer automatiquement les résultats.

Important
L'outil de test prend actuellement en charge uniquement les environnements Linux et nécessite JDK version 1.7 ou ultérieure.

Cliquez sur mc_tpcds_benchmark pour télécharger le package d'outils, puis exécutez la commande suivante sur votre serveur Linux pour l'extraire.
```
unzip mc_tpcds_benchmark.zip
```
La structure du répertoire extrait est la suivante :
```
.
|_t1c7039e3-2a1d-451b-bfda-d14c49016243-tpc-ds-tool.zip
|_config
|_init_tools.sh
|_load_table.sh
|_logs
|_odps_clt
|_patches
|_pt.sh
|_queries_1
|_queries_1.quality
|_queries_10
|_queries_100
|_queries_1000
|_queries_10000
|_queries_100000
|_querygen.sh
|_results
|_run_stream.sh
|_run_stream.sh.offline
|_sqls
|_start_session_only.sh
|_start_session.sql
|_start_session.sql_tmp
|_tools_file
|_tt.sh
|_v2.10.1rc3
```

Prenez connaissance du jeu de données de test.

MaxCompute met à disposition un jeu de données public afin que vous n'ayez pas à préparer vous-même les données de test. Toutes les données sont stockées dans le projet public MaxCompute BIGDATA_PUBLIC_DATASET. Pour plus de détails, reportez-vous à la section Présentation des jeux de données publics.

Le jeu de données de test TPC-DS est disponible en quatre tailles : 10 Go, 100 Go, 1 To et 10 To. Choisissez la taille adaptée à vos besoins de test. Les détails sont présentés ci-dessous :

Catégorie	Description	Nom du jeu de données	Nom du schéma
TPC-DS	TPC-DS est un benchmark d'aide à la décision qui modélise les aspects courants des systèmes d'aide à la décision, y compris les requêtes et la maintenance des données, permettant aux nouvelles technologies telles que les systèmes Big Data de subir des benchmarks standardisés.	Ensemble de test de performance TPC-DS 10 Go Ensemble de test de performance TPC-DS 100 Go Ensemble de test de performance TPC-DS 1 To Ensemble de test de performance TPC-DS 10 To	tpcds_10g tpcds_100g tpcds_1t tpcds_10t

Procédure de test

Modifier le fichier de configuration de l'outil de test

Accédez au répertoire mc_tpcds_benchmark de l'outil de test extrait et modifiez le fichier config. Étant donné que l'outil prend en charge les modes MaxQA et MCQA, certains paramètres de configuration diffèrent légèrement entre les deux, au-delà des paramètres de base.

Configuration de base

Élément de configuration

Description

Valeur

ODPS_CLT_CMD

Chemin absolu vers le fichier exécutable du client MaxCompute.

Le client inclus dans cette boîte à outils se trouve sous odps_clt dans le répertoire de travail. Mettez à jour ce paramètre en conséquence. Pour plus de détails, reportez-vous à la section Connexion à l'aide du client local (odpscmd).

Exemple : /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd

PROJECT

Projet MaxCompute utilisé pour les tests.

Exemple : tpcds_test

Échelle des données pour le test TPC-DS.

L'unité est le Go. 1 signifie 1 Go et 1000 signifie 1 To. Ajustez cette valeur selon vos besoins.

Valeur par défaut : 1000

Différences entre les modes MCQA et MaxQA

Élément de configuration	Description	Valeur MCQA	Valeur MaxQA
ODPS_CLT_CMD	Chemin absolu vers le fichier exécutable du client MaxCompute. Le client inclus dans cette boîte à outils se trouve sous odps_clt dans le répertoire de travail. Mettez à jour ce paramètre en conséquence. Pour plus de détails, reportez-vous à la section Connexion à l'aide du client local (odpscmd).	Exemple : /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd	Exemple : /xxxxx/mc_tpcds_benchmark/odps_clt/bin/odpscmd
PROJECT	Projet MaxCompute utilisé pour les tests.	Exemple : tpcds_test	Exemple : tpcds_test
SF	Échelle des données pour le test TPC-DS. L'unité est le Go. 1 signifie 1 Go et 1000 signifie 1 To. Ajustez cette valeur selon vos besoins.	Valeur par défaut : 1000. Les jeux de données publics MaxCompute incluent actuellement quatre tailles : 10 Go, 100 Go, 1 To et 10 To. Par conséquent, définissez SF sur 10, 100, 1000 ou 10000.	Valeur par défaut : 1000. Les jeux de données publics MaxCompute incluent actuellement quatre tailles : 10 Go, 100 Go, 1 To et 10 To. Par conséquent, définissez SF sur 10, 100, 1000 ou 10000.
MODE	Définissez le mode pour cette exécution de benchmark.	MCQA	MaxQA
MAXQA_QUOTA_NAME	Nom du groupe de quotas interactifs MaxQA utilisé pour les tests. Vous pouvez le trouver sur la page Gestion des quotas de la console MaxCompute. Assurez-vous de saisir l'alias du quota (le nom que vous avez attribué).	S/O	Exemple : maxqa_test_quota
SQL_FLAGS	Indicateurs SQL MaxCompute intégrés. Ne pas modifier.	`set odps.sql.session.result.cache.enable=false` : Désactivez la mise en cache des résultats en mode MCQA pour garantir que chaque requête s'exécute indépendamment. `set odps.sql.allow.cartesian=true` : Activez le calcul du produit cartésien dans SQL. `set odps.sql.session.query.timeout=600` : Définissez le délai d'expiration des tâches Fuxi en mode MCQA.	`set odps.sql.mcqa2.result.cache.enable=false` : Désactivez la mise en cache des résultats en mode MaxQA pour garantir que chaque requête s'exécute indépendamment. `set odps.sql.allow.cartesian=true` : Activez le calcul du produit cartésien dans SQL.

Exécuter le test

Dans le répertoire mc_tpcds_benchmark, exécutez la commande suivante pour démarrer le test TPC-DS :

nohup sh pt.sh > pt.log 2>&1 &

Après une exécution réussie, l'outil génère automatiquement un fichier journal pt.log dans le répertoire mc_tpcds_benchmark. Exécutez la commande suivante pour afficher les journaux détaillés des tâches :

tail -f pt.log

Surveiller l'exécution des tâches MaxCompute

Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.
Dans le volet de navigation de gauche, choisissez Observation O&M > Jobs.
Sur la page Job O&M, vérifiez l'état d'exécution des tâches. Cliquez sur LogView dans la colonne Actions de la tâche cible pour afficher les informations détaillées. Pour plus d'informations, reportez-vous à la section Job O&M.

Afficher les résultats des tests

Après l'exécution réussie des tâches, l'outil génère automatiquement un fichier de résultats de test nommé console_test_result.csv dans le répertoire mc_tpcds_benchmark. Ce fichier contient la durée totale du test, le temps d'exécution de chaque requête et les liens Logview correspondants.