Hologres:Bonnes pratiques pour l'écriture par lots dans Hologres

Configuration de l'environnement

Avant de commencer, assurez-vous que l'environnement suivant est configuré :

• Provisionnez une instance Hologres de version V2.2.25 ou ultérieure et créez une base de données.

• Créez un cluster EMR Spark exécutant Spark 3.3.0 ou une version ultérieure. Pour plus d'informations, consultez la rubrique Créer un cluster.

• Téléchargez le package Spark-Connector.

  Pour permettre à Spark de lire et d'écrire dans Hologres, téléchargez le fichier JAR hologres-connector-spark-3.x depuis le référentiel central Maven.

Le tableau suivant décrit l'environnement utilisé pour le test de performance.

Préparation des données de test

1. Préparez les données source.

   1. Connectez-vous au nœud maître du cluster EMR Spark. Pour plus d'informations, consultez la rubrique Se connecter à une instance ECS.

   2. Téléchargez le package d'outils TPC-H TPC-H_Tools_v3.0.0.zip. Copiez ensuite le package sur l'instance ECS du nœud maître, extrayez-le et accédez au répertoire TPC-H_Tools_v3.0.0/TPC-H_Tools_v3.0.0/dbgen.

   3. Exécutez la commande suivante dans le répertoire dbgen pour générer un fichier customer.tbl pour un jeu de données de test de 1 To.

      ./dbgen -s 1000 -T c

      Le tableau suivant décrit la table customer dans le jeu de données TPC-H de 1 To.

      Élément	Description
      Nombre de champs	8
      Types de champs	INT, BIGINT, TEXT, DECIMAL
      Nombre de lignes	150 000 000
      Nombre de shards	40

2. Importez les données de test dans Spark.

   Exécutez la commande suivante pour télécharger le fichier customer.tbl vers le cluster Spark.

   hadoop fs -put customer.tbl <spark_resource>

   Dans la commande, spark_resource fait référence au Root Storage Directory of Cluster que vous avez défini lors de la création du cluster EMR Spark.

3. Stockage hybride ligne-colonne

   CREATE TABLE test_table_mixed (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column,row'
   );

   Stockage orienté colonne (avec clé primaire)

   CREATE TABLE test_table_column (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Stockage orienté colonne (sans clé primaire)

   CREATE TABLE test_table_column_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Stockage orienté ligne (avec clé primaire)

   CREATE TABLE test_table_row (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

   Stockage orienté ligne (sans clé primaire)

   CREATE TABLE test_table_row_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

Configuration du test

Cette rubrique teste les performances d'importation de différents modes.

1. Connectez-vous au nœud maître du cluster EMR Spark. Pour plus d'informations, consultez la rubrique Se connecter à une instance ECS. Téléchargez le package Spark-Connector précédemment téléchargé, puis exécutez la commande suivante pour accéder au shell interactif Spark SQL.

   Remarque

   Vous pouvez ajuster la valeur du paramètre spark.sql.files.maxPartitionBytes pour contrôler la concurrence de lecture des fichiers HDFS dans Spark. Dans cet exemple, la concurrence est définie sur 40.

   # Enter the Spark SQL interactive shell.
   spark-sql --jars <path>/hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar \
   --conf spark.executor.instances=40 \
   --conf spark.executor.cores=1 \
   --conf spark.executor.memory=4g \
   --conf spark.sql.files.maxPartitionBytes=644245094

   Dans la commande, path correspond au répertoire contenant le fichier hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar.

2. Dans le shell interactif Spark SQL, exécutez les instructions SQL suivantes pour créer des vues temporaires et écrire des données.

   Une table temporaire est utilisée dans ce test pour faciliter l'ajustement des paramètres lors de l'évaluation des performances d'écriture de différents modes.

   Remarque

   En pratique, vous pouvez également utiliser un catalogue pour charger directement les tables Hologres.

   -- Create a temporary table in CSV format.
   CREATE TEMPORARY VIEW csvtable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING csv OPTIONS (
     path "<spark_resources>/customer.tbl", sep "|"
   );
   CREATE TEMPORARY VIEW hologresTable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING hologres OPTIONS (
     jdbcurl "jdbc:postgresql://<hologres_vpc_endpoint>/<database_name>",
     username "<accesskey_id>", 
     password "<accesskey_secret>", 
     table "<table_name>",
     direct_connect "false",
     write.mode "auto",
     write.insert.thread_size "3",
     write.insert.batch_size "2048"
   );
   INSERT INTO hologresTable SELECT * FROM csvTable;

   Le tableau suivant décrit les paramètres.

   Paramètre	Description
   spark_resources	Le cluster root storage path que vous configurez lors de la création du cluster EMR Spark. Vous pouvez trouver ce chemin dans la section Cluster Information de la page Basic Information de votre cluster dans la console EMR on ECS.
   hologres_vpc_endpoint	Le Domain Name VPC de l'instance Hologres. Connectez-vous à la console Hologres, cliquez sur l'ID de l'instance cible et recherchez le point de terminaison pour le VPC spécifié dans la section d'informations réseau de la page des détails de l'instance. Par exemple, un point de terminaison VPC dans la région Chine (Hangzhou) a le format <Instance ID>-cn-hangzhou-vpc-st.hologres.aliyuncs.com:80.
   database_name	Le nom de la base de données dans l'instance Hologres.
   accesskey_id	L'AccessKey ID disposant des autorisations de lecture sur la base de données Hologres spécifiée.
   accesskey_secret	L'AccessKey Secret disposant des autorisations de lecture sur la base de données Hologres spécifiée.
   table_name	Le nom de la table Hologres de destination.
   write.mode	Le mode d'écriture. Valeurs possibles : auto : valeur par défaut. Le connecteur sélectionne automatiquement le mode optimal. insert : écrit les données à l'aide d'instructions INSERT INTO VALUES. stream : effectue des écritures en continu à l'aide de FIXED COPY. bulk_load : effectue une importation par lots vers une table sans clé primaire à l'aide de COPY. bulk_load_on_conflict : effectue une importation par lots vers une table avec clé primaire à l'aide de COPY.
   write.insert.thread_size	La concurrence d'écriture. Ce paramètre s'applique uniquement au mode insert.
   write.insert.batch_size	La taille du lot d'écriture. Ce paramètre s'applique uniquement au mode insert.
   write.on_conflict_action	INSERT_OR_REPLACE (par défaut) : si un conflit de clé primaire se produit, les données sont mises à jour. INSERT_OR_IGNORE : si un conflit de clé primaire se produit, les données sont ignorées.

   Pour plus d'informations sur les paramètres, consultez la rubrique Paramètres.

Scénarios de test

Résultats du test

Les résultats du test incluent les champs suivants :

spark-sql (default)> insert into hologresTable select * from csvTable;25/04/11 15:05:51 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:05:52 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:05:52 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:02 WARN [main] PGStream: create socket to25/04/11 15:06:02 WARN [main] JDBCUtil$: could not connect directly25/04/11 15:06:03 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:04 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:04 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:05 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:05 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:06 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:06 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:07 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:07 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:09 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:09 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:10 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:10 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:11 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:11 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:12 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:12 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]25/04/11 15:06:13 WARN [embedded-hologres-connector-spark-SparkSQL::xxx -worker]Time taken: 228.901 seconds

SELECT    COUNT(*), AVG(duration) AS avg_duration_msFROM    hologres.hg_query_logWHERE    query_start >= '<start_time>' AND query_start <= '<end_time>'    AND query LIKE '%<hologres_table_name>%' AND command_tag = 'COPY';

Le tableau suivant présente les résultats détaillés du test.