AnalyticDB:Utiliser Spark SQL pour lire et écrire dans des tables C-Store

Prérequis

Avant de commencer, vérifiez que vous disposez des éléments suivants :

• Un cluster AnalyticDB for MySQL Édition Enterprise, Édition Basic ou Édition Data Lakehouse :

  • Édition Data Lakehouse : doit disposer de plus de 0 ACU de ressources de stockage réservées

  • Édition Enterprise : doit disposer de plus de 0 ACU de ressources réservées

  • Édition Basic : doit disposer de plus de 0 ACU de ressources réservées

• Un groupe de ressources de tâches créé pour le cluster

• Un compte de base de données créé pour le cluster

Choisir un mode

Deux modes sont disponibles selon votre cas d'utilisation :

Étape 1 : Accéder au développement SQL

1. Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur Clusters, localisez votre cluster et cliquez sur son ID.

2. Dans le volet de navigation de gauche, choisissez Job Development > SQL Development.

3. Sous l'onglet SQLConsole, sélectionnez le moteur Spark et un groupe de ressources de tâches.

Étape 2 : Créer une base de données et une table C-Store

Exécutez les instructions suivantes en mode de traitement par lots ou en mode interactif. Pour plus de détails, consultez la section Modes d'exécution Spark SQL .

1. Créez une base de données :

   CREATE DATABASE spark_create_adb_db_test;

2. Créez une table C-Store. Pour connaître la syntaxe complète de création de table, reportez-vous à la section Créer une table interne à l'aide de Spark SQL.

   CREATE TABLE spark_create_adb_db_test.test_adb_tbl (
     id int,
     name string COMMENT 'test_name',
     age int
   ) using adb TBLPROPERTIES('primaryKey'='id,age',
                   'distributeType'='HASH',
                   'distributeColumns'='id',
                   'partitionType'='value',
                   'partitionColumn'='age',
                   'partitionCount'='120',
                   'storagePolicy'='COLD'
                  );

Étape 3 : Lire et écrire des données

Lorsqu'une instruction Spark SQL s'exécute, le système renvoie uniquement un message de succès ou d'échec ; aucune donnée n'est retournée en ligne. Pour visualiser les données de la table, consultez les Logs sous l'onglet Application List de la page Spark Jar Development . Pour plus de détails, voir Afficher les informations de l'application Spark .

SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

-- Connection credentials and internal endpoint
conf spark.adb.username=<database-account>;
conf spark.adb.password=<password>;
conf spark.adb.endpoint=<cluster-internal-endpoint>:3306;
-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Use JDBC mode for real-time writes
SET spark.adb.useJdbc=true;
-- Set the interactive resource group for SQL execution
SET spark.adb.resourceGroup=user_default;
-- Write data
INSERT INTO spark_create_adb_db_test.test_adb_tbl VALUES (1, 'adb', 20);
-- Read data
SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Create a temporary view mapped to the target table
CREATE TEMPORARY VIEW table_tmp
USING org.apache.spark.sql.jdbc
OPTIONS (
  url 'jdbc:mysql://<cluster-internal-endpoint>:3306/spark_create_adb_db_test?useServerPrepStmts=false&rewriteBatchedStatements=true',
  dbtable 'spark_create_adb_db_test.test_adb_tbl',
  user '<database-account>',
  password '<password>'
);
-- Write data
INSERT INTO table_tmp VALUES (1, 'adb', 20);
-- Read data
SELECT * FROM table_tmp;

-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Register the JDBC catalog (catalog name "jdbc" is used as an example — you can customize it)
SET spark.sql.catalog.jdbc=org.apache.spark.sql.execution.datasources.v2.jdbc.JDBCTableCatalog;
SET spark.sql.catalog.jdbc.url=jdbc:mysql://<cluster-internal-endpoint>:3306/?useServerPrepStmts=false&rewriteBatchedStatements=true;
SET spark.sql.catalog.jdbc.user=<database-account>;
SET spark.sql.catalog.jdbc.password=<password>;
-- Switch to the catalog and query
use jdbc;
SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

Paramètres Spark

Configurez les paramètres suivants pour optimiser les performances de lecture et d'écriture.

Étapes suivantes

• Modes d'exécution Spark SQL — découvrez quand utiliser le mode de traitement par lots ou le mode interactif

• Créer une table interne à l'aide de Spark SQL — référence complète de la syntaxe de création de table C-Store

• Créer et gérer un groupe de ressources — configurez les groupes de ressources de tâches et interactifs