AnalyticDB:Use Spark SQL to read from and write to C-Store tables

Pré-requisitos

Antes de começar, verifique se você tem:

• Um cluster do AnalyticDB for MySQL nas edições Enterprise, Basic ou Data Lakehouse:

  • Data Lakehouse Edition: deve ter mais de 0 ACUs de recursos de armazenamento reservados

  • Enterprise Edition: deve ter mais de 0 ACUs de recursos reservados

  • Basic Edition: deve ter mais de 0 ACUs de recursos reservados

• Um grupo de recursos de job criado para o cluster

• Uma conta de banco de dados criada para o cluster

Escolha um modo

Dois modos estão disponíveis conforme o caso de uso:

Etapa 1: Acesse o desenvolvimento SQL

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, clique em Clusters, localize o cluster e clique no ID correspondente.

2. No painel de navegação à esquerda, escolha Job Development > SQL Development.

3. Na aba SQLConsole, selecione o mecanismo Spark e um grupo de recursos de job.

Etapa 2: Crie um banco de dados e uma tabela C-Store

Execute as instruções a seguir no modo de processamento em lote ou no modo interativo. Para obter detalhes, consulte Modos de execução do Spark SQL .

1. Crie um banco de dados:

   CREATE DATABASE spark_create_adb_db_test;

2. Crie uma tabela C-Store. Para a sintaxe completa de criação de tabela, consulte Criar uma tabela interna usando Spark SQL.

   CREATE TABLE spark_create_adb_db_test.test_adb_tbl (
     id int,
     name string COMMENT 'test_name',
     age int
   ) using adb TBLPROPERTIES('primaryKey'='id,age',
                   'distributeType'='HASH',
                   'distributeColumns'='id',
                   'partitionType'='value',
                   'partitionColumn'='age',
                   'partitionCount'='120',
                   'storagePolicy'='COLD'
                  );

Etapa 3: Leia e grave dados

Ao executar uma instrução Spark SQL, o sistema retorna apenas uma mensagem de sucesso ou falha, sem dados inline. Para visualizar os dados da tabela, verifique os Logs na aba Application List da página Spark Jar Development . Para obter detalhes, consulte Visualizar informações de aplicativos Spark .

SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

-- Connection credentials and internal endpoint
conf spark.adb.username=<database-account>;
conf spark.adb.password=<password>;
conf spark.adb.endpoint=<cluster-internal-endpoint>:3306;
-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Use JDBC mode for real-time writes
SET spark.adb.useJdbc=true;
-- Set the interactive resource group for SQL execution
SET spark.adb.resourceGroup=user_default;
-- Write data
INSERT INTO spark_create_adb_db_test.test_adb_tbl VALUES (1, 'adb', 20);
-- Read data
SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Create a temporary view mapped to the target table
CREATE TEMPORARY VIEW table_tmp
USING org.apache.spark.sql.jdbc
OPTIONS (
  url 'jdbc:mysql://<cluster-internal-endpoint>:3306/spark_create_adb_db_test?useServerPrepStmts=false&rewriteBatchedStatements=true',
  dbtable 'spark_create_adb_db_test.test_adb_tbl',
  user '<database-account>',
  password '<password>'
);
-- Write data
INSERT INTO table_tmp VALUES (1, 'adb', 20);
-- Read data
SELECT * FROM table_tmp;

-- Enable ENI-based access
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=<vswitch-id>;
SET spark.adb.eni.securityGroupId=<security-group-id>;
-- Register the JDBC catalog (catalog name "jdbc" is used as an example — you can customize it)
SET spark.sql.catalog.jdbc=org.apache.spark.sql.execution.datasources.v2.jdbc.JDBCTableCatalog;
SET spark.sql.catalog.jdbc.url=jdbc:mysql://<cluster-internal-endpoint>:3306/?useServerPrepStmts=false&rewriteBatchedStatements=true;
SET spark.sql.catalog.jdbc.user=<database-account>;
SET spark.sql.catalog.jdbc.password=<password>;
-- Switch to the catalog and query
use jdbc;
SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

Parâmetros do Spark

Configure os parâmetros a seguir para ajustar o desempenho de leitura e gravação.

Próximos passos

• Modos de execução do Spark SQL: saiba quando usar o modo de processamento em lote versus o modo interativo

• Criar uma tabela interna usando Spark SQL: referência completa da sintaxe de criação de tabelas C-Store

• Criar e gerenciar um grupo de recursos: configure grupos de recursos de job e interativos