AnalyticDB：Gunakan Spark SQL untuk membaca data dari atau menulis data ke tabel C-Store

Prasyarat

• Kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse telah dibuat.

  Catatan

  • Jumlah sumber daya penyimpanan yang dipesan untuk kluster Edisi Data Lakehouse harus lebih besar dari 0 ACU.

  • Jumlah sumber daya yang dipesan untuk kluster Edisi Perusahaan harus lebih besar dari 0 ACU.

  • Jumlah sumber daya yang dipesan untuk kluster Edisi Dasar harus lebih besar dari 0 ACU.

• Kelompok sumber daya pekerjaan telah dibuat untuk kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

• Akun database telah dibuat untuk kluster AnalyticDB for MySQL Edisi Perusahaan, Edisi Dasar, atau Edisi Data Lakehouse.

Langkah 1: Buka pengembangan data

1. Masuk ke Konsol AnalyticDB for MySQL. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi sebelah kiri, klik Clusters. Temukan kluster yang ingin Anda kelola, lalu klik ID kluster tersebut.

2. Di panel navigasi sebelah kiri, pilih Job Development > SQL Development.

3. Pada tab SQLConsole, pilih mesin Spark dan kelompok sumber daya pekerjaan.

Langkah 2: Buat database dan tabel C-Store

1. Eksekusi pernyataan berikut untuk membuat database.

   CREATE DATABASE spark_create_adb_db_test;

2. Eksekusi pernyataan berikut untuk membuat tabel C-Store. Untuk informasi selengkapnya tentang sintaks Spark SQL untuk membuat tabel, lihat Gunakan Spark SQL untuk membuat tabel internal.

   CREATE TABLE spark_create_adb_db_test.test_adb_tbl (
     id int,
     name string COMMENT 'test_name',
     age int
   ) using adb TBLPROPERTIES('primaryKey'='id,age',
                   'distributeType'='HASH', 
                   'distributeColumns'='id', 
                   'partitionType'='value', 
                   'partitionColumn'='age',   
                   'partitionCount'='120',
                   'storagePolicy'='COLD'   
                  );

Langkah 3: Membaca data dari dan menulis data ke tabel C-Store

Saat membaca dan menulis data ke tabel dalam mode batch (INSERT OVERWRITE), Anda hanya perlu memilih mesin Spark dan kelompok sumber daya pekerjaan—tidak diperlukan parameter tambahan. Namun, saat menggunakan mode real-time (INSERT INTO), Anda harus menggunakan perintah SET untuk menentukan kelompok sumber daya interaktif guna mengeksekusi pernyataan SQL.

-- Akun database, kata sandi, dan titik akhir internal kluster.
conf spark.adb.username=user;
conf spark.adb.password=password;
conf spark.adb.endpoint=amv-bp1a74zh****.ads.aliyuncs.com:3306;
-- Aktifkan akses berbasis ENI.
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=vsw-bp12ldm83z4zu9k4d****;
SET spark.adb.eni.securityGroupId=sg-bp1cdm3acizrgq6x****;
-- Gunakan mode JDBC.
SET spark.adb.useJdbc = true;
-- Tetapkan kelompok sumber daya online untuk mengeksekusi pernyataan SQL.
SET spark.adb.resourceGroup=user_default;
-- Menulis data.
INSERT INTO spark_create_adb_db_test.test_adb_tbl VALUES (1, 'adb', 20);
-- Membaca data.
SELECT * FROM spark_create_adb_db_test.test_adb_tbl;

-- Aktifkan akses berbasis ENI.
SET spark.adb.eni.enabled=true;
SET spark.adb.eni.vswitchId=vsw-bp1sxxsodv28ey5dl****;   
SET spark.adb.eni.securityGroupId=sg-bp19mr685pmg4ihc****;    
-- Buat view.
CREATE TEMPORARY VIEW table_tmp
USING org.apache.spark.sql.jdbc
OPTIONS (
  url 'jdbc:mysql://amv-bp1a74zh****.ads.aliyuncs.com:3306/spark_create_adb_db_test?useServerPrepStmts=false&rewriteBatchedStatements=true',     
  dbtable 'spark_create_adb_db_test.test_adb_tbl',    
  user 'user',       
  password 'password****'      
);
-- Menulis data.
INSERT INTO table_tmp VALUES (1, 'adb', 20);
-- Mengkueri data.
SELECT * FROM table_tmp;

Item konfigurasi Spark

Saat menggunakan Spark SQL untuk membaca atau menulis data ke tabel C-Store, Anda dapat mengonfigurasi item konfigurasi berikut: