通過Spark SQL讀Lindorm資料

AnalyticDB for MySQL支援通過JDBC和Spark DatasourceV2介面兩種方法訪問Lindorm寬表資料。兩種方法區別如下：

• 通過JDBC方式訪問Lindorm寬表資料僅支援訪問default庫。

• 通過Spark Datasource V2介面方式支援訪問寬表中任意資料庫。

• 兩種方式效率按照Lindorm側同學反饋無明顯差別，Spark Datasource V2底層也是拼接的SQL語句

通過JDBC訪問寬表資料

1. 擷取Lindorm寬表SQL的專用網路地址。具體操作，請參見查看串連地址。

2. 下載Lindorm JDBC Driver依賴，並將JAR包上傳至OSS中。具體操作，請參見上傳檔案。

   說明

   lindorm-all-client的版本固定為2.1.6。

3. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單，然後單擊目的地組群ID。

4. 在左側導覽列，單擊作業開發 > SQL開發。

5. 在SQL Console視窗，選擇Spark引擎和Job型資源群組。

6. 在SQL Console視窗中輸入以下作業內容：

   set spark.adb.eni.enabled=true;
   set spark.adb.eni.vswitchId=<vsw-bp14pj8h0k5p0kwu3****>;
   set spark.adb.eni.securityGroupId=>sg-bp11m93k021tp4ca****>;
   
   add jar oss://<bucketname>/hbase_jars/lindorm-all-client-2.1.6.jar;
   
   CREATE TEMPORARY VIEW tb
   USING org.apache.spark.sql.jdbc
   OPTIONS (
     driver 'com.aliyun.lindorm.table.client.Driver',
     url 'jdbc:lindorm:table:url=http://ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060/default',內網地址
     dbtable 'tb',
   -- Lindorm控制台擷取的資料庫使用者名稱
     user 'test',
   -- Lindorm控制台擷取的資料庫密碼
     password 'password',
     fetchsize 10000
   );
   
   -- 建立OSS外部資料庫和表
   create database if not exists external_oss_db location 'oss://<bucketname>/warehouse/db';
   create table if not exists external_oss_db.lindorm_table_1(id string, name string) using parquet location 'oss://<bucketname>/warehouse/db/lindorm_table_1/';
   
   -- 將lindorm寬表中的資料插入至OSS外表
   insert into external_oss_db.lindorm_table_1 select * from tb;
   
   -- 讀取OSS外表資料
   select * from external_oss_db.lindorm_table_1;

   參數說明：

   參數	說明
   jar	步驟2中下載的JAR包所在的OSS路徑。
   driver	Lindorm JDBC Driver依賴。參數取值固定為com.aliyun.lindorm.table.client.Driver。
   url	步驟1中擷取的Lindorm寬表SQL的專用網路地址，格式為 Lindorm寬表SQL的專用網路地址/資料庫名。 例如：jdbc:lindorm:table:url=http://ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060/default
   dbtable	Lindorm寬表資料庫名稱。本文樣本為tb。
   user	如果您忘記使用者密碼，可以通過Lindorm寬表引擎的叢集管理系統修改密碼。
   password
   fetchsize	每次串連讀取的資料條數。您可以任意調整。 重要 提交Spark作業需配置fetchsize參數，否則無法查詢到資料。

7. 單擊運行。

8. Spark作業執行成功後，您可以在Spark Jar 開發頁面應用列表頁簽中的日誌查看錶資料。詳情請參見Spark開發編輯器。

1. 擷取寬表引擎使用HBase Java API訪問的專用網路地址。具體操作，請參見查看串連地址。

2. 下載串連Lindorm執行個體所需的JAR包，並將解壓後的JAR包上傳至OSS中。具體操作，請參見上傳檔案。

3. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單，然後單擊目的地組群ID。

4. 在左側導覽列，單擊作業開發 > SQL開發。

5. 在SQL Console視窗，選擇Spark引擎和Job型資源群組。

6. 在SQL Console視窗中輸入以下作業內容：

   SET spark.adb.eni.enabled=true;
   SET spark.adb.eni.vswitchId=vsw-bp14pj8h0k5p0kwu3****;
   SET spark.adb.eni.securityGroupId=sg-bp11m93k021tp4ca****;
   SET spark.sql.catalog.lindorm_table = com.alibaba.lindorm.ldspark.datasources.v2.LindormCatalog;
   SET spark.sql.catalog.lindorm_table.url=ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020;
   SET spark.sql.catalog.lindorm_table.username=test;
   SET spark.sql.catalog.lindorm_table.password=password;
   add jar "oss://<bucketname>/hbase_jars/*";
   
   -- 建立OSS外部資料庫和表
   CREATE DATABASE IF NOT exists external_oss_db location 'oss://testBucketName/warehouse/db';
   CREATE TABLE IF NOT exists external_oss_db.lindorm_table_2(id string, name string) using parquet location 'oss://testBucketName/warehouse/db/lindorm_table_2';
   
   -- 將lindorm寬表中的資料插入至OSS外表
   INSERT INTO external_oss_db.lindorm_table_2 SELECT * FROM lindorm_table.spark_test.tb;
   
   -- 讀取OSS外表資料
   SELECT * FROM external_oss_db.lindorm_table_2;

   參數說明：

   參數	是否必填	說明
   spark.adb.eni.enabled	是	是否開啟ENI訪問的開關。 如果是通過外表訪問其他外部資料源，則需要開啟ENI訪問開關。取值說明： true：開啟 false：關閉 本文樣本需開啟ENI訪問開關，參數取值為true。
   spark.adb.eni.vswitchId	是	準備工作中擷取的Lindorm交換器ID。
   spark.adb.eni.securityGroupId	是	準備工作中擷取的Lindorm安全性群組ID。
   spark.sql.catalog.lindorm_table	是	Spark SQL支援的配置資料來源的方式。 參數取值固定為com.alibaba.lindorm.ldspark.datasources.v2.LindormCatalog。 說明 參數名稱中的catalog_name可自訂，本文樣本為lindorm_table。
   spark.sql.catalog.lindorm_table.url	是	步驟1中擷取的使用HBase Java API訪問的專用網路地址。
   spark.sql.catalog.lindorm_table.username	是	寬表引擎的使用者名稱和密碼。 如果您忘記使用者密碼，可以通過Lindorm寬表引擎的叢集管理系統修改密碼。
   spark.sql.catalog.lindorm_table.password	是
   jar	是	步驟2中下載的壓縮包所在的OSS路徑。本文樣本為oss://testBucketName/hbase_jars/*。
   location	是	指定外部資料庫和外表資料在OSS上的儲存路徑。格式為oss://<bucketname/database/table>。本文樣本為oss://testBucketName/warehouse/db/lindorm_table_2。 說明 <bucketname/database/table>需替換為實際的OSS路徑。

7. 單擊執行SQL。

8. Spark作業執行成功後，您可以在Spark Jar 開發頁面應用列表頁簽中的日誌查看錶資料。詳情請參見Spark開發編輯器。