通过Spark SQL读Lindorm数据

AnalyticDB for MySQL支持通过JDBC和Spark DatasourceV2接口两种方法访问Lindorm宽表数据。两种方法区别如下：

• 通过JDBC方式访问Lindorm宽表数据仅支持访问default库。

• 通过Spark Datasource V2接口方式支持访问宽表中任意数据库。

• 两种方式效率按照Lindorm侧同学反馈无明显差别，Spark Datasource V2底层也是拼接的SQL语句

通过JDBC访问宽表数据

1. 获取Lindorm宽表SQL的专有网络地址。具体操作，请参见查看连接地址。

2. 下载Lindorm JDBC Driver依赖，并将JAR包上传至OSS中。具体操作，请参见上传文件。

   说明

   lindorm-all-client的版本固定为2.1.6。

3. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，然后单击目标集群ID。

4. 在左侧导航栏，单击作业开发 > SQL开发。

5. 在SQL Console窗口，选择Spark引擎和Job型资源组。

6. 在SQL Console窗口中输入以下作业内容：

   set spark.adb.eni.enabled=true;
   set spark.adb.eni.vswitchId=<vsw-bp14pj8h0k5p0kwu3****>;
   set spark.adb.eni.securityGroupId=>sg-bp11m93k021tp4ca****>;
   
   add jar oss://<bucketname>/hbase_jars/lindorm-all-client-2.1.6.jar;
   
   CREATE TEMPORARY VIEW tb
   USING org.apache.spark.sql.jdbc
   OPTIONS (
     driver 'com.aliyun.lindorm.table.client.Driver',
     url 'jdbc:lindorm:table:url=http://ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060/default',内网地址
     dbtable 'tb',
   -- Lindorm控制台获取的数据库用户名
     user 'test',
   -- Lindorm控制台获取的数据库密码
     password 'password',
     fetchsize 10000
   );
   
   -- 创建OSS外部数据库和表
   create database if not exists external_oss_db location 'oss://<bucketname>/warehouse/db';
   create table if not exists external_oss_db.lindorm_table_1(id string, name string) using parquet location 'oss://<bucketname>/warehouse/db/lindorm_table_1/';
   
   -- 将lindorm宽表中的数据插入至OSS外表
   insert into external_oss_db.lindorm_table_1 select * from tb;
   
   -- 读取OSS外表数据
   select * from external_oss_db.lindorm_table_1;

   参数说明：

   参数	说明
   jar	步骤2中下载的JAR包所在的OSS路径。
   driver	Lindorm JDBC Driver依赖。参数取值固定为com.aliyun.lindorm.table.client.Driver。
   url	步骤1中获取的Lindorm宽表SQL的专有网络地址，格式为 Lindorm宽表SQL的专有网络地址/数据库名。 例如：jdbc:lindorm:table:url=http://ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30060/default
   dbtable	Lindorm宽表数据库名称。本文示例为tb。
   user	如果您忘记用户密码，可以通过Lindorm宽表引擎的集群管理系统修改密码。
   password
   fetchsize	每次连接读取的数据条数。您可以任意调整。 重要 提交Spark作业需配置fetchsize参数，否则无法查询到数据。

7. 单击立即执行。

8. Spark作业执行成功后，您可以在Spark Jar 开发页面应用列表页签中的日志查看表数据。详情请参见Spark开发编辑器。

1. 获取宽表引擎使用HBase Java API访问的专有网络地址。具体操作，请参见查看连接地址。

2. 下载连接Lindorm实例所需的JAR包，并将解压后的JAR包上传至OSS中。具体操作，请参见上传文件。

3. 登录云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击集群列表，然后单击目标集群ID。

4. 在左侧导航栏，单击作业开发 > SQL开发。

5. 在SQL Console窗口，选择Spark引擎和Job型资源组。

6. 在SQL Console窗口中输入以下作业内容：

   SET spark.adb.eni.enabled=true;
   SET spark.adb.eni.vswitchId=vsw-bp14pj8h0k5p0kwu3****;
   SET spark.adb.eni.securityGroupId=sg-bp11m93k021tp4ca****;
   SET spark.sql.catalog.lindorm_table = com.alibaba.lindorm.ldspark.datasources.v2.LindormCatalog;
   SET spark.sql.catalog.lindorm_table.url=ld-bp1ttz8833x9c****-proxy-lindorm.lindorm.rds.aliyuncs.com:30020;
   SET spark.sql.catalog.lindorm_table.username=test;
   SET spark.sql.catalog.lindorm_table.password=password;
   add jar "oss://<bucketname>/hbase_jars/*";
   
   -- 创建OSS外部数据库和表
   CREATE DATABASE IF NOT exists external_oss_db location 'oss://testBucketName/warehouse/db';
   CREATE TABLE IF NOT exists external_oss_db.lindorm_table_2(id string, name string) using parquet location 'oss://testBucketName/warehouse/db/lindorm_table_2';
   
   -- 将lindorm宽表中的数据插入至OSS外表
   INSERT INTO external_oss_db.lindorm_table_2 SELECT * FROM lindorm_table.spark_test.tb;
   
   -- 读取OSS外表数据
   SELECT * FROM external_oss_db.lindorm_table_2;

   参数说明：

   参数	是否必填	说明
   spark.adb.eni.enabled	是	是否开启ENI访问的开关。 如果是通过外表访问其他外部数据源，则需要打开ENI访问开关。取值说明： true：开启 false：关闭 本文示例需打开ENI访问开关，参数取值为true。
   spark.adb.eni.vswitchId	是	准备工作中获取的Lindorm交换机ID。
   spark.adb.eni.securityGroupId	是	准备工作中获取的Lindorm安全组ID。
   spark.sql.catalog.lindorm_table	是	Spark SQL支持的配置数据源的方式。 参数取值固定为com.alibaba.lindorm.ldspark.datasources.v2.LindormCatalog。 说明 参数名称中的catalog_name可自定义，本文示例为lindorm_table。
   spark.sql.catalog.lindorm_table.url	是	步骤1中获取的使用HBase Java API访问的专有网络地址。
   spark.sql.catalog.lindorm_table.username	是	宽表引擎的用户名和密码。 如果您忘记用户密码，可以通过Lindorm宽表引擎的集群管理系统修改密码。
   spark.sql.catalog.lindorm_table.password	是
   jar	是	步骤2中下载的压缩包所在的OSS路径。本文示例为oss://testBucketName/hbase_jars/*。
   location	是	指定外部数据库和外表数据在OSS上的存储路径。格式为oss://<bucketname/database/table>。本文示例为oss://testBucketName/warehouse/db/lindorm_table_2。 说明 <bucketname/database/table>需替换为实际的OSS路径。

7. 单击执行SQL。

8. Spark作业执行成功后，您可以在Spark Jar 开发页面应用列表页签中的日志查看表数据。详情请参见Spark开发编辑器。