本文介绍如何使用Loghub数据源进行数据分析或者交互式开发。

建表语法

CREATE TABLE tbName(columnName dataType [,columnName dataType]*)
USING loghub
OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);

配置参数说明

参数名 说明 是否必选
sls.project LogService项目名。
sls.store LogStore名称。
access.key.id 阿里云AccessKey ID。
access.key.secret 阿里云AccessKey Secret。
endpoint LogStore所在的Endpoint。通常格式为http://cn-shanghai.log.aliyun.com

Table Schema

创建Loghub表时,必须显式地定义表的字段信息。
  • 合法建表语法。
    spark-sql> CREATE TABLE loghub_table_test(content string)
             > USING loghub
             > OPTIONS
             > (...)
    
    spark-sql> DESC loghub_table_test;
    content  string  NULL
    Time taken: 0.436 seconds, Fetched 1 row(s)
  • 错误建表语法。
    spark-sql> CREATE TABLE loghub_table_test
             > USING loghub
             > OPTIONS
             > (...)
    提示以下错误信息。
    java.lang.IllegalArgumentException: requirement failed: Unable to infer the schema. The schema 
    specification is required to create the table.;