本文介绍如何使用Loghub数据源进行数据分析或者交互式开发。
建表语法
CREATE TABLE tbName(columnName dataType [,columnName dataType]*)
USING loghub
OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);
配置参数说明
参数名 | 说明 | 是否必选 |
---|---|---|
sls.project | LogService项目名。 | 是 |
sls.store | LogStore名称。 | 是 |
access.key.id | 阿里云AccessKey ID。 | 是 |
access.key.secret | 阿里云AccessKey Secret。 | 是 |
endpoint | LogStore所在的Endpoint。通常格式为http://cn-shanghai.log.aliyun.com 。
|
是 |
Table Schema
创建Loghub表时,必须显式地定义表的字段信息。
- 合法建表语法。
spark-sql> CREATE TABLE loghub_table_test(content string) > USING loghub > OPTIONS > (...) spark-sql> DESC loghub_table_test; content string NULL Time taken: 0.436 seconds, Fetched 1 row(s)
- 错误建表语法。
spark-sql> CREATE TABLE loghub_table_test > USING loghub > OPTIONS > (...)
提示以下错误信息。java.lang.IllegalArgumentException: requirement failed: Unable to infer the schema. The schema specification is required to create the table.;