EMR-3.23.0版本开始支持STREAM语法。
背景信息
E-MapReduce支持SET和STREAM两种方法配置WriteStream参数,推荐使用STREAM方法配置WriteStream的必要参数,包括checkpointLocation、outputMode、triggerType和triggerIntervalMs。
语法
CREATE STREAM queryName
OPTIONS (propertyName=propertyValue[,propertyName=propertyValue]*)
INSERT INTO tbName
queryStatement;
以下列出WriteStream必要的参数。
参数名 | 说明 | 默认值 |
---|---|---|
checkpointLocation | 流式查询作业的checkpoint路径。 | 无 |
outputMode | 流式查询的输出模式。 | Append |
triggerType | 流式查询的执行模式。 | ProcessingTime |
triggerIntervalMs | 流式查询的执行间隔,单位毫秒。 | 0 |
示例
CREATE STREAM job1
OPTIONS(
checkpointLocation='/tmp/spark',
outputMode='Append',
triggerType='ProcessingTime'
triggerIntervalMs='3000')
INSERT INTO LargeOrders
SELECT * FROM Orders WHERE units > 1000;