本文介绍Spark如何以EMR集群的方式处理OSS-HDFS服务中的数据。
前提条件
已创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。具体步骤,请参见创建集群。
已开通并授权访问OSS-HDFS服务。具体操作,请参见开通并授权访问OSS-HDFS服务。
操作步骤
登录EMR集群。
单击创建的EMR集群。
单击节点管理页签,然后单击节点组左侧的。
单击ECS ID。在ECS实例页面,单击实例ID右侧的远程连接。
如果您希望使用SSH方式(SSH密钥对或SSH密码)在Windows和Linux环境中登录集群,请参见登录集群。
在终端执行以下命令启动Spark Shell。
spark-shell
使用Spark访问OSS-HDFS。
创建表。
spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')")
往表中插入数据。
spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1")
查询表。
spark.sql("SELECT c1 FROM test_oss")