Object Storage Service:Use Spark em um cluster EMR para processar dados armazenados no OSS-HDFS

Pré-requisitos

• Um cluster EMR V3.42.0 ou posterior, ou EMR V5.8.0 ou posterior, foi criado. Para mais informações, consulte Crie um cluster.

• O OSS-HDFS está ativo para um bucket e as permissões de acesso ao OSS-HDFS foram concedidas. Para mais informações sobre como ativar o OSS-HDFS, consulte Ative o OSS-HDFS e conceda permissões de acesso.

Procedimento

2. Execute o seguinte comando no terminal para iniciar o Spark Shell:

   spark-shell

3. Use o Spark para acessar o OSS-HDFS.

   1. Crie uma tabela.

      spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')")

   2. Insira dados na tabela.

      spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1")

   3. Consulte os dados da tabela.

      spark.sql("SELECT c1 FROM test_oss")