Object Storage Service:EMR kümesinde Spark kullanarak OSS-HDFS'de depolanan verileri işleme

Önkoşullar

• EMR V3.42.0 veya sonraki bir sürüm ya da EMR V5.8.0 veya sonraki bir sürüm içeren bir küme oluşturulmuş olmalıdır. Daha fazla bilgi için bkz. Küme oluşturma.

• Bir paket için OSS-HDFS etkinleştirilmiş ve OSS-HDFS erişim izinleri verilmiş olmalıdır. OSS-HDFS'yi etkinleştirme hakkında daha fazla bilgi için bkz. OSS-HDFS'yi etkinleştirin ve erişim izinleri verin.

Yordam

2. Spark Shell'i başlatmak için terminalde aşağıdaki komutu çalıştırın:

   spark-shell

3. OSS-HDFS'ye erişmek için Spark'ı kullanın.

   1. Bir tablo oluşturun.

      spark.sql("CREATE TABLE test_oss (`c1` string) OPTIONS (PATH 'oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/dir')")

   2. Tabloya veri ekleyin.

      spark.sql("INSERT INTO TABLE test_oss SELECT 'testdata' AS c1")

   3. Tablodaki verileri sorgulayın.

      spark.sql("SELECT c1 FROM test_oss")