DataWorks:MaxCompute Spark düğümü

Genel bakış

Spark on MaxCompute, açık kaynaklı Spark ile uyumlu olan ve MaxCompute tarafından sağlanan bir hesaplama hizmetidir. Birleşik bir hesaplama kaynağı ve izin sistemi üzerine kurulu bir Spark hesaplama çerçevesi sunar. Bu sayede, çeşitli veri işleme ve analiz ihtiyaçlarınız için tanıdık geliştirme iş akışlarını kullanarak Spark işlerini gönderebilir ve çalıştırabilirsiniz. DataWorks'te, Spark on MaxCompute işlerini zamanlamak, çalıştırmak ve diğer işlerle entegre etmek için MaxCompute Spark düğümünü kullanabilirsiniz.

Spark on MaxCompute; Java, Scala ve Python dillerinde geliştirmeyi destekler ve işleri yerel veya küme modunda çalıştırır. DataWorks'te çevrimdışı bir Spark on MaxCompute işi çalıştırdığınızda bu iş küme modunda yürütülür. Spark on MaxCompute çalışma modları hakkında daha fazla bilgi için Çalışma modları konusuna bakın.

İzin gereksinimleri

İşleri geliştirmek için RAM kullanıcılarının ilgili çalışma alanına eklenmesi ve Development veya Workspace Administrator rolünün atanması gerekir. Workspace Administrator rolü geniş kapsamlı izinler içerdiğinden dikkatli bir şekilde verilmelidir. Bir üyeyi çalışma alanına ekleme hakkında daha fazla bilgi için Çalışma alanı üyeleri ekleme konusuna bakın.

Sınırlamalar

Spark 3.x kullanan bir MaxCompute Spark düğümü gönderirken hata alırsanız sunucusuz kaynak grubu satın almanız ve kullanmanız gerekir. Daha fazla bilgi için Sunucusuz kaynak grubu kullanma konusuna bakın.

Başlamadan önce

MaxCompute Spark düğümü, Java/Scala ve Python kullanarak Spark on MaxCompute çevrimdışı işlerini çalıştırmayı destekler. Geliştirme adımları ve yapılandırma arayüzü her dil için farklılık gösterir. İş gereksinimlerinize göre bir dil seçin.

Parametreler

DataWorks, Spark on MaxCompute çevrimdışı işlerini Küme modunda çalıştırır. Küme modunda özel bir program giriş noktası main belirtmeniz gerekir. İlgili Spark işi, main işlevi Success veya Fail durumuyla sonlandığında tamamlanır. Ayrıca spark-defaults.conf dosyasındaki yapılandırmaların tek tek MaxCompute Spark düğümü yapılandırmalarına eklenmesi gerekir. Örneğin executor sayısı, bellek boyutu ve spark.hadoop.odps.runtime.end.point yapılandırması.

Yordam

1. Kaynak oluşturun.

   1. Data Studio sayfasının sol gezinme bölmesinde Resource Management seçeneğini bulun ve Create seçeneğine tıklayın. MaxCompute Spark türünde bir Python kaynağı oluşturun ve adını spark_is_number.py olarak belirleyin. Daha fazla bilgi için Kaynak Yönetimi konusuna bakın. Kod aşağıdaki gibidir:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Kaynağı kaydedin.

2. Oluşturulan MaxCompute Spark düğümünde düğüm parametrelerini ve zamanlama parametrelerini yapılandırın. Daha fazla bilgi için Parametreler konusuna bakın.

3. İşi zamanlanmış olarak çalıştırmak için iş gereksinimlerinize göre zamanlama özelliklerini yapılandırın. Daha fazla bilgi için Düğüm zamanlama yapılandırması konusuna bakın.

4. Düğüm işini yapılandırdıktan sonra düğümü dağıtın. Daha fazla bilgi için Düğümleri/iş akışlarını dağıtma konusuna bakın.

5. İş dağıtıldıktan sonra periyodik işin çalışma durumunu görüntülemek için Operation Center'a gidebilirsiniz. Daha fazla bilgi için Operation Center'a başlarken konusuna bakın.

   Not

   • MaxCompute Spark düğümlerinin Data Studio'da bir çalıştırma giriş noktası yoktur. Spark işlerini geliştirme ortamında Operation Center üzerinden çalıştırmanız gerekir.

   • Veri geri doldurma örneği başarıyla çalıştıktan sonra sonucu görüntülemek için örnek çalıştırma günlüğündeki izleme URL'sini açın.

İlgili konular

• Diğer kullanım durumları için Spark on MaxCompute işleri geliştirme hakkında daha fazla bilgi almak üzere aşağıdaki konulara bakın:

  • Java/Scala örneği: Spark 1.x

  • Java/Scala örneği: Spark 2.x

  • Python örneği: PySpark geliştirme

  • Kullanım durumu: Spark'tan VPC örneğine erişme

  • Kullanım durumu: Spark'tan OSS'e erişme

• Spark SSS: Sorun giderme sürecini hızlandırmak için yaygın Spark çalıştırma sorunlarına yönelik çözümleri bulun. Daha fazla bilgi için Spark SSS konusuna bakın.

• Spark işi tanılama: MaxCompute Logview aracını ve Spark web kullanıcı arayüzünü sağlar. Bir işin doğru şekilde gönderildiğini ve çalıştığını doğrulamak için iş günlüklerini kullanın. Daha fazla bilgi için Spark işi tanılama konusuna bakın.