how to develop spark jobs - AnalyticDB - Alibaba Cloud Dokümantasyon Merkezi

AnalyticDB for MySQL, Spark toplu iş ve akış uygulamaları için aynı geliştirme yöntemini kullanır. Bu konuda, Java, Scala ve Python uygulamaları için mevcut geliştirme araçları, yapılandırma parametreleri ve dile özel parametreler açıklanmaktadır.

Önkoşullar

Başlamadan önce aşağıdaki koşulları sağladığınızdan emin olun:

Bir AnalyticDB for MySQL kümeniz bulunmalıdır.
Küme ile aynı bölgede bir Object Storage Service (OSS) paketiniz olmalıdır.

Tüm uygulama dosyaları (JAR dosyaları, Python dosyaları, bağımlılıklar ve sıkıştırılmış paketler) OSS'te depolanmalıdır.

Geliştirme araçları

Spark toplu iş ve akış uygulamalarını geliştirmek için aşağıdaki araçlardan birini kullanabilirsiniz:

Uygulama yapılandırması

AnalyticDB for MySQL'deki Spark uygulamaları JSON kullanılarak yapılandırılır. Aşağıdaki örnekte, OSS'ten veri okuyan bir Java uygulamasının yaygın parametreleri (name, file, conf) ve Java'ya özel parametreleri (args, className) gösterilmektedir.

{
  "args": ["args0", "args1"],
  "name": "spark-oss-test",
  "file": "oss://<testBucketName>/jars/test/spark-examples-0.0.1-SNAPSHOT.jar",
  "className": "com.aliyun.spark.oss.SparkReadOss",
  "conf": {
    "spark.driver.resourceSpec": "medium",
    "spark.executor.resourceSpec": "medium",
    "spark.executor.instances": 2,
    "spark.adb.connectors": "oss"
  }
}

Dile özel parametre ayrıntıları için bkz. Java uygulama parametreleri, Scala uygulama parametreleri veya Python uygulama parametreleri.

Yaygın parametreler

Parametre	Zorunlu	Açıklama	Örnek
`name`	Hayır	Spark uygulamasının adı.	`"name": "spark-oss-test"`
`file`	Evet (Java, Scala, Python)	Uygulamanın ana dosyasının mutlak OSS yolu. Java ve Scala için bu, giriş noktasını içeren JAR dosyasıdır. Python için bu, çalıştırılabilir giriş noktasıdır. OSS paketi küme ile aynı bölgede olmalıdır.	`"file": "oss://<testBucketName>/jars/test/spark-examples-0.0.1-SNAPSHOT.jar"`
`files`	Hayır	Sürücü ve yürütücü çalışma dizinlerine indirilecek ek dosyaların OSS yolları. `#` kullanarak takma adları destekler (örneğin, `oss://<testBucketName>/test/test1.txt#test1` ifadesi dosyanın `./test1` veya `./test1.txt` olarak erişilebilir olmasını sağlar). Birden çok yolu virgülle ayırın. `log4j.properties` dahil ederseniz Spark bunu günlük yapılandırma dosyası olarak kullanır.	`"files": ["oss://<testBucketName>/path/to/file1", "oss://<testBucketName>/path/to/file2"]`
`archives`	Hayır	Spark işlemi çalışma dizinine açılacak TAR.GZ sıkıştırılmış paketlerinin OSS yolları. `#` kullanarak takma adları destekler (örneğin, `oss://testBucketName/test/test1.tar.gz#test1` ifadesi içindeki `test2.txt` dosyasının `./test1/test2.txt` veya `./test1.tar.gz/test2.txt` olarak erişilebilir olmasını sağlar). Birden çok yolu virgülle ayırın. Bir paket açılamazsa iş başarısız olur.	`"archives": ["oss://<testBucketName>/path/to/archive1.tar.gz", "oss://<testBucketName>/path/to/archive2.tar.gz"]`
`conf`	Evet	Apache Spark'a benzer şekilde `key: value` biçiminde Spark yapılandırması. Birden çok girişi virgülle ayırın. AnalyticDB for MySQL'ye özel parametreler için bkz. Spark uygulama yapılandırma parametreleri.	`"conf": {"spark.driver.resourceSpec": "medium", "spark.executor.resourceSpec": "medium", "spark.executor.instances": 2, "spark.adb.connectors": "oss"}`

Java uygulama parametreleri

Parametre	Zorunlu	Açıklama	Örnek
`args`	Hayır	JAR dosyasına geçirilen bağımsız değişkenler. Birden çok bağımsız değişkeni virgülle ayırın.	`"args": ["args0", "args1"]`
`className`	Evet	Java uygulamasının ana sınıfı.	`"className": "com.aliyun.spark.oss.SparkReadOss"`
`jars`	Hayır	Çalışma zamanında sürücü ve yürütücü JVM (Java Sanal Makinesi) sınıf yollarına eklenen ek JAR dosyalarının mutlak OSS yolları. OSS paketi küme ile aynı bölgede olmalıdır. Birden çok yolu virgülle ayırın.	`"jars": ["oss://<testBucketName>/path/to/app.jar", "oss://testBucketName/path/to/lib.jar"]`

Scala uygulama parametreleri

Parametre	Zorunlu	Açıklama	Örnek
`className`	Evet	Scala uygulamasının ana sınıfı.	`"className": "com.aliyun.spark.oss.SparkReadOss"`
`jars`	Hayır	Çalışma zamanında sürücü ve yürütücü JVM sınıf yollarına eklenen ek JAR dosyalarının mutlak OSS yolları. OSS paketi küme ile aynı bölgede olmalıdır. Birden çok yolu virgülle ayırın.	`"jars": ["oss://<testBucketName>/path/to/app.jar", "oss://testBucketName/path/to/lib.jar"]`

Python uygulama parametreleri

Parametre	Zorunlu	Açıklama	Örnek
`pyFiles`	Evet	PySpark uygulaması için Python dosyalarının OSS yolları. Desteklenen biçimler: ZIP, PY veya EGG. Birden çok dosya için ZIP veya EGG biçimini kullanın. Python dosyaları kodunuzda modül olarak içe aktarılabilir. Birden çok yolu virgülle ayırın.	`"pyFiles": ["oss://<testBucketName>/path/to/app.zip", "oss://<testBucketName>/path/to/lib.egg"]`