AnalyticDB:Spark düzenleyicisi

Genel Bakış

• Spark toplu iş veya akış uygulamaları oluşturun ve çalıştırın.

• Spark uygulamanız için sürücü günlüklerini ve gönderim bilgilerini görüntüleyin.

• SQL deyimlerinin çalıştırma günlüklerini görüntüleyin.

Ön Koşullar

• Bir AnalyticDB for MySQL Enterprise Edition, Basic Edition veya Data Lakehouse Edition kümesi oluşturdunuz.

• AnalyticDB for MySQL Enterprise Edition, Basic Edition veya Data Lakehouse Edition kümesi için bir iş kaynak grubu oluşturdunuz.

• Gerekli izinleri bir RAM kullanıcısına verdiniz. Daha fazla bilgi için bkz. RAM kullanıcısını yetkilendirme.

• AnalyticDB for MySQL kümesi için bir veritabanı hesabı oluşturdunuz.

  • Bir Alibaba Cloud hesabı kullanıyorsanız yalnızca ayrıcalıklı bir hesap oluşturmanız gerekir.

  • Bir Resource Access Management (RAM) kullanıcısı kullanıyorsanız ayrıcalıklı bir hesap ve standart bir hesap oluşturmalı ve standart hesabı RAM kullanıcısıyla ilişkilendirmelisiniz.

• AnalyticDB for MySQL, diğer cloud kaynaklarına erişmek üzere AliyunADBSparkProcessingDataRole rolünü üstlenmek için yetkilendirildi.

• Spark uygulamaları için günlük depolama yolunu yapılandırdınız.

  Not

  AnalyticDB for MySQL konsoluna giriş yapın. Yönetmek istediğiniz kümeyi bulun ve küme kimliğine tıklayın. Sol gezinme bölmesinde Job Development > Spark JAR Development seçeneklerini seçin. Log Settings seçeneğine tıklayın. Görüntülenen iletişim kutusunda varsayılan yolu seçin veya özel bir depolama yolu belirtin. Özel depolama yolunu OSS kök dizini olarak ayarlayamazsınız. Özel depolama yolunun en az bir klasör katmanı içerdiğinden emin olun.

Spark uygulaması oluşturma ve çalıştırma

1. AnalyticDB for MySQL konsoluna giriş yapın. Konsolun sol üst köşesinde bir bölge seçin. Sol gezinme bölmesinde Clusters seçeneğine tıklayın. Yönetmek istediğiniz kümeyi bulun ve küme kimliğine tıklayın.

2. Sol gezinme bölmesinde Job Development > Spark JAR Development seçeneklerine tıklayın.

3. Spark JAR Development sayfasında, Applications öğesinin sağındaki simgesine tıklayın.

4. Create Application panelinde aşağıdaki parametreleri ayarlayın.

   Parametre	Açıklama
   Name	Uygulamanın veya dizinin adı. Uygulama ve dizin adları büyük/küçük harfe duyarlı değildir.
   Type	Application: Bir dosya oluşturur. Directory: Bir dizin oluşturur.
   Parent Level	Dosyanın veya dizinin üst dizini.
   Job type	Batch: Bir toplu iş uygulaması. Streaming: Bir akış uygulaması. SQL Engine: Bir Spark dağıtık SQL motoru.

5. Parametreleri yapılandırdıktan sonra uygulama şablonunu oluşturmak için OK seçeneğine tıklayın.

6. Uygulama şablonunu oluşturduktan sonra Spark uygulamasını Spark düzenleyicisinde yapılandırabilirsiniz. Daha fazla bilgi için bkz. Spark uygulama geliştirme.

7. Spark uygulamasını yapılandırdıktan sonra aşağıdaki işlemleri yapabilirsiniz:

• Spark uygulamasını ileride kullanmak üzere kaydetmek için Save seçeneğine tıklayın.

• Spark uygulamasını çalıştırmak için Immediately seçeneğine tıklayın. Applications sekmesi gerçek zamanlı çalıştırma durumunu görüntüler.

Not

Bir Spark uygulamasını çalıştırmadan önce bir iş kaynak grubu ve bir uygulama türü seçin.

Spark uygulama bilgilerini görüntüleme

1. Applications sekmesinde bir uygulamayı Application ID değerine göre bulun ve aşağıdaki işlemlerden birini yapın:

   • Log: Spark uygulaması için sürücü günlüklerini veya SQL deyimlerinin çalıştırma günlüklerini görüntüleyin.

   • UI: Uygulamanın Spark web kullanıcı arayüzünü açın. Erişim geçicidir; oturum sona ererse kullanıcı arayüzünü yeniden açın.

   • Details: Günlük yolu, web kullanıcı arayüzü URL'si, küme kimliği ve kaynak grubu adı gibi uygulama gönderim bilgilerini görüntüleyin.

   • Stop: Şu anda çalışan uygulamayı durdurun.

   • History: Uygulama için yeniden deneme geçmişini görüntüleyin.

2. Tuning History sekmesinde tüm uygulamalar için yeniden deneme geçmişini görüntüleyin.

   Not

   Varsayılan olarak başarısız olan bir uygulama otomatik olarak yeniden denenmez. Yeniden denemeleri etkinleştirmek için yeniden deneme parametrelerini (spark.adb.maxAttempts ve spark.adb.attemptFailuresValidityInterval) yapılandırın. Daha fazla bilgi için bkz. Spark uygulama yapılandırma parametreleri.