AnalyticDB:Develop Spark jobs with a Notebook

Ön koşullar

• Bir AnalyticDB for MySQL Enterprise Edition, Basic Edition veya Data Lakehouse Edition kümesi oluşturulmuş olmalıdır.

• İş kaynak grubu oluşturulmuştur AnalyticDB for MySQL kümesi için.

• AnalyticDB for MySQL kümesi için bir veritabanı hesabı oluşturulmuş olmalıdır.

  • Alibaba Cloud hesabı kullanıyorsanız yalnızca yetkili hesap oluşturmanız yeterlidir.

  • Resource Access Management (RAM) kullanıcısı kullanıyorsanız yetkili hesap ve standart hesap oluşturmanız ve standart hesabı RAM kullanıcısıyla ilişkilendirmeniz gerekir.

• AnalyticDB for MySQL diğer cloud kaynaklarına erişmek üzere AliyunADBSparkProcessingDataRole rolünü üstlenmek için yetkilendirilmiştir.

• AnalyticDB for MySQL kümesi için Spark uygulamalarının günlük depolama yolu yapılandırılmıştır.

  Not

  AnalyticDB for MySQL konsoluna giriş yapın. Yönetmek istediğiniz kümeyi bulun ve küme kimliğine tıklayın. Sol gezinme bölmesinde Job Development > Spark JAR Development seçeneğine gidin. Log Settings seçeneğine tıklayın. Görüntülenen iletişim kutusunda varsayılan yolu seçin veya özel bir depolama yolu belirtin. Özel depolama yolunu OSS kök dizini olarak ayarlayamazsınız. Özel depolama yolunun en az bir klasör katmanı içerdiğinden emin olun.

• AnalyticDB for MySQL kümesiyle aynı bölgede bir Object Storage Service (OSS) paketi oluşturulmuştur.

Sınırlamalar

Notebook özelliği yalnızca aşağıdaki bölgelerde kullanılabilir: .

Yordam

1. Proje oluşturun ve çalışma alanına gidin.

   1. DMS 5.0 adresinde oturum açın.

   2. Sol üst köşedeki simgesinin üzerine gelin ve All Features > Data+AI > Notebook seçeneğine gidin.

      Not

      Normal modda DMS konsolunu kullanıyorsanız üst gezinme çubuğundan Data+AI > Notebook seçeneğine gidin.

   3. Create Workspace seçeneğine tıklayın. Görüntülenen iletişim kutusunda bir Workspace Name girin, bir Region seçin ve OK seçeneğine tıklayın.

   4. Hedef çalışma alanının Actions sütununda Go to Workspace seçeneğine tıklayın.

2. (İsteğe bağlı) Proje üyelerini ekleyin. Çalışma alanında birden çok kullanıcı çalışıyorsa farklı çalışma alanı rolleri atamak için bu adımı tamamlamanız gerekir.

3. Kod depolama alanını yapılandırın.

   1. Project Settings sekmesinde Storage Management seçeneğine tıklayın.

   2. Code Storage için OSS yolunu yapılandırın.

4. Kaynak ekleyin.

   1. Project Settings sekmesinde Resource Settings seçeneğine tıklayın.

   2. Add Resource seçeneğine tıklayın ve kaynak parametrelerini yapılandırın.

      Parametre	Zorunlu	Açıklama
      Resource Name	Evet	Kaynağın adı. Özel bir ad belirtebilirsiniz.
      Resource Introduction	Evet	Kaynağın kullanım amacına ilişkin açıklama. Bu değer özelleştirilebilir.
      Image	Evet	Yalnızca Spark3,5+Python3,9 görüntüsü desteklenir.
      AnalyticDB Instance	Evet	AnalyticDB for MySQL kümesinin kimliği. Not Yönetmek istediğiniz küme görüntülenmiyorsa kümenin DMS'ye eklenip eklenmediğini kontrol edin.
      AnalyticDB Resource Group	Evet	Hedef iş kaynak grubunu seçin.
      Executor Specifications	Evet	Spark yürütücülerinin kaynak teknik özellikleri. Bu örnekte varsayılan değer olan medium kullanılır. Farklı modellerle eşleşen teknik özellikler hakkında daha fazla bilgi için bkz. Spark uygulama yapılandırma parametreleri konusundaki Model sütunu.
      Max Executors Min Executors	Evet	Spark yürütücü sayısı. Spark3,5+Python3,9 görüntüsünü seçtikten sonra Min Executors değeri varsayılan olarak 2, Max Executors değeri ise varsayılan olarak 8 olarak ayarlanır.
      Notebook Spec	Evet	Bir Notebook teknik özelliği seçin. Bu örnekte General_Tiny_v1 (1 çekirdek ve 4 GB bellek) kullanılır.
      VPC ID	Evet	Notebook'un kümeyle iletişim kurabilmesini sağlamak için AnalyticDB for MySQL kümesinin bulunduğu Virtual Private Cloud (VPC) seçilir. Önemli Daha sonra AnalyticDB for MySQL kümesini yeni bir Virtual Private Cloud (VPC) ve vSwitch'e geçirdiğinizde kaynağın VPC ID ve vSwitch ID değerlerini güncellemelisiniz. Aksi takdirde iş gönderimleri başarısız olur.
      Zone ID	Evet	AnalyticDB for MySQL kümesinin bulunduğu alan seçilir.
      vSwitch ID	Evet	AnalyticDB for MySQL kümesinin ait olduğu vSwitch seçilir.
      Security group ID	Evet	Notebook'un AnalyticDB for MySQL kümesiyle iletişim kurabilmesini sağlamak için kullanılabilir bir güvenlik grubu seçilir.
      Release resource	Evet	Kaynak, belirtilen bir boşta kalma süresinden sonra otomatik olarak serbest bırakılır.
      Dependent Jars	Hayır	JAR paketinin OSS depolama yolu. Bu parametre yalnızca JAR paketi kullanan Python işleri için gereklidir.
      SparkConf	Hayır	Yapılandırma öğeleri çoğunlukla açık kaynaklı Spark'takilerle aynıdır. Parametreler key: value biçimindedir. Açık kaynaklı Spark'tan farklı olan ve AnalyticDB for MySQL için özgün yapılandırma parametreleri hakkında daha fazla bilgi için bkz. Spark uygulama yapılandırma parametreleri.

   3. Save seçeneğine tıklayın.

   4. Kaynağın Actions sütununda Enable seçeneğine tıklayın.

5. Verileri başlatın.

   1. Konsolun sol üst köşesindeki simgesine tıklayın ve All features > Instance Management > Data Assets > Instance Management > Instance Management seçeneğine gidin.

   2. +New seçeneğine tıklayın. Add Instance iletişim kutusunda aşağıdaki parametreleri yapılandırın:

      Parametre		Açıklama
      Data Source		Alibaba Cloud sekmesinde OSS seçeneğini seçin.
      Basic Information	Files and logs	OSS seçeneğini seçin.
      	Instance Region	AnalyticDB for MySQL kümesinin bulunduğu bölgeyi seçin.
      	Import Method	Connection String seçeneğini seçin.
      	Connection String	oss-cn-hangzhou.aliyuncs.com değerini girin.
      	Bucket	Paket adını seçin.
      	Access Mode	Erişim modu. Bu örnekte Security Hosting - Manual kullanılır.
      	AccessKey ID	OSS'e erişim iznine sahip Alibaba Cloud hesabının veya RAM kullanıcısının AccessKey ID'si. AccessKey ID ve AccessKey Secret alma hakkında daha fazla bilgi için bkz. Hesaplar ve izinler.
      	AccessKey Secret	OSS'e erişim iznine sahip Alibaba Cloud hesabının veya RAM kullanıcısının AccessKey Secret değeri. AccessKey ID ve AccessKey Secret alma hakkında daha fazla bilgi için bkz. Hesaplar ve izinler.
      Advanced Information		İsteğe bağlı parametreler. Daha fazla bilgi için bkz. Gelişmiş Bilgiler.

   3. Parametreleri yapılandırdıktan sonra sol alt köşede Test Connection seçeneğine tıklayın.

      Not

      Bağlantı testi başarısız olursa girdiğiniz örnek bilgilerini hata mesajına göre kontrol edin.

   4. Successful connection iletisi göründükten sonra Submit seçeneğine tıklayın.

   5. Çalışma alanına gidin ve sekmesine tıklayın.

   6. Data Lake Data sekmesinde Add OSS seçeneğine tıklayın ve b alt adımında eklediğiniz paketi seçin.

6. Notebook oluşturun.

   Files sekmesinde seçeneğine tıklayın ve Notebook seçeneğini belirleyin.

7. Notebook sayfasında Spark SQL işi geliştirin.

   Not

   Notebook sayfasındaki düğmeler hakkında daha fazla bilgi için bkz. Notebook arayüzü.

   1. Python bağımlılıklarını indirmek için aşağıdaki komutu çalıştırın:

      pip install delta

   2. Hücre türünü SQL olarak değiştirin ve veritabanı oluşturmak için aşağıdaki deyimi çalıştırın.

      Not

      Bu adımda oluşturulan db_delta veritabanı ve sonraki adımda oluşturulan sample_data harici tablosu AnalyticDB for MySQL içinde otomatik olarak görüntülenir. Daha sonra AnalyticDB for MySQL konsolunda sample_data tablosunu analiz edebilirsiniz.

      CREATE DATABASE db_delta 
      LOCATION 'oss://testBucketName/db_delta/';    -- Specify the storage path for data in the db_delta database.

   3. Hücre türünü Code olarak değiştirin, sample_data harici tablosunu oluşturmak için aşağıdaki kodu çalıştırın ve tabloya veri ekleyin. Bu işlem, sample_data harici tablosunun verilerini önceki adımda belirtilen OSS yolunda depolar.

      # -*- coding: utf-8 -*-
      import pyspark
      from delta import *
      from pyspark.sql.types import *
      from pyspark.sql.functions import *
      print("Starting Delta table creation")
      data = [
          ("Robert", "Baratheon", "Baratheon", "Storms End", 48),
          ("Eddard", "Stark", "Stark", "Winterfell", 46),
          ("Jamie", "Lannister", "Lannister", "Casterly Rock", 29),
          ("Robert", "Baratheon", "Baratheon", "Storms End", 48),
          ("Eddard", "Stark", "Stark", "Winterfell", 46),
          ("Jamie", "Lannister", "Lannister", "Casterly Rock", 29),
          ("Robert", "Baratheon", "Baratheon", "Storms End", 48),
          ("Eddard", "Stark", "Stark", "Winterfell", 46),
          ("Jamie", "Lannister", "Lannister", "Casterly Rock", 29)
              ]
      schema = StructType([
          StructField("firstname", StringType(), True),
          StructField("lastname", StringType(), True),
          StructField("house", StringType(), True),
          StructField("location", StringType(), True),
          StructField("age", IntegerType(), True)
      ])
      sample_dataframe = spark.createDataFrame(data=data, schema=schema)
      sample_dataframe.write.format('delta').mode("overwrite").option('mergeSchema','true').saveAsTable("db_delta.sample_data")

   4. Hücre türünü SQL olarak değiştirin ve sample_data tablosundaki verileri sorgulamak için aşağıdaki deyimi çalıştırın.

      SELECT * FROM db_delta.sample_data;

8. AnalyticDB for MySQL konsolunda Spark SQL ile sample_data tablosunu analiz etmek için şu adımları izleyin.

   1. AnalyticDB for MySQL konsoluna giriş yapın. Konsolun sol üst köşesinde bir bölge seçin. Sol gezinme bölmesinde Clusters seçeneğine tıklayın. Yönetmek istediğiniz kümeyi bulun ve küme kimliğine tıklayın.

   2. Sol gezinme bölmesinde Job Development > SQL Development > SQL Development seçeneğine gidin. Spark motorunu ve bir Interactive kaynak grubunu seçin.

   3. sample_data tablosunu sorgulayın.

      SELECT * FROM db_delta.sample_data LIMIT 1000;

İlgili belgeler

Notebook (legacy): Notebook özelliği hakkında daha fazla bilgi edinin.