E-MapReduce:Manage runtime environments

Önkoşullar

Bir çalışma alanı oluşturmuş olmanız gerekir. Daha fazla bilgi için bkz. Çalışma alanlarını yönetin.

Çalışma zamanı ortamı oluşturun

1. Çalışma zamanı ortamı yönetim sayfasına gidin.

   1. E-MapReduce konsolu üzerinde oturum açın.

   2. Sol gezinme bölmesinde EMR Serverless > Spark seçeneklerini seçin.

   3. Spark sayfasında hedef çalışma alanının adına tıklayın.

   4. EMR Serverless Spark sayfasında sol gezinme çubuğundan Environment seçeneğini belirleyin.

2. Create Environment seçeneğine tıklayın.

3. Create Environment sayfasında aşağıdaki parametreleri yapılandırın.

   Parametre	Gerekli mi?	Açıklama
   Name	Evet	Çalışma zamanı ortamı için bir ad girin.
   Description	Hayır	Çalışma zamanı ortamı için bir açıklama girin.
   Resource Queue	Evet	Başlatma işlemi için bir kaynak kuyruğu seçin. Çalışma zamanı ortamının oluşturulması sırasında bu kuyruktan 1 Çekirdek ve 4 GB kaynak tüketilir. Bu kaynaklar başlatma tamamlandıktan sonra otomatik olarak serbest bırakılır.
   Normal Network Connection	Hayır	Alibaba Cloud kaynağı dışındaki bir konumdan PyPI kitaplığı eklemeniz gerekiyorsa uygun bir ağ bağlantısı seçin. Oluşturma sırasında çalışma zamanı ortamı bu bağlantıyı kullanarak kaynak adresine erişir. Ağ bağlantısı oluşturma hakkında daha fazla bilgi için bkz. EMR Serverless Spark ile diğer VPC'ler arasında ağ bağlantısı kurun.
   Python version	Evet	Varsayılan değer Python 3.8'dir. İş ihtiyaçlarınıza göre farklı bir sürüm seçebilirsiniz. Sürüm uyumsuzluklarından kaynaklanan paketleme hatalarını veya çalışma zamanı sorunlarını önlemek için seçtiğiniz Python sürümünün hedef Python kitaplıklarıyla uyumlu olduğundan emin olun.

4. Kitaplık bilgilerini ekleyin.

   1. Add Library seçeneğine tıklayın.

   2. New Library iletişim kutusunda bir Type seçin, ilgili parametreleri yapılandırın ve ardından OK düğmesine tıklayın.

      Parametre	Açıklama
      PyPI	PyPI Package: Kitaplık adını ve isteğe bağlı olarak sürümü girin. Sürüm belirtmezseniz sistem en son sürümü yükler. Varsayılan olarak Alibaba Cloud kaynağı kullanılır. Örneğin, Plotly veya Plotly==4.9.0. Package Source: Özel bir PyPI kaynak URL'si belirtin. Bu alanı boş bırakırsanız varsayılan olarak Alibaba Cloud kaynağı kullanılır. Özel bir kaynak kullanıyorsanız uygun bir ağ bağlantısı seçtiğinizden emin olun.
      Workspace	Workspace açılır listesinden mevcut çalışma alanındaki bir dosya kaynağını seçin. Kullanılabilir kaynak yoksa Artifacts sayfasından bir kaynak yükleyin. Desteklenen dosya türleri: .zip, .tar, .whl, .tar.gz, .jar ve .txt. Not .txt dosyası seçerseniz sistem bu dosyayı requirements dosyası olarak değerlendirir ve dosyada listelenen Python kitaplıklarını ve sürümlerini yükler.
      OSS	OSS alanında Object Storage Service (OSS) üzerinde depolanan bir dosyanın yolunu girin. Desteklenen dosya türleri: .zip, .tar, .whl, .tar.gz, .jar ve .txt. Not .txt dosyası belirtirseniz sistem bu dosyayı requirements dosyası olarak değerlendirir ve dosyada listelenen Python kitaplıklarını ve sürümlerini yükler.

5. create seçeneğine tıklayın.

   Oluşturma işlemi tamamlandıktan sonra ortam başlatılmaya başlar.

Çalışma zamanı ortamını düzenleyin

İçerdiği kitaplıkları güncellemek için bir çalışma zamanı ortamını düzenleyebilirsiniz.

1. Environment sayfasında hedef çalışma zamanı ortamını bulun ve Actions sütunundaki Edit seçeneğine tıklayın.

2. Edit Environment sayfasında çalışma zamanı ortamının yapılandırmasını güncelleyin.

3. Save Changes seçeneğine tıklayın.

   Değişiklikleri kaydetmek ortamı yeni yapılandırmaya göre yeniden başlatır.

   Not

   Ortam yeniden başlatıldıktan sonra değişiklikler etkin Notebook oturumlarına hemen yansımaz. Notebook oturumunda en güncel çalışma zamanı ortamını kullanmak için Notebook oturumu kaynaklarını yeniden başlatmanız gerekir.

Çalışma zamanı ortamını kullanın

Bir çalışma zamanı ortamı Ready durumuna geçtiğinde veri geliştirme işlemlerinde veya ilgili oturumlarda bu ortamı kullanabilirsiniz.

• PySpark toplu iş: İş başladığında sistem seçilen çalışma zamanı ortamındaki gerekli kitaplıkları önceden yükler.

• İş orkestrasyonu: Bir iş akışına Notebook düğümü eklerken ilgili çalışma zamanı ortamını seçebilirsiniz.

• Notebook oturumu: Notebook oturumu başladığında sistem seçilen ortama göre kitaplıkları önceden yükler.

• Livy Gateway: Livy Gateway üzerinden bir iş gönderdiğinizde sistem seçilen ortama göre işi çalıştırmak için gereken kaynakları önceden yapılandırır.

• Spark Submit, Apache Airflow ve Livy kullanarak iş gönderirken çalışma zamanı ortamını yapılandırma parametresi olarak ortam kimliğini ileterek belirtin: --conf spark.emr.serverless.environmentId=<environment_id>.