EMR Serverless Spark'a dosya, JAR veya diğer kaynakları yükleyin ya da işlerinizin çalışma zamanında erişebilmesi için dosya dizinleri ekleyin.
Yönetilen dosya dizini ile tümleşik dosya dizini
Yönetilen dosya dizini: Yerel dosyaları konsoldan hizmet tarafından yönetilen bir depolama alanına yükleyin ve iş yürütme sırasında doğrudan erişin.
Tümleşik dosya dizini: Notebook oturumlarınıza ve işlerinize OSS, NAS veya CPFS gibi harici dosya sistemlerini bağlayarak dosyalara doğrudan erişin.
Sınırlamalar
Yönetilen dosya dizini
Tek bir yüklenen dosyanın maksimum boyutu 500 MB'dır.
Tümleşik dosya dizini
Tek bir çalışma alanı en fazla 10 tümleşik dosya dizinini destekler.
Kyuubi Gateway veya Spark kümeleri aracılığıyla gönderilen işler için tümleşik dosya dizinleri bağlanamaz.
CPFS tümleşik dosya dizini, diğer türdeki tümleşik dosya dizinleriyle (OSS veya NAS) birlikte bağlanamaz. Örneğin, aynı anda birden fazla OSS ve NAS dizini bağlayabilirsiniz ancak bir OSS dizini ile bir CPFS dizinini birlikte bağlayamazsınız.
Yönetilen dosya dizinini yönetme
Dosya yükleme
-
Artifacts sayfasına gidin.
EMR konsolu üzerinde oturum açın.
Sol gezinme bölmesinde seçeneğini belirleyin.
Spark sayfasında hedef çalışma alanının adını tıklayın.
EMR Serverless Spark sayfasının sol gezinme bölmesinde Artifacts seçeneğini tıklayın.
Managed File Directory sekmesinde Upload File seçeneğini tıklayın.
Upload File iletişim kutusunda yerel bir dosya seçmek için yükleme alanını tıklayın veya bir dosyayı alana sürükleyin.
Dosyaları ve klasörleri yönetme
Managed File Directory sekmesinde mevcut dosyaları ve klasörleri yönetebilirsiniz:
-
Dosyalar için aşağıdaki işlemleri uygulayabilirsiniz:
Download: Dosyayı yerel makinenize indirin.
Copy Address: Dosyanın erişim yolunu kopyalar.
Delete: Dosyayı silin.
Klasörler için şu işlemler kullanılabilir: New Folder, Rename Folder ve Delete.
Tümleşik dosya dizinini yönetme
Bir tümleşik dosya dizini ekledikten sonra çalışma alanında dosya düzenleme izinlerine sahip üyeler, Artifacts sayfasından tümleşik bir OSS dosya dizinindeki dosyaları ve klasörleri düzenleyebilir. Veri geliştirme izinlerine sahip üyeler ise veri geliştirme işlerinde bu dosya ve klasörlerden okuma ve yazma yapabilir.
Dosya dizini ekleme
-
Artifacts sayfasına gidin.
EMR konsolu üzerinde oturum açın.
Sol gezinme bölmesinde seçeneğini belirleyin.
Spark sayfasında hedef çalışma alanının adını tıklayın.
EMR Serverless Spark sayfasının sol gezinme bölmesinde Artifacts seçeneğini tıklayın.
Integrated File Directory sekmesinde Create Folder seçeneğini tıklayın.
-
Create File Directory iletişim kutusunda aşağıdaki parametreleri yapılandırın ve OK seçeneğini tıklayın.
OSS
OSS parametreleri:
Parameter
Description
Name
Dosya dizininin adı.
OSS Path
Bir OSS depolama yolu seçin. Çalışma alanının yürütme rolünün bu yola erişim iznine sahip olduğundan emin olun.
Mounted Path
Bu yolu özelleştirebilirsiniz ancak/mntyolu altında olması gerekir.General-purpose NAS
General-purpose NAS parametreleri:
Parameter
Description
Name
Dosya dizininin adı.
File system
Bir General-purpose NAS dosya sistemi seçin. Çalışma alanının yürütme rolünün NAS dosya sistemine erişim iznine sahip olduğundan emin olun.
Mount on
NAS dosya sistemine erişmek için bir bağlama noktası yapılandırın.
File System Path
NAS dosya sistemindeki mevcut bir depolama yolunu belirtin. Bu parametreyi boş bırakırsanız kök dizin varsayılan olarak bağlanır.
Mounted Path
Bu yolu özelleştirebilirsiniz ancak/nasyolu altında olması gerekir.CPFS for Lingjun
CPFS for Lingjun parametreleri:
Parameter
Description
Name
Dosya dizininin adı.
File system
Bir CPFS for AI Computing dosya sistemi seçin. Çalışma alanının yürütme rolünün CPFS dosya sistemine erişim iznine sahip olduğundan emin olun.
Mount on
CPFS dosya sistemine erişmek için bir bağlama noktası yapılandırın.
Mounted Path
Bu yolu özelleştirebilirsiniz ancak/cpfsyolu altında olması gerekir.
Read-only
Bu seçenek varsayılan olarak devre dışıdır. Etkinleştirildiğinde dosya dizini salt okunur hale gelir.
Dosya dizinini silme
Bir dosya dizini silindiğinde yalnızca ilgili OSS, NAS veya CPFS yoluyla olan ilişkilendirme kaldırılır. Harici yoldaki dosyalar silinmez.
Integrated File Directory sekmesinde silmek istediğiniz dizini bulun ve Actions sütunundaki Delete seçeneğini tıklayın.
OK seçeneğini tıklayın.
Sonraki adımlar
Yönetilen dosya dizinini kullanma: Dosyaları yükledikten sonra bunları toplu iş veya akış görevi içinde bağımlılık veya veri kaynağı olarak kullanabilirsiniz.
Tümleşik dosya dizinini kullanma: Bir dizin tümleştirildikten sonra notebook oturumlarını, toplu iş veya akış görevini veya Livy gateway görevini yapılandırırken bu dizini bağlayabilirsiniz.