Deep Learning Containers (DLC) eğitim işi gönderirken, kod yapılandırması veya bağlamalar aracılığıyla Object Storage Service (OSS), File Storage NAS (NAS), Cloud Parallel File Storage (CPFS) veya MaxCompute depolamayı yapılandırabilirsiniz. Bu sayede eğitim süreci boyunca belirtilen depolama alanından doğrudan veri okuyabilir ve buraya veri yazabilirsiniz.
Önkoşullar
PAI (DLC) hizmetini etkinleştirmiş ve bir çalışma alanı oluşturmuş olmanız gerekir. Daha fazla bilgi için bkz. PAI'yi etkinleştirme ve varsayılan bir çalışma alanı oluşturma.
-
(İsteğe bağlı) Object Storage Service (OSS) depolamayı kullanmak için aşağıdaki adımları tamamlayın:
OSS hizmetini etkinleştirmiş ve PAI için gerekli izinleri vermiş olmanız gerekir. Daha fazla bilgi için bkz. OSS'yi etkinleştirme ve PAI hizmet hesaplarını yetkilendirme.
Bir OSS paketi oluşturmuş olmanız gerekir. Daha fazla bilgi için bkz. Konsolda hızlı başlangıç.
(İsteğe bağlı) File Storage NAS (NAS) kullanmak için genel amaçlı bir NAS dosya sistemi oluşturmanız gerekir. Daha fazla bilgi için bkz. Dosya sistemi oluşturma.
(İsteğe bağlı) MaxCompute depolamayı kullanmak için MaxCompute hizmetini etkinleştirmeniz ve bir MaxCompute projesi oluşturmanız gerekir. Daha fazla bilgi için bkz. MaxCompute'ü etkinleştirme ve MaxCompute projesi oluşturma.
OSS depolama kullanma
OSS depolamayı bağlamalarla yapılandırma
Deep Learning Containers (DLC) eğitim işi oluştururken Object Storage Service (OSS) bağlayabilirsiniz. Aşağıdaki bağlama türleri desteklenir. Yapılandırma ayrıntıları için bkz. Eğitim işi oluşturma.
|
Bağlama türü |
Açıklama |
|
Mount dataset |
Özel bir veri kümesi veya genel bir veri kümesi olan bir veri kümesini bağlayın.
OSS türünde bir veri kümesi seçin ve Mount Pathnu yapılandırın. DLC işi çalıştığında sistem bu yoldaki OSS verilerine erişir. |
|
Mount storage |
Bir OSS paket yolunu bağlayın ve Salt Okunur anahtarını kullanarak okuma ve yazma izinlerini ayarlayın. |
DLC, OSS bağlamak için JindoFuse ve ossfs desteği sunar:
JindoFuse: Bu, varsayılan bağlama yöntemidir. Varsayılan yapılandırmasının işlevsel sınırlamaları vardır ve tüm senaryolar için uygun olmayabilir. Ayrıntılar için bkz. JindoFuse. Belirli senaryolar için parametreleri ayarlayabilirsiniz. Daha fazla bilgi için bkz. JindoFuse.
ossfs: Depolama bağlama yöntemiyle bir OSS paket yolu bağlarken, ossfs kullanmak üzere Gelişmiş Ayarlar bölümünde
{"mountType":"ossfs"}değerini belirtebilirsiniz.
OSS depolamayı bağlama olmadan yapılandırma
DLC işleri, OSS PyTorch Connector veya bir OSS SDK kullanarak Object Storage Service (OSS) üzerinden veri okuyup yazabilir. Bir eğitim işi oluştururken ilgili kod dosyalarını yapılandırın. Kod örnekleri için bkz. AI/ML için OSS Bağlayıcısı veya OSS SDK.
Kod Yapılandırması bölümünde, Çevrimiçi Yapılandırma sekmesinde açılan listeden kod kaynağını seçin ve kodunuz için Bağlama Yolunu girin.
NAS/CPFS depolama kullanma
Deep Learning Containers (DLC) işi oluştururken, NAS/CPFS türünde özel bir veri kümesi bağlayarak veya depolama bağlantısı kullanarak File Storage NAS (NAS) ya da Cloud Parallel File Storage (CPFS) depolamayı kullanabilirsiniz. Yapılandırma ayrıntıları için bkz. NAS/CPFS kullanma.
Veri Kümesi Bağlama bölümünde Bağlama Yolunu ayarlayın (örneğin, /mnt/data/). Depolama Bağlama bölümünde ise sırasıyla Dosya Sistemini Seç, Dosya Sistemi Bağlantı Noktası, Dosya Sistemi Yolu ve Bağlama Yolunu yapılandırın (örneğin, /mnt/data2/). Seçilen depolama türünde tek kullanılabilirlik alanı riski varsa turuncu renkli bir uyarı görüntülenir.
|
Bağlama türü |
Açıklama |
|
Mount dataset |
Özel bir veri kümesini bağlayın. Salt Okunur anahtarını kullanarak okuma ve yazma izinlerini ayarlayabilirsiniz. |
|
Mount storage |
File Storage NAS (NAS) veya Cloud Parallel File Storage (CPFS) dosya sistemini bağlayın ve Salt Okunur anahtarını kullanarak okuma ve yazma izinlerini ayarlayın. Ayrıca, Gelişmiş Ayarlar bölümünde nconnect parametresini ayarlayarak DLC konteynerlerinin NAS'a erişimindeki aktarım hızını artırabilirsiniz. nconnect, istemci ile sunucu arasında daha fazla TCP taşıma bağlantısı kurarak aktarım hızını artıran bir Linux NFS istemcisi bağlama seçeneğidir. Daha fazla bilgi için bkz. Linux işletim sisteminden NAS'a erişimde düşük performansı nasıl çözebilirim?. Örnek: |
MaxCompute depolama kullanma
MaxCompute depolamayı bağlama olmadan kullanabilirsiniz. Bir eğitim işi oluştururken ilgili kod dosyalarını yapılandırın. Kod örnekleri için bkz. MaxCompute kullanma.
SSS
S: PAIIO işi hata vermeden 'killed' (sonlandırıldı) durumuna geçiyor
Bu sorun yetersiz kaynaklardan kaynaklanır. PAIIO bellek kullanımını sınırlamaz; bu durum, MaxCompute verilerini okurken yüksek miktarda bellek tüketmesine neden olabilir. Konteyner belleği tükettiğinde ve işletim sistemi ile diğer sistem bileşenleri de kaynak kullandığından süreç büyük olasılıkla işletim sistemi tarafından sonlandırılır.