Arena eğitim verilerini depolamak üzere ACK kümenizde paylaşılan bir PV ve PVC olarak bir NAS dosya sistemi kurun.
Ön koşullar
Aşağıdakilere sahip olduğunuzdan emin olun:
Çalışan bir ACK kümesi
NAS dosya sistemleri oluşturma ve ACK depolama kaynaklarını yönetme izinleri
NAS dosya sistemini bağlamak ve doldurmak için ACK kümenizle aynı Virtual Private Cloud (VPC) içinde bulunan bir Elastic Compute Service (ECS) örneği
Kullanım notları
Aşağıdaki kısıtlamaları dikkate alın:
Aynı VPC içinde bulunma zorunluluğu. NAS dosya sistemi, bağlama hedefiniz ve ACK kümeniz aynı VPC içinde yer almalıdır.
Protokol türü çoklu yazar performansını etkiler. Birden fazla ECS örneği aynı dosyaya eşzamanlı olarak yazmadığında NFSv3 daha iyi performans gösterir. Extreme NAS yalnızca NFSv3'ü destekler.
PV kapasitesi yalnızca eşleştirme için kullanılır. Kapasite değerleri gerçek depolamayı sınırlamaz. Gerçek limitler NAS dosya sisteminin teknik özelliklerine bağlıdır.
Statik PV'ler
archiveOnDeleteözelliğini desteklemez. Statik bir PV üzerinde Delete ayarı yapmak, PV veya NAS verilerini gerçekten silmez. Dinamik olarak sağlanan NAS birimleri kullanmıyorsanız varsayılan olan Retain seçeneğini kullanın.
Arka plan bilgileri
Arena iş ortamları için paylaşılan bir depolama birimi yapılandırmak, veri bilimcilerinin çalışmalarının (kod ve veri) konteynerler silindiğinde kaybolmamasını sağlar ve paylaşılan eğitim verilerine erişimi kolaylaştırır. Ekip geliştirmesinde, paylaşılan bir depolama havuzu tahsis etmek verilerin ve kodların ekip genelinde paylaşılmasına olanak tanır.
Bir Arena işi gönderirken, paylaşılan depolamayı ve bir bağlama yolunu bildirmek için --data parametresini kullanabilirsiniz. Paylaşılan depolama belirtilen dizine bağlanır ve sonraki işler bu verileri veya kodları yeniden kullanabilir.
Kubernetes'te depolama nesneleri Kalıcı Birimler (PV) ve Kalıcı Birim Talepleri (PVC) ile tanımlanır. Bir küme yöneticisi olarak, ortamları atarken her veri bilimci için ayrı bir PVC oluşturmalısınız. Örneğin, A kullanıcısı ve B kullanıcısı için PVC'ler aynı NAS veya CPFS arka ucuna bağlanabilir ancak çalışma ortamlarının izole kalması için farklı alt dizinlere işaret etmelidir.
Adım 1: Bir NAS örneği oluşturun
ACK kümenizle aynı bölge ve VPC içinde General-purpose NAS dosya sistemi oluşturun.
Bkz. Konsolu kullanarak General-purpose NAS dosya sistemi oluşturma.
Aşağıdaki değerleri kullanın:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Adım 2: Dosya sistemini bir ECS örneğine bağlayın
Daha sonra eğitim verileriyle doldurmak üzere NAS dosya sistemini bir ECS örneğine bağlayın. Bu adımda tek tıklamayla bağlama özelliği kullanılır. Diğer yöntemler için bkz. Dosya sistemi bağlama senaryoları.
NAS dosya sistemini bağlayın
NAS konsolunda oturum açın. Sol gezinme bölmesinde seçeneklerini belirleyin.
-
Üst gezinme çubuğunda dosya sisteminizin kaynak grubunu ve bölgesini seçin.

-
Dosya sisteminizi bulun ve Actions sütununda Mount seçeneğine tıklayın.
İlk kullanımda NAS, AliyunServiceRoleForNasEcsHandler hizmet bağlantılı rolünü atamanızı ister. Ekrandaki talimatları izleyin. Bkz. NAS hizmet bağlantılı rolleri .
-
Mount panelinde bağlama seçeneklerini ayarlayın:
Bir bağlama hedefi seçin ve Next seçeneğine tıklayın.
-
Dosya sistemiyle aynı VPC içindeki bir ECS örneği seçin ve Next seçeneğine tıklayın. Örnek listelenmiyorsa sayfayı yenileyin.
NotBu yapılandırma yalnızca tek bir ECS örneğine eklemeyi destekler. Toplu bağlama için bkz. Birden fazla ECS örneğinde NFS dosya sistemini toplu olarak bağlama.
-
Bağlama parametrelerini yapılandırın:
Parametre
Açıklama
Gerekli
Varsayılan
Mount path
Bağlama noktası için ECS örneğindeki yerel dizin.
Evet
—
Automatic mount
ECS örneği yeniden başlatıldığında dosya sistemini otomatik olarak yeniden bağlar.
Hayır
Etkin
Protocol type
NFS protokol sürümü. General-purpose NAS, NFSv3 ve NFSv4'ü destekler; Extreme NAS yalnızca NFSv3'ü destekler. Birden fazla örnek aynı dosyaya eşzamanlı olarak yazmadığında NFSv3 daha iyi performans gösterir.
Evet
—
NAS directory
Bağlanacak NAS dizini. Kök için/veya/abcgibi bir alt dizin girin. Mevcut olmayan dizinler için Confirm New Directory seçeneğini belirleyin ve UID, GID ile POSIX izinlerini ayarlayın.
Hayır/(kök)
Mount parameters
NFS bağlama bayrakları. Tam referans için bkz. Linux ECS örneğinde NFS dosya sistemi bağlama.
Hayır
Varsayılan bağlama parametreleri
-
Complete seçeneğine tıklayın. Bağlama işlemi 1–2 dakika sürer. Durum Mounted olarak göründüğünde dosya sistemi hazır demektir. Failed durumunda sorun giderme için bkz. Linux ECS örneğinde NFS dosya sistemi bağlama.

Bağlamayı doğrulayın
ECS örneğine bağlanın ve erişimi doğrulamak için aşağıdaki komutları çalıştırın:
mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt
Çıktı dir1, dir2, file1 ve file2 öğelerini listeler:
dir1 dir2 file1 file2
Bağlama ayrıntılarını görüntülemek veya kapasiteyi kontrol etmek için mount -l veya df -h komutunu çalıştırın.
Her NAS dosya sistemi bir bağlama hedefi gerektirir. Hedefleri eklemek veya aramak için bkz. Bağlama hedeflerini yönetme . Mount target type ayarını VPC olarak belirleyin ve ACK kümenizle aynı VPC ve vSwitch'i seçin.
Adım 3: Bir PV ve bir PVC oluşturun
NAS dosya sistemini ACK kümenizde bir PV olarak kaydedin, ardından pod erişimi için bir PVC oluşturun.
Bir PV oluşturun
ACK konsolunda oturum açın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın.NAS konsolu
Clusters sayfasında hedef kümeye tıklayın. Sol gezinme bölmesinde Volumes > Persistent Volumes seçeneklerini belirleyin.
-
Persistent Volumes sayfasında Create seçeneğine tıklayın. Aşağıdaki parametreleri ayarlayın ve OK seçeneğine tıklayın.
Parametre
Açıklama
Gerekli
Varsayılan
Örnek
PV type
NAS seçeneğini belirleyin.
Evet
—
NAS
Name
PV adı. Küme içinde benzersiz olmalıdır.
Evet
—pv-nas
Capacity
Yalnızca PVC eşleştirmesi için kullanılır. Gerçek depolamayı sınırlamaz. Kapasite limitleri için bkz. General-purpose NAS dosya sistemleri ve Extreme NAS dosya sistemleri.
Evet
—5 Gi
Access mode
ReadWriteMany: birden fazla düğüm okuma-yazma olarak bağlar. ReadWriteOnce: yalnızca tek düğüm.
Evet
—ReadWriteMany
Enable CNFS
Otomatik O&M, önbellek hızlandırma ve performans izleme için Container Network File System (CNFS) özelliğini etkinleştirir. Mevcut dosya sistemlerini yönetmek için bkz. NAS dosya sistemini yönetmek için CNFS oluşturma (Önerilen).
Hayır
Devre dışı
Devre dışı
Mount target domain name
CNFS devre dışı olduğunda kullanılabilir. NAS bağlama hedefi adresi. Mevcut bir hedef seçin veya özel bir alan adı girin. Adresleri aramak için bkz. Bağlama hedeflerini yönetme.
Evet (CNFS devre dışıysa)
—0c47****-mpk25.cn-shenzhen.nas.aliyuncs.co
Mount path (Gelişmiş)
Bağlanacak NAS alt dizini. Extreme NAS için/shareile başlamalıdır (ör./share/data). Mevcut olmayan dizinler otomatik olarak oluşturulur.
Hayır/(kök)/data
Reclaim policy
Retain (varsayılan): PVC silindiğinde PV ve NAS verileri korunur; manuel temizlik gerekir. Delete:archiveOnDeletegerektirir. Statik PV'lerarchiveOnDeleteözelliğini desteklemez, bu nedenle PV ve veriler ne olursa olsun kalır.archiveOnDeleteyapılandırması için bkz. Dinamik olarak sağlanan NAS birimlerini kullanma.
Hayır
RetainRetain
Mount options
NFS protokolü sürümü ve bağlama bayrakları. Eşzamanlı yazma olmadan ML eğitim okumaları için NFSv3 daha iyi performans gösterir.
Hayır
—nolock,tcp,noresvportvers=3
Label
PV için etiketler.
Hayır
—pv-nas
PV, Persistent Volumes sayfasında görünür.
Bir PVC oluşturun
Gezinme bölmesinde Storage > Persistent Volume Claims seçeneklerini belirleyin.
-
Persistent Volume Claims sayfasında Create seçeneğine tıklayın. Aşağıdaki parametreleri ayarlayın ve OK seçeneğine tıklayın.
Parametre
Açıklama
Gerekli
Varsayılan
Örnek
PVC type
NAS seçeneğini belirleyin.
Evet
—
NAS
Name
PVC adı. Küme içinde benzersiz olmalıdır.
Evet
—pvc-nas
Allocation mode
Use Existing Persistent Volume: yukarıdaki PV'ye bağlanır. Create Volume: satır içi yeni bir PV sağlar.
Evet
—
Use Existing Persistent Volume
Existing volumes
Yukarıda oluşturulan PV.
Evet (mevcut PV kullanıldığında)
—pv-nas
Capacity
Talep edilen depolama kapasitesi. Yalnızca PVC-PV eşleştirmesi için kullanılır.
Evet
—5
PV ve PVC'yi doğrulayın
PVC'nin PV'ye bağlı olduğunu onaylayın. ACK kümesindeki herhangi bir düğüme bağlanın ve şu komutu çalıştırın:
kubectl get pvc pvc-nas
Çıktı, PVC'nin Bound durumunda olduğunu gösterir:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
pvc-nas Bound pv-nas 5Gi RWX 1m
Pending durumunda ise PV adının ve erişim modlarının eşleştiğini doğrulayın.
Adım 4: PVC'yi verilerle doldurun
Bir Kubernetes kümesi, paylaşılan verilere PVC'ler aracılığıyla (Adım 1'de oluşturulan NAS örneğine işaret eder) erişir, bu nedenle yalnızca PVC'yi destekleyen NAS'ı doldurmanız gerekir. Aşağıdaki prosedür, PyTorch ve TensorFlow MNIST veri kümelerini örnek konteyner görüntülerinden belirtilen dizinlerdeki NAS'a kopyalayan iki Kubernetes Job'ı oluşturur. Örnek, Adım 3'teki pvc-nas PVC'sini kullanır.
-
Aşağıdaki içeriğe sahip
prepare-pytorch-mnist-data.yamladlı bir dosya oluşturun:apiVersion: batch/v1 kind: Job metadata: name: prepare-pytorch-mnist-data namespace: default spec: completions: 1 parallelism: 1 backoffLimit: 3 ttlSecondsAfterFinished: 3600 template: spec: containers: - name: pytorch-mnist-example image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/pytorch-mnist-example:2.5.1-cuda12.4-cudnn9-runtime imagePullPolicy: Always command: - /bin/bash - -c args: - | set -eux mkdir -p /mnt/pytorch_data/MNIST/raw cp -r /data/MNIST/raw/* /mnt/pytorch_data/MNIST/raw || { echo "Copy failed"; exit 1; } echo "MNIST data prepared successfully at /mnt/pytorch_data/MNIST/raw." resources: requests: cpu: 100m memory: 128Mi limits: cpu: 100m memory: 128Mi volumeMounts: - name: training-data mountPath: /mnt volumes: - name: training-data persistentVolumeClaim: claimName: pvc-nas restartPolicy: Never -
PyTorch MNIST veri kümesini NAS üzerindeki
/pytorch_datakonumuna kopyalamak için Job'ı oluşturun:# Create the Job kubectl create -f prepare-pytorch-mnist-data.yaml # Wait for the Job to complete kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-pytorch-mnist-dataJob başarıyla tamamlandığında çıktı şöyledir:
job.batch/prepare-pytorch-mnist-data condition met -
Aşağıdaki içeriğe sahip
prepare-tensorflow-mnist-data.yamladlı bir dosya oluşturun:apiVersion: batch/v1 kind: Job metadata: name: prepare-tensorflow-mnist-data namespace: default spec: completions: 1 parallelism: 1 backoffLimit: 3 ttlSecondsAfterFinished: 3600 template: spec: containers: - name: tensorflow-mnist-example image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu imagePullPolicy: Always command: - /bin/bash - -c args: - | set -eux mkdir -p /mnt/tf_data cp -r /data/mnist.npz /mnt/tf_data/mnist.npz || { echo "Copy failed"; exit 1; } echo "MNIST data prepared successfully at /mnt/tf_data/mnist.npz." resources: requests: cpu: 100m memory: 128Mi limits: cpu: 100m memory: 128Mi volumeMounts: - name: training-data mountPath: /mnt volumes: - name: training-data persistentVolumeClaim: claimName: pvc-nas restartPolicy: Never -
TensorFlow MNIST veri kümesini NAS üzerindeki
/tf_datakonumuna kopyalamak için Job'ı oluşturun:# Create the Job kubectl create -f prepare-tensorflow-mnist-data.yaml # Wait for the Job to complete kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-tensorflow-mnist-dataJob başarıyla tamamlandığında çıktı şöyledir:
job.batch/prepare-tensorflow-mnist-data condition met
Bu örnek,defaultad alanındapvc-nasadlı PVC'yi kullanır. PVC'nizin farklı bir adı varsa veya farklı bir ad alanındaysa manifestoları buna göre ayarlayın.
/tf_data TensorFlow MNIST verilerini içerir ve /pytorch_data PyTorch MNIST verilerini içerir. Her ikisine de pvc-nas birimini bağlayan herhangi bir pod erişebilir.
Sonraki adımlar
pvc-nasbirimini bağlamak için--dataparametresiyle bir Arena eğitim işi gönderin.Kullanıcı ortamlarını izole etmek için aynı NAS dosya sisteminin farklı alt dizinlerine işaret eden ayrı PVC'ler oluşturun.
Üretim iş yükleri için CNFS'yi etkinleştirmeyi düşünün.