Cloud Parallel File Storage:Dataflow for CPFS for Lingjun

Özellikler

CPFS for Lingjun aşağıdaki veri akışı özelliklerini destekler:

• Hesap düzeyinde veri akışı

  Aynı hesap ve çapraz hesaplar arasında OSS paketleriyle veri akışını destekler.

• Dizin düzeyinde veri akışı

  CPFS for Lingjun dosya sisteminin herhangi bir alt dizinini, granüler izin kontrolü ve esnek veri aktarımı sağlamak üzere bir OSS paketindeki herhangi bir önekle eşleyin.

• Veri içe ve dışa aktarma

  • Bir CPFS for Lingjun dosya sistemi ile OSS arasında veri içe ve dışa aktarmak için toplu iş veya akış görevleri oluşturun. Toplu iş görevleri, bir hesaplama işi başlamadan önce tüm veri kümesini önceden yükler. Akış görevleri, eğitim sırasında model kontrol noktaları gibi tekil dosyaların isteğe bağlı olarak geri yazılmasını ve önceden yüklenmesini yönetir.

    Uyarı

    CPFS for Lingjun, dosya değiştirme zaman damgalarını x-oss-meta-alihbr-sync-mtime adlı OSS özel meta verilerine aktarır. Bu meta verileri silmeyin veya değiştirmeyin; aksi takdirde dosya sistemi zaman damgaları hatalı olur.

  • Bir görev başarısız olursa, nedeni belirlemek için görev raporunu kontrol edin.

    Önemli

    Görev raporu yalnızca referans amaçlıdır. Kesin sürüm hedefteki verilerdir. Kaynak ve hedef arasındaki veri tutarlılığını doğrulayın.

Veri akışı görev türleri

CPFS for Lingjun iki veri akışı görev türü sunar: toplu iş görevleri ve akış görevleri.

Toplu iş görevi

Toplu iş görevi, bir dizindeki tüm dosyaları tek seferde içe veya dışa aktarır; bu yaklaşım, yapay zeka eğitimi öncesinde tüm veri kümelerini önceden yüklemek için idealdir.

Akış görevi

Akış görevi, eğitim sırasındaki model kontrol noktaları gibi tekil dosyaları isteğe bağlı olarak aktarır. Her aktarımı tetiklemek için bir API işlemi aracılığıyla bir alt görev gönderin. Sistem, dosya değişikliklerini otomatik olarak senkronize etmez.

Görev açıklamaları

İçe aktarma, dışa aktarma, akış içe aktarma ve akış dışa aktarma olmak üzere dört görev türü kullanılabilir.

Kısıtlamalar

• Veri akışı

  • Aynı hesap veri akışları için CPFS for Lingjun 2.4.0 veya sonraki bir sürüm gerekir. Çapraz hesap veri akışları için 2.6.0 veya sonraki bir sürüm gerekir.

  • Her CPFS for Lingjun dosya sistemi başına en fazla 10 veri akışı.

  • Her dosya sistemi yolu yalnızca bir OSS paketine bağlanabilir.

  • Veri akışları farklı bölgeler arasında çalışamaz.

• Yollar, dosya adları ve dizin adlarına ilişkin kısıtlamalar

  • Veri akışıyla ilişkili bir yoldaki boş olmayan bir dizini yeniden adlandırmak Permission Denied veya dizin-boş-değil hatası döndürür.

  • Dizin ve dosya adlarında özel karakterleri dikkatli kullanın.

    • Desteklenen karakterler arasında büyük ve küçük harfler, sayılar, ünlem işaretleri (!), kısa çizgiler (-), alt çizgiler (_), noktalar (.), yıldız işaretleri (*) ve parantezler () bulunur.

    • Aşağıdaki karakterler desteklenmez ve görev hatalarına neden olabilir:

      • Bir alt dizin veya dosya adı ".." olamaz.

      • Bir yol ters eğik çizgi (\) veya ardışık ters eğik çizgiler (\\) içeremez.

      • Bir alt dizin veya dosya adı eğik çizgi (/) içeremez.

  • Maksimum yol uzunluğu: 1.023 karakter.

• Veri akışı görevi kısıtlamaları

  • Akış görevleri için CPFS for Lingjun 2.6.0 veya sonraki bir sürüm gerekir ve yalnızca API üzerinden çalışır.

  • Her veri akışı başına en fazla dört eşzamanlı toplu iş görevi. Eşzamanlı akış görevlerinde sınır yoktur.

  • İçe aktarma kısıtlamaları

    • Sembolik bağlantıyı içe aktarmak, bunu normal bir veri dosyasına dönüştürür. Sembolik bağlantı bilgisi kaybolur.

    • Bir OSS paketinde sürüm oluşturma etkinleştirilmişse, yalnızca nesnenin en son sürümü kopyalanır.

    • Dosya adları veya alt dizin adları 255 baytı aşamaz.

  • Dışa aktarma kısıtlamaları

    • Sembolik bağlantılar normal, boş nesneler olarak dışa aktarılır. Bağlantılı dosya senkronize edilmez.

    • Sabit bağlantılar normal dosyalar olarak dışa aktarılır.

    • Socket, Device ve Pipe dosyaları normal, boş nesneler olarak dışa aktarılır.

    • Dizin yolları 1.023 karakteri aşamaz.

Performans ölçümleri

Daha yüksek aktarım hızına nasıl ulaşılır

1. Kapasiteyi genişletin: Bir CPFS for Lingjun dosya sisteminin depolama kapasitesini artırmak, doğrusal aktarım hızını doğrudan iyileştirir.

2. Kotaları artırın: VPC ağ darboğazına (okuma için 10 GB/s veya yazma için 5 GB/s) ulaşırsanız, bant genişliği kota artışını talep etmek için destek talebi oluşturun.

Gerçek hız neden temel çizginin altında kalır

1. OSS paketinde bant genişliği kısıtlama veya hız sınırlama ilkelerinin olup olmadığını kontrol edin.

2. CPFS for Lingjun dosya sistemindeki yoğun okuma/yazma iş yüklerinin veri akışı bant genişliği için rekabet edip etmediğini kontrol edin.

3. Veri akışı görevinin çok sayıda küçük dosya işlemi, birçok küçük dizin veya çok sayıda küçük dosya içeren geniş dizinler içerip içermediğini kontrol edin; bu durumlar toplam aktarım hızını önemli ölçüde düşürür.

Faturalama

CPFS for Lingjun için Dataflow genel önizlemededir ve ücretsizdir.

Yordam

1. Bir veri akışı oluşturun.

   • Aynı hesap: Aynı hesap veri akışı oluşturun.

   • Çapraz hesap: Çapraz hesap veri akışı oluşturun.

2. Bir toplu iş görevi veya akış görevi oluşturun.

   • Akış: Akış görevlerini yönetin (OpenAPI).

   • Toplu iş: Toplu iş görevlerini yönetin.

3. Veriyi doğrulayın.

   Bir görev tamamlandıktan sonra, hedefteki veri doğruluğunu doğrulayın.

   Uyarı

   Hedef veriyi doğrulamadan kaynak veriyi silerseniz, ortaya çıkan veri kaybından siz sorumlusunuz.