Cloud Parallel File Storage:Toplu iş görevlerini yönetin

Arka plan bilgileri

Konsolda oluşturulan veri akışı görevleri toplu iş görevleridir. Bir toplu iş görevi, tek bir çalıştırmada tüm dosyaları bir dizinden diğerine aktarabilir veya dışa aktarabilir. Tek tek dosyalar için isteğe bağlı veri akışlarını başlatamazsınız. Dosya bazında veri aktarmak (bir akış görevi) için OpenAPI işlemlerini kullanmanız gerekir. Akış görevleri için, veri aktarımını tetiklemek üzere her belirli dosya için alt görev oluşturmak amacıyla API'yi açıkça çağırmanız gerekir. Daha fazla bilgi için bkz. Akış görevlerini yönetme (OpenAPI).

Önkoşullar

• Bir veri akışı oluşturulmuş olmalıdır. Daha fazla bilgi için bkz. Aynı hesapta veri akışı oluşturma veya Hesaplar arasında veri akışı oluşturma.

• Kaynak OSS paketinde sürüm oluşturma etkinleştirilmiş olmalıdır. Veri akışı aktifken sürüm oluşturmayı askıya almayın; aksi takdirde dışa aktarma görevi başarısız olur. Daha fazla bilgi için bkz. Sürüm oluşturmaya giriş.

Görev oluşturma

1. NAS konsoluna giriş yapın.

2. Sol gezinme bölmesinde, File System > File System List seçeneğini belirleyin.

3. Üst gezinme çubuğundan bir bölge seçin.

4. File System List sayfasında hedef CPFS for Lingjun dosya sisteminin adına tıklayın.

5. Dosya sisteminin ayrıntılar sayfasında, Dataflow seçeneğine tıklayın.

6. Dataflow sayfasında hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

7. Task Management panelinde, Create Job seçeneğine tıklayın.

8. Create Job panelinde görev türünü seçin ve parametreleri yapılandırın.

   Verileri içe aktarma

   • Sembolik bağlantı bir CPFS for Lingjun dosya sistemine içe aktarıldığında, bağlantının hedef verilerini içeren normal bir dosyaya dönüştürülür ve orijinal bağlantı bilgileri kaybolur.

   • Bir OSS paketi bir nesnenin birden çok sürümünü içeriyorsa yalnızca en son sürüm kopyalanır.

   • 255 bayttan uzun dosya adları ve alt dizin adları desteklenmez.

   • Dizin ve dosya adları aşağıdaki özel karakterleri içeremez. Aksi takdirde görev beklenmeyen sonuçlar üretebilir veya başarısız olabilir.

     • Alt dizin veya dosya adları çift nokta (..) olamaz.

     • Yollar ters eğik çizgi (\) veya ardışık ters eğik çizgiler (\\) içeremez.

     • Alt dizin ve dosya adları eğik çizgi (/) içeremez.

   • Bir dosya adı bir alt dizin adıyla çakışırsa CPFS for Lingjun dosya sisteminde nesne çakışması oluşur. Yalnızca işlemlerden biri başarılı olur, diğeri başarısız olur.

   Parametre	Açıklama
   Conflict Resolution Policy	CPFS for Lingjun dosya sistemi ile OSS paketinde aynı ada sahip dosyaların nasıl ele alınacağını belirten ilke. Skip Files with the Same Name (Default): Aynı ada sahip dosyaları yoksayar ve bunları eşitlemez. Keep the Latest File: Aynı ada sahip dosyaların değiştirilme zamanını (mtime) karşılaştırır ve en son güncellenen sürümü korur. Hem OSS hem de CPFS for Lingjun karşılaştırma için değiştirilme zamanını kullanır. Overwrite Files with the Same Name: Hedef dosyanın üzerine OSS paketindeki sürümü yazar. Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data. seçeneğini belirleyin.
   Data Type	Yalnızca Veri + Meta Veri türü desteklenir. Bu seçenek, dosyaların hem veri bloklarını hem de meta verilerini içe aktarır.
   Specify OSS Object Prefix Subdirectory	İçe aktarma görevinin kapsamını belirtir. İki mod desteklenir: Bu OSS dizini altındaki tüm dosyaları içe aktar: Belirtilen alt dizin altındaki tüm dosyaları içe aktarır. Eğik çizgi (/) ile başlayıp biten, OSS Nesne Ön Eki içindeki göreli bir yol girin. Bu OSS dizini altında bir CSV dosyasında listelenen dosyaları içe aktar: Yalnızca bir CSV dosyasında listelenen dosyaları içe aktarır. Bu modu seçtikten sonra, CSV dosyasının depolandığı OSS paketi dizini olan CSV dosya listesi konumunu yapılandırın. Yol eğik çizgi (/) ile başlamalı ve bitmeli, 1 ila 1.023 karakter uzunluğunda olmalı ve yalnızca ünlem işareti (!), kısa çizgi (-), alt çizgi (_), nokta (.) ve parantez (()) içerebilir. CSV dosya listesinin biçim gereksinimleri ve bir örneği için bkz. CSV dosya listesi biçimi. Not Veri akışını oluştururken yapılandırdığınız CPFS yolu yoksa, içe aktarma hatalarını önlemek için If the CPFS directory you created does not exist, the system automatically creates a CPFS directory. seçeneğini belirleyebilirsiniz. Otomatik dizin oluşturma yalnızca CPFS for Lingjun 2.6.0 ve sonraki sürümler tarafından desteklenir.

   Verileri dışa aktarma

   • Kaynak OSS paketinde sürüm oluşturma etkinleştirilmiş olmalıdır. Veri akışı aktifken sürüm oluşturmayı askıya almayın; aksi takdirde dışa aktarma görevi başarısız olur. Daha fazla bilgi için bkz. Sürüm oluşturmaya giriş.

   • Sembolik bağlantı OSS'e eşitlendiğinde sistem işaret ettiği dosyayı eşitlemez. Bunun yerine sembolik bağlantının kendisi OSS'te normal, boş bir nesne haline gelir.

   • Sabitsel bağlantı, OSS'e normal bir dosya olarak eşitlenir.

   • Socket, Aygıt veya Boru türündeki dosyalar bir OSS paketine dışa aktarılamaz.

   • 1.023 karakterden uzun dizin yolları desteklenmez.

   • Dizin ve dosya adları aşağıdaki özel karakterleri içeremez. Aksi takdirde görev beklenmeyen sonuçlar üretebilir veya başarısız olabilir.

     • Alt dizin veya dosya adları çift nokta (..) olamaz.

     • Yollar ters eğik çizgi (\) veya ardışık ters eğik çizgiler (\\) içeremez.

     • Alt dizin ve dosya adları eğik çizgi (/) içeremez.

   • CPFS for Lingjun, dosya değiştirme zaman damgalarını x-oss-meta-alihbr-sync-mtime adlı OSS özel meta verilerine dışa aktarır. Bu meta verileri silmeyin veya değiştirmeyin; aksi takdirde dosya sistemi zaman damgaları yanlış olur.

   Parametre	Açıklama
   Conflict Resolution Policy	CPFS for Lingjun dosya sistemi ile OSS paketinde aynı ada sahip dosyaların nasıl ele alınacağını belirten ilke. Skip Files with the Same Name (Default): Aynı ada sahip dosyaları yoksayar ve bunları eşitlemez. Keep the Latest File: Aynı ada sahip dosyaların değiştirilme zamanını (mtime) karşılaştırır ve en son güncellenen sürümü korur. Hem OSS hem de CPFS for Lingjun karşılaştırma için değiştirilme zamanını kullanır. Overwrite Files with the Same Name: Hedef dosyanın üzerine CPFS for Lingjun dosya sistemindeki sürümü yazar. Use the source file to overwrite the existing file with the same name on the destination. Make sure that you have backed up key data. seçeneğini belirleyin.
   Export Data Type	Yalnızca Veri + Meta Veri türü desteklenir. Bu seçenek, dosyaların hem veri bloklarını hem de meta verilerini dışa aktarır.
   Specify CPFS Subdirectory	Dışa aktarma görevinin kapsamını belirtir. İki mod desteklenir: Bu CPFS dizini altındaki tüm dosyaları dışa aktar: Belirtilen alt dizin altındaki tüm dosyaları dışa aktarır. Eğik çizgi (/) ile başlayıp biten, CPFS dizini içindeki göreli bir yol girin. Örneğin, /cpfs/. Bir CSV dosyasında listelenen tüm dosyaları dışa aktar: Yalnızca bir CSV dosyasında listelenen dosyaları dışa aktarır. Bu modu seçtikten sonra, CSV dosyasının depolandığı OSS paketi dizini olan CSV dosya listesi konumunu yapılandırın. Dışa aktarma senaryosunda CSV dosyasının da OSS'te depolandığını unutmayın. Yol kuralları içe aktarma modundakilerle aynıdır. CSV dosya listesinin biçim gereksinimleri ve bir örneği için bkz. CSV dosya listesi biçimi.

9. OK seçeneğine tıklayın.

Görev iptal etme

Çalışan bir veri akışı görevini iptal edebilirsiniz.

1. Dataflow sekmesinde hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

2. Task Management panelinde hedef görevi bulun ve İşlemler sütunundaki Cancel seçeneğine tıklayın.

3. Görüntülenen onay mesajında Tamam seçeneğine tıklayın.

Görev kopyalama

Bir görevi yeniden çalıştırmak için kopyalayabilirsiniz.

1. Dataflow sekmesinde hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

2. Task Management panelinde hedef görevi bulun. Ardından, İşlemler sütunundaki simgesine tıklayın ve Copy seçeneğini belirleyin.

3. Görüntülenen onay mesajında Tamam seçeneğine tıklayın.

CSV dosya listesi biçimi

CSV dosya listesi modunda veri içe aktarırken her CSV dosyası aşağıdaki biçim gereksinimlerini karşılamalıdır:

1. Dosya, her dosya veya dizinin göreli yolunu belirten bir Name (Ad) sütunu (büyük/küçük harfe duyarlı değil) içermelidir. Görev bölme performansını artırmak için Byte cinsinden bir Size (Boyut) sütunu da eklemenizi öneririz. Aksi takdirde sistem, her dosyanın boyutunu almak için bir stat isteği gönderir.

2. Dosya adı uzantısı .csv veya .csv.* olmalıdır. Diğer uzantılara sahip dosyalar yoksayılır.

3. CSV dosyalarını oss://bucket/<oss_prefix>/<csv_file_dir>/ konumunda depolayın. Sistem yalnızca bu dizinin doğrudan altındaki dosyaları okur ve alt dizinleri dolaşmaz.

4. Bir görev birden çok CSV dosyası kullanıyorsa tümünü aynı dizinde depolayın.

CSV dosyası örneği

Eğik çizgi (/) ile biten bir yol dizini, aksi takdirde dosyayı gösterir. Name sütunu zorunludur ve ilk satırdaki başlık satırı mevcut olmalıdır. Aksi takdirde görev bir hata döndürür.

Name,Size
/dir1/dir2/,0
/dir1/file1,1048576
/dir2/file,2097152

Görev hatasının nedenini görüntüleme

Bir veri akışı görevi başarısız olduğunda sistem hatanın nedenini görüntüler veya bir hata raporu oluşturur. Sorunu gidermek için konsoldan nedeni görüntüleyebilir veya raporu indirebilirsiniz.

1. Dataflow sekmesinde hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

2. Task Management panelinde hedef görevi bulun. Failed durumunun yanındaki simgenin üzerine gelerek nedeni görüntüleyin veya hata raporunu indirin.

   Not

   Hata nedeni görüntülenmiyorsa, rapor yoksa veya rapora göre sorunu çözemezseniz yardım almak için .

Görev yapılandırmasını ve durumunu görüntüleme

Bir toplu iş görevinin yapılandırmasını ve durumunu konsolda görüntüleyebilirsiniz. Bir akış görevi için bu ayrıntıları görüntülemek üzere DescribeDataFlowTasks API işlemini çağırın.

1. Dataflow sekmesinde hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

2. Task Management panelinde görevin yapılandırmasını ve çalışma durumunu görüntüleyin.

   Parametre	Açıklama
   Görev Kimliği	Veri akışı görevinin benzersiz tanımlayıcısı.
   Tür	Görevin türü. Geçerli değerler: İçe Aktar veya Dışa Aktar.
   Çakışma çözümleme ilkesi	Hedef dosya sisteminde zaten var olan aynı ada sahip verilerin işlenmesine yönelik ilke. Geçerli değerler: Skip Files with the Same Name (Default) Keep the Latest File Overwrite Files with the Same Name
   Kaynak adresi	Veri aktarımı için kaynak, hedef ve belirli alt dizin yolları.
   Hedef adresi
   Kaynak dizini
   Kaynakta taranan toplam veri	Kaynakta taranan veri miktarı (bayt cinsinden).
   Eşitlenen veri	Atlanan veriler dahil olmak üzere eşitlenen veri miktarı (bayt cinsinden).
   Aktarılan veri	Görev tarafından fiilen aktarılan veri miktarı (bayt cinsinden).
   Ortalama hız	Veri akışı görevinin ortalama aktarım hızı. Birim: B/s.
   Kalan süre	Mevcut aktarım hızına göre görevin tamamlanmasına kadar tahmini kalan süre.
   Zaman aralığı	Görevin başlangıç ve bitiş zamanları.
   İlerleme	Geçerli görevin yürütme ilerlemesi. Birim: %.
   Durum	Görevin geçerli durumu. Geçerli değerler: Beklemede: Veri akışı görevi oluşturuldu ve sırada bekliyor. Çalışıyor: Veri akışı görevi devam ediyor. Başarısız: Veri akışı görevi başarısız oldu. İptal Edildi: Veri akışı görevi iptal edildi ve tamamlanmadı. İptal Ediliyor: Veri akışı görevi iptal ediliyor. Tamamlandı: Veri akışı görevi tamamlandı.
   Dosya listesi yolu	CSV dosya listesini depolayan OSS paketi dizini. Bu alan yalnızca CSV dosya listesi modunu kullanan görevler için görüntülenir. Diğer görevler için bu alan boştur.

Görev raporlarını görüntüleme

Bir veri akışı görevi tamamlandığında sonuçlara bağlı olarak sistem bir Atlanan Dosya Raporu, Başarısız Dosya Raporu veya Başarılı Dosya Raporu oluşturur. Dosyalar hakkında ayrıntılı bilgileri görüntülemek için raporu konsoldan indirebilirsiniz.

1. Dataflow sekmesinde hedef veri akışını bulun ve İşlemler sütunundaki Task Management seçeneğine tıklayın.

2. Task Management panelinde hedef görevi bulun ve İşlemler sütunundaki Download Task Report seçeneğine tıklayın.

3. İndirmek istediğiniz raporu bulun ve simgesine tıklayın.

Görev performansını görüntüleme veya uyarı kuralları yapılandırma

Görev performans ölçümlerini görüntülemek veya uyarı kuralları yapılandırmak için 2.6.0 veya sonraki bir sürüme sahip bir CPFS for Lingjun dosya sistemi kullandığınızdan ve bir veri akışı görevi oluşturduğunuzdan emin olun.

• Okuma/yazma aktarım hızı, okuma/yazma IOPS ve meta veri QPS gibi veri akışı içe aktarma veya dışa aktarma görevleri için temel performans ölçümlerini görüntülemek üzere bkz. CPFS performans ölçümlerini görüntüleme.

• Ölçüm istisnalarını zamanında tespit edip işlemek için veri akışı görevlerinin belirli izleme ölçümlerine yönelik uyarı kuralları yapılandırmak üzere bkz. Temel uyarı kuralı yapılandırma.