Create and manage datasets - PAI - Platform For AI - Alibaba Cloud Dokümantasyon Merkezi

Veri kümesine genel bakış

PAI iki tür veri kümesini destekler: temel veri kümeleri ve etiketli veri kümeleri. Temel veri kümeleri, modellerin ön eğitimi için kullanılan ham ve etiketlenmemiş veriler içerir. Etiketli veri kümeleri ise ince ayar ve değerlendirme amacıyla manuel olarak ek açıklamalı veriler içerir.

Öğe	Temel veri kümesi	Etiketli veri kümesi
Tanım	Ham, etiketlenmemiş veriler.	Manuel olarak etiket eklenmiş veriler.
Veri işleme	Veri temizleme, yinelenenleri kaldırma ve daha fazlası.	Veri etiketleme, doğrulama ve daha fazlası.
Kullanım senaryoları	Denetimsiz öğrenme Genel özellikleri yakalamak için modelleri ön eğitin.	Denetimli öğrenme ve model değerlendirme Belirli görevlerde performansı artırmak için modellerde ince ayar yapın.

Veri Kümeleri sayfasına erişme

PAI konsolu üzerinde oturum açın.
Sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde, Workspaces öğesini tıklayın ve ardından hedef çalışma alanının adını tıklayın.
Sol gezinme bölmesinde, AI Computing Asset Management > Dataset seçeneklerini seçin.

Temel veri kümesi oluşturma

Custom Dataset sekmesinde, Create Dataset öğesini tıklayın ve Data Type için Basic seçeneğini belirleyin. Desteklenen Storage seçenekleri arasında Object Storage Service (OSS) ve dosya sistemleri (General-purpose NAS, Extreme NAS, CPFS ve AI-CPFS) yer alır.

Depolama türü: OSS

Parametre	Açıklama
Content Type	Veri türünü seçin: Görüntü, Metin, Ses, Video, Tablo veya Genel. Belirli bir tür seçmek, etiketleme senaryolarında veri kümelerini filtrelemenize yardımcı olur.
Owner	Veri kümesi sahibi. Bu parametreyi yalnızca çalışma alanı yöneticileri yapılandırabilir.
Import Format/OSS Path	İçe aktarma biçimi dosya olarak seçildiğinde, OSS yolu için bir dosya seçin. Veri kümesi bu dosyayla eşlenir. Genellikle iTAG veri kümeleri için kullanılır. İçe aktarma biçimi klasör olarak seçildiğinde, OSS yolu bağlanabilir bir klasör yolu olmalıdır. Genellikle DSW, DLC veya EAS için kullanılır.
Default Mount Path	Veriler için varsayılan bağlama yolu; genellikle DSW ve DLC'de kullanılır: DSW'de, bir örnek oluştururken dosya sistemi bu yola bağlanır. DLC'de sistem dosyaları bu dizinden okur. Örneğin, `python /root/data/file.py`.
Enable Version Acceleration	Import Format parametresi Klasör olarak ayarlandığında, veri kümesi sürümü hızlandırmayı etkinleştirebilirsiniz. Temel parametreler: Maksimum Kapasite: Hızlandırma yuvası kapasitesi; veri kümesi boyutuna eşit veya ondan büyük olmalıdır. Hızlandırılmış Bağlama Hedefi: Varsayılan olarak dahili bir bağlama hedefi kullanır. Mevcut bir hedefi seçebilir veya yeni bir hedef oluşturabilirsiniz. Not Lingjun Akıllı Bilişim Kaynaklarını kullanırken, Create Mount Target için Accelerated Mount Target seçeneğini belirlediyseniz, Mount Target Type için VPC seçeneğini belirleyin. VPC ve vSwitch, Lingjun Akıllı Bilişim Kaynaklarınızınkilerle aynı olmalıdır. Hızlandırılmış Sürüm Varsayılan Bağlama Yolu: Hızlandırılmış sürüm için varsayılan bağlama yolu.

Depolama türü: dosya sistemi

Parametre	Açıklama
Content Type	Veri türünü seçin: Görüntü, Metin, Ses, Video, Tablo veya Genel. Belirli bir tür seçmek, etiketleme senaryolarında veri kümelerini filtrelemenize yardımcı olur.
Owner	Veri kümesi sahibi. Bu parametreyi yalnızca çalışma alanı yöneticileri yapılandırabilir.
File System	Seçilen Storage ile eşleşen bir dosya sistemi seçin.
Mount Target	NAS dosya sistemine erişmek için bir bağlama hedefi belirtin.
File System Path	NAS dosya sisteminde mevcut bir depolama yolu belirtin. Örneğin, `/`.
Default Mount Path	Veriler için varsayılan bağlama yolu; genellikle DSW ve DLC'de kullanılır: DSW'de, bir örnek oluştururken dosya sistemi bu yola bağlanır. DLC'de sistem dosyaları bu dizinden okur. Örneğin, `python /root/data/file.py`.
Enable Version Acceleration	Storage General-purpose NAS, Extreme NAS veya CPFS olduğunda, veri kümesi sürümü hızlandırmayı etkinleştirebilirsiniz. Temel parametreler: Maksimum Kapasite: Hızlandırma yuvası kapasitesi; veri kümesi boyutuna eşit veya ondan büyük olmalıdır. Hızlandırılmış Sürüm Varsayılan Bağlama Yolu: Hızlandırılmış sürüm için varsayılan bağlama yolu.

Temel veri kümesi sürümü oluşturma

Custom Dataset sekmesinde, hedef veri kümesi için Actions sütununda Create Version öğesini tıklayın.

Önemli notlar:

Veri kümesi adı, depolama türü ve veri türü V1'den devralınır ve değiştirilemez.
Sürüm numarası otomatik olarak oluşturulur ve değiştirilemez.
Diğer parametreler, Temel veri kümesi oluşturma bölümündekilerle aynıdır.

Genel veri kümelerini görüntüleme

PAI, MMLU, CMMLU ve GSM8K gibi yerleşik genel veri kümeleri sağlar. Public Dataset sekmesinde, ayrıntıları görüntülemek için bir veri kümesi adını tıklayın.

Her veri kümesi Dataset Name/ID, Type, Task, Language, Size, Data Volume ve Publisher bilgilerini gösterir.

Veri kümelerini yönetme

Özel veri kümeleri için sürüm geçmişini görüntüleyebilir, yeni bir sürüm oluşturabilir, veri kümesini genel hale getirebilir veya silebilirsiniz. Etiketli veri kümeleri için verileri görüntüleyebilir, veri kümesini genel hale getirebilir veya silebilirsiniz.

Önemli notlar:

Bir veri kümesinin Visibility ayarı Visible Only to the Dataset Owner olarak belirlenmişse, tüm çalışma alanı üyeleriyle paylaşmak için Set Dataset to Public öğesini tıklayabilirsiniz. Bir veri kümesi genel hale getirildikten sonra bu işlem geri alınamaz. Lütfen dikkatli olun.
Bir RAM kullanıcısı veri kümesi verilerini görüntülerken erişim reddedildi hatasıyla karşılaşırsa, RAM kullanıcısına gerekli izinleri verin.
Bir veri kümesinin silinmesi, buna bağlı çalışan görevleri etkileyebilir. Bu işlem geri alınamaz. Lütfen dikkatli olun.