PAI (Platform for AI), DLC, DSW ve EAS ortamlarında CPFS AI Edition'ı bağlamayı destekler. Bu sayede veriler, kodlar ve modeller için tek kopyalı depolama ile çok noktalı erişim sağlanır; tüm aşamalarda yollar tutarlı kalır, gereksiz kopyalar veya kod değişiklikleri gerekmez.
Ön Koşullar
-
CPFS AI Edition iki erişim kanalı sunar: VSC ve VPC. VSC kanalı RDMA protokolünü kullanır ve dosya sisteminin maksimum performansından tam olarak yararlanabilir. VPC kanalı TCP protokolünü kullanır; her dosya sistemi için varsayılan okuma bant genişliği 10 GB/s, yazma bant genişliği ise 5 GB/s'tir. Her iki kanalın eksiksiz performans teknik özellikleri için Ürün teknik özellikleri bölümüne bakın. Kullandığınız kaynak türüne göre ilgili ağ yapılandırmasını tamamlayın. Kaynak türleriyle ilgili ayrıntılar için PAI kaynaklarına genel bakış konusuna göz atın.
Lingjun AI hesaplama kaynakları: Öncelikle Lingjun kaynaklarının ve CPFS'in aynı hesaplama-depolama yakınlık alanında olup olmadığını belirleyin (aşağıdaki talimatlara bakın). Aynı yakınlık alanında olduklarında ek yapılandırmaya gerek kalmadan VSC kanalı kullanılır. Farklı yakınlık alanlarında iseler VPC kanalı kullanılır ve CPFS dosya sistemi için bir VPC bağlama noktası oluşturmanız gerekir.
Genel amaçlı hesaplama kaynakları: VPC kanalı kullanılır. CPFS dosya sistemi için bir VPC bağlama noktası oluşturmanız gerekir. Ayrıca DLC/DSW/EAS görevinin kullandığı VPC, VPC bağlama noktasıyla aynı VPC olmalı veya VPC'ler Cloud Enterprise Network (CEN) üzerinden birbirine bağlı olmalıdır.
Lingjun ve CPFS'in aynı hesaplama-depolama yakınlık alanında olup olmadığını nasıl belirlersiniz?
Hedef CPFS dosya sistemi kimliğini parametre olarak geçirerek DescribeFilesystemsAssociatedHpnZones API çağrısını yapın ve dosya sistemiyle aynı hesaplama-depolama yakınlık alanını paylaşan Lingjun HPNZone listesini alın.
Kullanmayı planladığınız Lingjun kaynaklarının HPNZone değerini Lingjun OpenAPI veya PAI console aracılığıyla sorgulayın.
Lingjun HPNZone değeri listedeki bir girişle eşleşiyorsa kaynaklar aynı hesaplama-depolama yakınlık alanındadır. Eşleşmiyorsa farklı yakınlık alanlarındadırlar.
Her zaman API yanıtını yetkili sonuç olarak kabul edin. Yalnızca kullanılabilirlik alanı veya HPNZone değerlerinin aynı olup olmadığına dayanarak karar vermeyin. Aynı küme numarasına sahip hesaplama ve depolama kaynakları aynı hesaplama-depolama yakınlık alanına aittir. Farklı küme numaralarına sahip kaynaklar yine de aynı yakınlık alanında olabilir. Ancak farklı kullanılabilirlik alanlarında bulunan Lingjun ve CPFS kaynakları asla aynı hesaplama-depolama yakınlık alanında yer almaz.
DLC'de CPFS Bağlama
Bir DLC eğitim görevi oluştururken doğrudan bağlama veya veri kümesi bağlama yoluyla CPFS depolamasını yapılandırabilirsiniz. DLC eğitim görevi yapılandırmasının tamamı için Eğitim işi oluşturma konusuna bakın.
Kaynak kotası genel amaçlı hesaplama kaynakları ise bir VPC yapılandırmanız gerekir ve seçilen VPC, CPFS bağlama noktasının VPC'si ile aynı olmalıdır. CPFS AI Edition dosya sistemi için henüz bir VPC yapılandırılmadıysa VPC bağlama noktalarını yönetme adımlarıyla yapılandırmayı tamamlayın.
Lingjun kaynakları kullanılıyorsa ve çapraz-yakınlık-alanı erişimi söz konusuysa sistem otomatik olarak VPC erişim kanalına geçer. Bu durumda da CPFS dosya sistemi için bir VPC bağlama noktası oluşturmanız gerekir.
Tek seferlik parametre ayarlama işlemleri için Direct Mount kullanın. Ekip iş birliği veya sık görev oluşturma durumlarında Dataset Mount tercih edin.
Direct Mount
PAI console üzerinde oturum açın ve hedef çalışma alanına gidin.
Sol gezinme bölmesinde Distributed Training (DLC) seçeneğine tıklayın ve Create Task butonuna tıklayın.
Environment Information bölümünde, Storage Mount altında CPFS for AI seçeneğine tıklayın.
-
Aşağıdaki bağlama parametrelerini yapılandırın:
Parameter
Description
File System
Oluşturduğunuz CPFS AI Edition dosya sistemi örneğini seçin.
File System Mount Point
(İsteğe bağlı) CPFS dosya sisteminin VPC bağlama noktası alan adını seçin. Bu alan yalnızca hesaplama kaynakları ile CPFS dosya sistemi aynı hesaplama-depolama yakınlık alanında olmadığında gereklidir. Aynı yakınlık alanında iseler erişim doğrudan VSC kanalı üzerinden sağlanır ve bu alanı doldurmanıza gerek yoktur.
Hesaplama-depolama yakınlık alanının nasıl belirleneceği hakkında bilgi için Ön Koşullar bölümüne bakın.
File System Path
Bağlanacak CPFS dizinini belirtin.
/tüm dosya sistemini bağlar. Alt dizin de belirtebilirsiniz.Mount Path
CPFS'e erişmek için hizmet örneği içindeki yol; örneğin
/mnt/data/.Read-only
Bağlanan dizin için okuma/yazma izinlerini ayarlayın.
Diğer yapılandırmaları tamamladıktan sonra görevi gönderin.
Dataset Mount
Depolama yapılandırmalarını yeniden kullanmak için veri kümesi bağlama yöntemini kullanabilirsiniz. İlk adım olarak bir CPFS AI Edition veri kümesi oluşturun.
PAI console üzerinde oturum açın ve hedef çalışma alanına gidin.
Sol gezinme bölmesinde Distributed Training (DLC) seçeneğine tıklayın ve Create Task butonuna tıklayın.
Dataset Mount bölümünde Custom Dataset seçeneğine tıklayın.
File Storage - CPFS for AI sekmesine geçin, oluşturduğunuz veri kümesini seçin ve OK butonuna tıklayın.
Bağlama yolunu onaylayın ve ihtiyaca göre Read-only ayarını yapın.
Diğer yapılandırmaları tamamladıktan sonra görevi gönderin.
DSW'de CPFS Bağlama
Bir DSW örneği oluştururken doğrudan bağlama veya veri kümesi bağlama yoluyla CPFS depolamasını yapılandırabilirsiniz. DSW örneği yapılandırmasının tamamı için DSW örneği oluşturma konusuna bakın.
Kaynak kotası genel amaçlı hesaplama kaynakları ise bir VPC yapılandırmanız gerekir ve seçilen VPC, CPFS bağlama noktasının VPC'si ile aynı olmalıdır. CPFS AI Edition dosya sistemi için henüz bir VPC yapılandırılmadıysa VPC bağlama noktalarını yönetme adımlarıyla yapılandırmayı tamamlayın.
Lingjun kaynakları kullanılıyorsa ve çapraz-yakınlık-alanı erişimi söz konusuysa sistem otomatik olarak VPC erişim kanalına geçer. Bu durumda da CPFS dosya sistemi için bir VPC bağlama noktası oluşturmanız gerekir.
Tek seferlik parametre ayarlama işlemleri için Direct Mount kullanın. Ekip iş birliği veya sık örnek oluşturma durumlarında Dataset Mount tercih edin.
Direct Mount
PAI console üzerinde oturum açın ve hedef çalışma alanına gidin.
Sol gezinme bölmesinde Interactive Modeling (DSW) seçeneğine tıklayın ve Create Instance butonuna tıklayın.
Environment Information bölümünde, Storage Mount altında CPFS for AI seçeneğine tıklayın.
-
Bağlama parametrelerini yapılandırın:
Parameter
Description
File System
Oluşturduğunuz CPFS AI Edition dosya sistemi örneğini seçin.
File System Mount Point
(İsteğe bağlı) CPFS dosya sisteminin VPC bağlama noktası alan adını seçin. Bu alan yalnızca hesaplama kaynakları ile CPFS dosya sistemi aynı hesaplama-depolama yakınlık alanında olmadığında gereklidir. Aynı yakınlık alanında iseler erişim doğrudan VSC kanalı üzerinden sağlanır ve bu alanı doldurmanıza gerek yoktur.
Hesaplama-depolama yakınlık alanının nasıl belirleneceği hakkında bilgi için Ön Koşullar bölümüne bakın.
File System Path
Bağlanacak CPFS dizinini belirtin.
/tüm dosya sistemini bağlar. Alt dizin de belirtebilirsiniz.Mount Path
CPFS'e erişmek için hizmet örneği içindeki yol; örneğin
/mnt/data/Read-only
Bağlanan dizin için okuma/yazma izinlerini ayarlayın.
Diğer yapılandırmaları tamamladıktan sonra örneği oluşturun.
Dataset Mount
Veri kümeleri, birden fazla görevde yeniden kullanılmak üzere depolama yapılandırmalarını kaydeder. İlk adım olarak bir CPFS AI Edition veri kümesi oluşturun.
PAI console üzerinde oturum açın ve hedef çalışma alanına gidin.
Sol gezinme bölmesinde Interactive Modeling (DSW) seçeneğine tıklayın ve Create Instance butonuna tıklayın.
Dataset Mount bölümünde Custom Dataset seçeneğine tıklayın.
File Storage - CPFS for AI sekmesine geçin, oluşturduğunuz veri kümesini seçin ve OK butonuna tıklayın.
Diğer yapılandırmaları tamamladıktan sonra örneği oluşturun.
EAS'te CPFS Bağlama
Bir EAS hizmeti dağıtırken doğrudan bağlama yoluyla CPFS depolamasını yapılandırabilirsiniz. EAS hizmeti yapılandırmasının tamamı için Özel dağıtım konusuna bakın.
EAS yalnızca doğrudan bağlamayı destekler, veri kümesi bağlamayı desteklemez. Kaynak kotası genel amaçlı hesaplama kaynakları olarak ayarlandıysa bir VPC yapılandırmanız gerekir ve seçilen VPC, CPFS bağlama noktasının VPC'si ile aynı olmalıdır. CPFS AI Edition dosya sistemi için henüz bir VPC yapılandırılmadıysa öncelikle VPC bağlama noktalarını yönetin.
Lingjun kaynakları kullanılıyorsa ve çapraz-yakınlık-alanı erişimi söz konusuysa sistem otomatik olarak VPC erişim kanalına geçer. Bu durumda da CPFS dosya sistemi için bir VPC bağlama noktası oluşturmanız gerekir.
PAI console üzerinde oturum açın ve hedef çalışma alanına gidin.
Sol gezinme bölmesinde Elastic Algorithm Service (EAS) seçeneğine tıklayın ve Inference Service sekmesini seçin.
Deploy Service > Custom Deployment seçeneklerine tıklayın.
Environment Information bölümünde, Storage Mount altında CPFS for AI seçeneğine tıklayın.
-
Aşağıdaki bağlama parametrelerini yapılandırın:
Parameter
Description
Storage Permission Resource Group
Depolama izni kaynak grubunu seçin.
File System
Oluşturduğunuz CPFS AI Edition dosya sistemi örneğini seçin.
File System Path
Bağlanacak CPFS dizinini belirtin./tüm dosya sistemini bağlar. Alt dizin de belirtebilirsiniz.
Mount Path
CPFS'e erişmek için hizmet örneği içindeki yol; örneğin/mnt/data/.
Read-only
Bağlanan dizin için okuma/yazma izinlerini ayarlayın. Diğer yapılandırmaları tamamladıktan sonra hizmeti dağıtın.
CPFS AI Edition veri kümesi oluşturma
Veri kümesi; dosya sistemi, dizin yolu, bağlama yolu ve diğer bilgileri kaydeden bir depolama yapılandırması şablonudur. Oluşturulduktan sonra birden fazla DLC/DSW görevi tarafından yeniden kullanılabilir ve tekrarlayan yapılandırmalara gerek kalmaz.
EAS, veri kümesi bağlamayı desteklemez.
PAI console üzerinde oturum açın, hedef çalışma alanına gidin ve AI Asset Management > Datasets seçeneklerini seçin.
-
Custom Datasets sekmesinde Create Dataset butonuna tıklayın ve aşağıdaki parametreleri yapılandırın:
Section
Parameter
Description
Dataset Configuration
Name
Veri kümesi adı.
Dataset Type
Basic seçeneğini seçin.
Storage Type
File Storage (CPFS for AI) seçeneğini seçin.
Content Type
Veri türünü seçin: Image, Text, Audio, Video, Table veya General.
Version Configuration
Storage Permission Resource Group
Hedef CPFS dosya sistemine erişim izinlerine sahip olan kaynak grubunu seçin.
File System
Oluşturduğunuz CPFS AI Edition dosya sistemi örneğini seçin.
File System Path
CPFS içindeki dizini belirtin.
/tüm dosya sistemini bağlar./datasets/traingibi bir alt dizin de belirtebilirsiniz.Default Mount Path
CPFS'e erişmek için hizmet örneği içindeki yol; örneğin
/mnt/data/. Confirm butonuna tıklayın.