Platform For AI:Eğitim işi ayrıntılarını görüntüleyin

İş temel bilgilerini ve yapılandırmasını görüntüleyin

1. PAI konsolu üzerinde oturum açın, sayfanın üst kısmından bölgeyi seçin, sağ taraftan çalışma alanını belirleyin ve ardından Enter DLC seçeneğine tıklayın.

2. İşin genel bakış sayfasına gitmek için iş adına tıklayın.

3. Overview sayfasında işin temel bilgilerini, ortam bilgilerini ve kaynak bilgilerini görüntüleyebilirsiniz.

   Genel bakış sayfasının üst kısmında iş durumu (örneğin Succeeded), geçen süre, hesaplama türü (örneğin General Compute), iş türü (örneğin PyTorchJob) ve kaynak grubu yer alır. Ayrıca iş oluşturma, ortam hazırlama, iş çalıştırma ve işin başarılı olması aşamalarını kapsayan bir zaman çizelgesi bulunur. Temel bilgiler arasında iş adı, iş ID'si ve etiketler yer alır. Kaynak bilgileri kaynak türünü, worker sayısını ve örnek türünü (örneğin ecs.gn7i-c8g1.2xlarge) içerir. Ortam bilgileri düğüm görüntüsü URL'sini, veri kümesi bağlama yapılandırmasını ve yürütme komutunu kapsar. Sayfada ayrıca Fault Tolerance and Diagnostics (otomatik hata toleransı, sağlık kontrolü anahtarı), Network Information (VPC, güvenlik grubu, vSwitch vb.) ve Roles and Permissions (örnek RAM rolü, görünürlük kapsamı) gibi yapılandırma bölümleri bulunur.

4. İş değiştirme listesini genişletmek için sayfanın üst kısmındaki iş adına tıklayın. Liste, ada veya ID'ye göre bulanık aramayı destekler ve çalışan ile geçmiş örnekler arasında hızlıca geçiş yapmanıza olanak tanır.

İş olaylarını görüntüleyin

Olay günlükleri, iş zamanlaması ve kaynak tahsisi sürecindeki ilerlemeyi kaydeder. Sorunları bulmak ve gidermek amacıyla iş olaylarını görüntüleyebilirsiniz.

• İş olayı günlüklerini görüntülemek için Event sekmesine tıklayın.

  Events sekmesinin sol tarafında Başlatma oluşturma, Ortam hazırlama, Çalıştırmayı başlat ve İş başarılı gibi aşama düğümlerini ve ilgili zaman aralıklarını gösteren bir olay zaman çizelgesi bulunur. Sağ tarafta ise Job queued, Job dequeued, Pod created, Service created, Scheduling succeeded, Running ve Succeeded dahil olmak üzere PyTorchJob yaşam döngüsü olaylarının ayrıntılarını kaydeden bir olay günlüğü paneli yer alır.

• Instance sayfasının alt kısmındaki Overview alanında, örnek Log sütunundaki Actions seçeneğine tıklayarak System Log sekmesinde belirli düğüm olayı günlüklerini görüntüleyin.

  Sistem günlükleri; durum geçişleri (ResourcePurchasing → NetworkInitializing → Initializing → ImagePulling → WaitingForRun → Running → Succeeded), görüntü çekme kayıtları ve konteyner oluşturma ile başlatma gibi düğüm olayları dahil olmak üzere Pod'un tüm yaşam döngüsü olaylarını kaydeder.

Kaynak görünümlerini görüntüleyin

Kaynak görünümü; GPU kullanımı, GPU bellek kullanımı, CPU kullanımı, bellek kullanımı ve ağ G/Ç gibi ölçümler sağlar. Bu sayede kaynak kullanımını gerçek zamanlı olarak izleyebilir ve kaynak tahsisini optimize edebilirsiniz.

İş kaynak görünümünü görüntülemek için Monitoring sekmesine tıklayın.

Kaynak kotaları kullanılarak oluşturulan eğitim işleri için aşağıdaki izleme özellikleri de desteklenir:

1. İzleme ölçümleri Job, Pod ve GPU düzeylerinde kullanılabilir.

   İzleme sayfasının üst kısmında Job creation, Queued, Environment preparation, Job running ve Job success gibi aşamaları ve her aşamanın süresini içeren iş yaşam döngüsü zaman çizelgesi yer alır. Sayfanın alt bölümünde ilgili izleme ölçümlerini görüntülemek üzere Job, Pod ve GPU sekmeleri arasında geçiş yapabilirsiniz. GPU sekmesi GPU hesaplama kullanımı ve GPU bellek kullanımı için çizgi grafikler gösterir.

2. Zamana ve ölçüme göre filtreleme uygulayabilir, ölçümleri kategorize edebilirsiniz. Ölçüm görünümünü özelleştirmek için More seçeneğine tıklayın: Gerekli ölçümleri seçin ve temel izleme ölçümlerine odaklanmak için görüntüleme sırasını ayarlamak üzere bunları sürükleyin.

   Kullanılabilir GPU izleme ölçümleri arasında GPU compute usage, Total GPU memory, GPU memory usage, GPU memory usage amount, GPU memory device interface usage, GPU memory bandwidth usage, GPU SM device usage, GPU device power consumption ve GPU temperature bulunur. Gerekli ölçümleri seçtikten sonra, bunları sağ taraftaki Metric Sort alanında sürükleyerek görüntüleme sırasını ayarlayın ve yapılandırmayı tamamlamak için OK seçeneğine tıklayın.

3. DLC işleri, gerçek zamanlı kaynak kullanımını izlemek için izleme uyarılarını da destekler. Daha fazla bilgi için bkz. Eğitim izleme ve uyarıları.

İş günlüklerini görüntüleyin

Bir iş başarısız olduğunda veya iş yürütme geçmişini görüntülemeniz gerektiğinde aşağıdaki iki yöntemi kullanarak iş günlüklerini görüntüleyebilirsiniz:

• Instance sayfasının alt kısmındaki Overview alanında, bir düğümün çıkış günlüklerini görüntülemek için örnek Log sütunundaki Actions seçeneğine tıklayın.

• Anahtar sözcüklere göre ilgili günlük olaylarını aramak için Log sekmesine tıklayın. Daha fazla bilgi için bkz. Anahtar sözcüklere göre birleştirilmiş günlükleri sorgulama. Aşağıda sorgu sözdizimine ilişkin kısa bir kılavuz sunulmaktadır:

  - Simple query: error, matches logs that contain "error"
  - Multi-word query: "Unexpected result", matches both words "Unexpected" and "result"
  - Fuzzy query: error*, matches words that start with "error"; special characters are not supported
  - Phrase query: #"abc$def", matches the exact phrase "abc$def"
  Delimiters: Logs are split by delimiters. Delimiters in keywords are treated as empty characters. If a keyword contains a delimiter, use a phrase query instead. Common delimiters: \n\t\r,;[]{}()&^*#@~=<>/\?:'"
  Note:
  The characters ( and ) in search terms are automatically replaced with spaces. Avoid using these characters in search terms.

  Günlük sayfasının sol tarafında örnek listesi, sağ tarafında ise ilgili örneğin kullanıcı günlükleri görüntülenir. Örnekte, eğitim günlüğü Epoch 16'dan Epoch 18'e kadar olan doğrulama sonuçlarını gösterir ve son çıktıda yer alan Model saved with accuracy: 98.96% ifadesi model eğitiminin başarıyla tamamlandığını belirtir.

Boş kullanıcı günlüklerini giderme

User logs, kullanıcı betiklerinin stdout ve stderr çıktılarından oluşturulur. User logs boş ancak System Log normal durumu gösteriyorsa sorunu aşağıdaki sırayla giderin:

1. Stdout çıktısını kontrol edin: Test içeriği çıktısı almak için iş başlatma komutuna bir echo veya Python print ifadesi ekleyin. Test çıktısı user logs içinde görünüyorsa orijinal iş stdout/stderr çıktısını özel bir konuma yönlendirmiş demektir. Çıktıyı bunun yerine stdout veya stderr'a yönlendirin.

2. Güvenlik grubu giden kurallarını kontrol edin: DLC işiyle ilişkili güvenlik grubunun giden kuralları, Log Service (SLS) dahili CIDR bloğu 100.64.0.0/10 için TCP bağlantı noktaları 80 ve 443 üzerinden erişime izin vermelidir. Giden kurallar bu CIDR bloğunu engelliyorsa kullanıcı günlükleri PAI'ye raporlanamaz ve sayfada user logs boş görünür.

3. İş süresini kontrol edin: Çalışma süresi çok kısa olan (örneğin 2 saniyeden az) işlerde SLS günlük toplama işlemini henüz tamamlamadığından user logs boş olabilir. Bir test işi gönderirken günlükleri görüntülemeden önce en az 30 saniye beklemenizi öneririz.

Davranış olayı günlüklerini görüntüleyin

PAI, ActionTrail ile entegre çalışır. Alibaba Cloud hesabınız için son 90 güne ait DLC davranış olayı günlüklerini ActionTrail üzerinden görüntüleyebilir ve sorgulayabilirsiniz. Daha fazla bilgi için bkz. ActionTrail.

İş yeniden başlatma kayıtlarını görüntüleyin

İşi oluştururken Auto fault tolerance veya Health check (kara liste ve yeniden çalıştırma) özelliğini etkinleştirdiyseniz yeniden başlatma kayıtları sayfasına gitmek ve yeniden başlatma sayısı, zamanı, nedeni, sonucu ve süresi dahil olmak üzere yeniden başlatma ayrıntılarını görüntülemek için Restart count seçeneğine tıklayabilirsiniz. Aşağıdaki işlemleri gerçekleştirin:

• Yeniden başlatma kayıtları listesinde, yeniden başlatma sayısı, yeniden başlatma zamanı, düğüm adı, örnek adı, hata kodu, hata mesajı ve hata kaynağı dahil olmak üzere yeniden başlatma ayrıntılarını görüntülemek için Error details seçeneğine tıklayın.

• Tüm yeniden başlatma kayıtlarının ayrıntılı listesini genişletmek için View aggregated error details seçeneğine tıklayın.

İlgili belgeler

İş durumuna bağlı olarak yönetim işlemleri gerçekleştirebilirsiniz. Daha fazla bilgi için bkz. Eğitim işlerini yönetme.