LogView V2.0 ile iş bilgilerini görüntüleme - MaxCompute

Bu konu, LogView V2.0'ın (bundan sonra LogView olarak anılacaktır) özelliklerini ve kullanımını açıklar. İş bilgilerini görüntülemek için LogView URL'sine erişebilirsiniz.

Genel bakış

LogView, MaxCompute işlerinin durumunu kaydeder ve görüntüler. LogView aşağıdaki özellikleri sunar:

İşleme mantıksal mimarisini gösteren etkileşimli bir yönlendirilmiş döngüsüz grafik (DAG) sunar. Bir işin operatörlerini de görüntüleyebilirsiniz.
İşin çalışma sürecini oynatmanıza olanak tanır.
Fuxi Sensor kullanarak bellek kullanımını ve CPU kullanımını görüntülemenize olanak tanır.

Giriş noktası

Bir MaxCompute işi gönderdiğinizde, https://logview.aliyun.com/logview ile başlayan bir URL otomatik olarak oluşturulur.

İşi MaxCompute istemcisini kullanarak gönderirseniz, LogView'a erişmek için URL'yi bir tarayıcının adres çubuğuna kopyalamanız gerekir.
İşi DataWorks kullanarak gönderirseniz, doğrudan LogView sayfasına gitmek için URL'ye tıklayabilirsiniz.

LogView sayfası üç bölüme ayrılır: üst kısımdaki başlık ve işlevsellik bölümü (1), sol taraftaki Basic Info paneli (2) ve sağ taraftaki iş ayrıntıları bölümü (3; Job Details, Result, SourceXML, SQL Script ve Summary sekmelerini, İlerleme Grafiği DAG diyagramını ve Fuxi Jobs listesini içerir).

No.	Bölüm
1	Başlık ve işlevsellik bölümü. Daha fazla bilgi için bkz. Başlık ve işlevsellik bölümü.
2	Basic Info bölümü. Daha fazla bilgi için bkz. Basic Info bölümü.
3	İş ayrıntıları bölümü. Daha fazla bilgi için bkz. İş ayrıntıları bölümü.

Başlık ve işlevsellik bölümü

Bu bölüm iş kimliğini ve iş adını gösterir. İş kimliği, bir MaxCompute işini benzersiz şekilde tanımlar. İş kimliği, işi gönderdiğinizde oluşturulur. İş adı yalnızca iş bir SDK kullanılarak gönderildiğinde görüntülenir. Ayrıca bu bölümün sağındaki simgelere tıklayarak işlem yapabilirsiniz.

Simge	Açıklama
	İş ayrıntılarını içeren Logview_detail.txt dosyasını açın. Dosya bilgisayarınıza kaydedilir.
	LogView V1.0 sayfasına dönün.
	İş ayrıntılarını bilgisayarınıza bir dosya olarak kaydedin.

Basic Info bölümü

Bu bölüm bir işle ilgili temel bilgileri gösterir.

Parametre	Açıklama
MaxCompute Hizmeti	İşin çalıştığı MaxCompute uç noktası. Uç noktalar hakkında daha fazla bilgi için bkz. Uç Noktalar.
Proje	İşin ait olduğu MaxCompute projesinin adı.
Cloud hesabı	İşi göndermek için kullanılan Alibaba Cloud hesabı.
Tür	İşin türü. Geçerli değerler: SQL, SQLRT, LOT, XLib, CUPID, AlgoTask ve Graph.
Durum	İşin durumu. Geçerli değerler: Success: İş başarılı oldu. Failed: İş başarısız oldu. Canceled: İş iptal edildi. Waiting: İş MaxCompute'te işleniyor ancak Job Scheduler'a gönderilmedi. Running: İş Job Scheduler'da işleniyor. Terminated: İş tamamlandı.
Başlangıç Zamanı	İşin gönderildiği zaman.
Bitiş Zamanı	İşin tamamlandığı zaman.
Gecikme süresi	İşin çalıştığı süre.
İlerleme	İşin ilerleme durumu.
Öncelik	İşin önceliği.
Kuyruk	Kaynak kota grubundaki kuyruktaki işin konumu.

İş ayrıntıları bölümü

İş ayrıntıları bölümünde bir işle ilgili ayrıntıları sorgulayabilirsiniz. Bu bölüm aşağıdaki sekmelerden oluşur:

Job details

İlerleme grafiği

Job Details sekmesinin üst kısmında ilerleme grafiği görüntülenir. Grafik, Fuxi job, Fuxi task ve operator olmak üzere üç katman arasında alt görev bağımlılıklarını görselleştirir. Ayrıca sorun giderme araçları da sağlar.

No.	Açıklama
1	Fuxi jobs arasında geçiş yapmak için kullanılan breadcrumb navigasyonu. JOB:_SQL_0_0_0_job_0 bir Fuxi job'un adıdır.
2	Sorunları gidermek için kullanılan araç. Sorun giderme amacıyla Progress Chart, Input Heat Chart, Output Heat Chart, TaskTime Heart Chart ve InstanceTime Heart Chart'ı kullanabilirsiniz.
3	İş durumunu yenilemek için simgesine, ilerleme grafiğini yakınlaştırmak veya uzaklaştırmak için simgesine tıklayabilirsiniz. Ayrıca MaxCompute Studio belgelerine ulaşmak için simgesine ve işin üst düzeyine geçmek için simgesine tıklayabilirsiniz.
4	Yakınlaştırma aracı.
5	Fuxi task. Bir MaxCompute işi bir veya daha fazla Fuxi job'dan oluşur. Her Fuxi job bir veya daha fazla Fuxi task'tan oluşur. Her Fuxi task bir veya daha fazla Fuxi instance'dan oluşur. Giriş verisi miktarı arttığında, MaxCompute verileri işlemek için her görev için daha fazla düğüm başlatır. Bir düğüm, bir Fuxi instance'a eşdeğerdir. Örneğin, basit bir MapReduce işi iki Fuxi task oluşturur: map task (M1) ve reduce task (R2). Bir SQL ifadesi karmaşıksa, birden çok Fuxi task oluşturulabilir. Her Fuxi task'ın adını yürütme sayfasında görüntüleyebilirsiniz. Örneğin, M1 bir map task'ı gösterir. R4_3_9 içindeki 3 ve 9 alanları, map task'ın yalnızca M3 ve C9_3 tamamlandıktan sonra çalıştırılabileceğini gösterir. Benzer şekilde, M2_4_9_10_16, M2 task'ının yalnızca R4_3_9, C9_3, R10_1_16 ve C16_1 tamamlandıktan sonra çalıştırılabileceğini gösterir. R/W, görevin okuduğu ve yazdığı satır sayısını gösterir. Bir görevi tıklayarak veya sağ tıklayarak görevin operatör bağımlılıklarını ve operatör grafiklerini görüntüleyebilirsiniz. Giriş ve çıkış tablolarını hızlıca görüntüleyebilirsiniz.
6	Fuxi task oynatma. Oynatmayı başlatmak veya durdurmak için simgesine tıklayabilirsiniz. Ayrıca ilerleme çubuğunu sürükleyebilirsiniz. Başlangıç ve bitiş zamanları ilerleme çubuğunun yanlarında görüntülenir. Oynatma süresi ortada görüntülenir.
7	Küçük resim.

Not

Oynatma özelliği Running durumunda olan Fuxi tasks için geçerli değildir.
Platform for AI (PAI) işi gibi bir AlgoTask işi yalnızca bir Fuxi task içerir. Bu nedenle, bu işler için ilerleme grafikleri sağlanmaz.
SQL olmayan işler için yalnızca Fuxi jobs ve Fuxi tasks görüntülenir.
Yalnızca bir Fuxi job varsa, ilerleme grafiği Fuxi tasks arasındaki bağımlılıkları gösterir. Birden çok Fuxi job varsa, ilerleme grafiği Fuxi jobs arasındaki bağımlılıkları gösterir.

İş durumu

Job Details sekmesinin alt kısmında işin ayrıntılı yürütme bilgileri görüntülenir.

No.	Açıklama
1	Fuxi Jobs sekmesi. Bu sekmede Fuxi jobs arasında geçiş yapabilirsiniz.
2	Fuxi job'un Fuxi tasks'leriyle ilgili ayrıntılar. Bir Fuxi task'a tıklayarak bu görevin Fuxi instance'ı hakkında bilgi görüntüleyebilirsiniz. Varsayılan olarak, ilk Fuxi job'un ilk Fuxi task'ının Fuxi instance'ı hakkında bilgi görüntülenir. AlgoTask ve CUPID işleri için bu alanda bir Sensor sütunu bulunur. Fuxi tasks'inin Sensor'una tıklayarak Fuxi instances'ları için CPU kullanımını ve bellek kullanımını görüntüleyebilirsiniz. Fuxi jobs şu şekilde sınıflandırılır: M: Kimliği M ile başlayan bir iş, veri tarama işidir. R: Kimliği R ile başlayan bir iş, Reduce işidir. J: Kimliği J ile başlayan bir iş, JOIN işidir. C: Kimliği C ile başlayan bir iş, sanal bir düğümü gösterir. Düğüm hesaplama içermez ve yalnızca dal seçimi için kullanılır. Not Fuxi Sensor, Çin (Chengdu), Çin (Shenzhen), Çin (Şanghay), Çin (Hangzhou), Çin (Zhangjiakou) ve Çin (Pekin) bölgelerinde kullanılabilir. Bir Fuxi task `interrupted` durumunda yeniden denenebilir. Bu durumda, İlerleme sütunu yalnızca yeniden deneme girişiminin ilerlemesini gösterir. Bu nedenle, genel iş başarıyla tamamlanmış olsa bile bu Fuxi task'ın ilerlemesi `%100` olmayabilir. Bu beklenen bir davranıştır.
3	LogView, instances'ları durumlarına göre gruplara ayırır. Failed yanındaki değere tıklayarak hatalı düğümler hakkında bilgi sorgulayabilirsiniz.
4	Fuxi instances. Örnek bir kimlik `M1#0_0` şeklindedir. İlk `0`, Fuxi instance'ın otomatik artan kimliğidir. İkinci `0`, görevin yeniden deneme sayısıdır. `0` değeri, görevin yeniden denenmediğini gösterir. n değeri, görevin n kez yeniden denendiğini gösterir. StdOut ve StdErr. Çıkış mesajlarını, hata mesajlarını ve görüntülemek istediğiniz bilgileri görüntüleyebilirsiniz. Ayrıca bilgileri indirebilirsiniz. Hata ayıklama. Hataları hata ayıklayabilir ve giderebilirsiniz. Fuxi instances sayısı üzerindeki sınırlamalar. Kullandığınız SQL ifadesi aşağıdaki koşullardan birini karşıladığında Fuxi instances sayısı 1 ile sınırlıdır: Bir `limit` yan tümcesi içeriyorsa. Bir `partition by key` yan tümcesi olmadan bir pencere işlevi kullanıyorsa. Bir `group by key` yan tümcesi olmadan bir toplama işlevi kullanıyorsa. JOIN işlemlerini gerçekleştirmek için kullanılan SQL ifadesinde eşitlik birleştirme anahtarı yoksa. Bir `order by` yan tümcesi içeriyorsa.

Fuxi Sensor

Fuxi Sensor, bir Fuxi instance'ın çok boyutlu bir kaynak görünümünü sağlayarak gerçek CPU kullanımını ve bellek kullanımını gösterir. Bu özellik, kök neden analizi ve iş performans analizi için değerli bir araçtır; örneğin aşağıdaki senaryolarda kullanılır:

Bellek yetersizliği (OOM) hatası oluştuğunda gerçek bellek kullanımını analiz edin.
Bir makine öğrenimi işi için bir Fuxi instance'ın aşağıdaki kaynak kullanımını görüntüleyin:
- CPU kullanımı
  
  cpu_usage grafiğinde iki çizgi bulunur. Bir çizgi istenen CPU sayısını (cpu_plan), diğer çizgi ise kullanılan CPU sayısını (cpu_usage) gösterir. Y ekseninde 400, dört işlemciyi gösterir. İstenen CPU sayısını yalnızca işlemci sayısını ayarlayarak değiştirebilirsiniz. Kullanılabilecek CPU sayısını ayarlayamazsınız.
- Bellek kullanımı
  
  mem_usage grafiğinde iki çizgi bulunur. Bir çizgi istenen bellek kaynağı sayısını (mem_plan), diğer çizgi ise kullanılan bellek kaynağı sayısını (mem_usage) gösterir.
  Bellek kullanımı (mem_usage) iki bölümden oluşur: Resident Set Size (RSS) ve PageCache. RSS, bir Malloc çağrısı nedeniyle (dosya eşlemesi olmayan) bir sayfa hatası oluştuğunda ayrılan bellektir. Bellek kıtlığında bu bellek geri kazanılamaz. PageCache, günlük dosyalarını okuma ve yazma gibi durumlarda dosyaları önbelleğe almak için kernel tarafından kullanılan bellektir. Bellek kıtlığında PageCache genellikle geri kazanılabilir.
  - Bellek ayrıntıları
  - RSS kullanımı
  - PageCache kullanımı

Result

Result sekmesindeki içerik iş durumuna göre değişir:

İş başarıyla çalıştırılırsa iş sonucu görüntülenir.

İş sonucunun görüntülenmesini devre dışı bırakmak için aşağıdaki komutu kullanın.
```
setproject odps.forbid.fetch.result.by.bearertoken=true;
```

Sonuç görüntüleme biçimini belirtmek için odps.sql.select.output.format parametresini yapılandırabilirsiniz.

-- To display the result in the CSV format, set this parameter to csv.
set odps.sql.select.output.format=csv;
-- To display the result in the text format, set this parameter to HumanReadable.
set odps.sql.select.output.format=HumanReadable;

İş çalıştırılamazsa başarısız olma nedeni görüntülenir.

Source XML

XML

İş düzeyleri ve görevle ilgili bilgiler bu sekmede XML biçiminde görüntülenir.
Settings

Geçerli görevin ayarları bu sekmede görüntülenir.
Command

Geçerli görevin flag ayarları bu sekmede görüntülenir.

SQL script

Geçerli görevin SQL betiği bu sekmede görüntülenir.

History

Geçerli görevin geçmişi bu sekmede görüntülenir.

SubStatusHistory

Geçerli görevin durumu bu sekmede görüntülenir.

Görev yürütmenin her aşamasının alt durum geçmişini görüntülemek için SubStatusHistory sekmesine tıklayın. Tablo aşağıdaki sütunları içerir: Code (1010, 1020 ve 1030 gibi sayısal durum kodu), Description (durum açıklaması), StartTime (başlangıç zamanı), Latency (süre) ve TimeLine (zaman çizelgesi ilerleme çubuğu).

Durum kodu mesajı	Açıklama
Waiting for scheduling	İş gönderildi ve MaxCompute framework tarafından zamanlanmayı bekliyor. Çoğu durumda bekleme süresi kısadır.
Waiting for cluster resource	MaxCompute framework, Fuxi computing cluster kaynaklarının yetersiz olduğunu tespit ettiği için iş kaynak bekliyor.
Waiting for concurrent task slot	Proje düzeyinde kısıtlama tetiklendi. Bir proje için aynı anda gönderilebilecek SQL görevlerinin sayısını yapılandırabilirsiniz.
Waiting for data replication	İş, verilerin çoğaltılmasını bekliyor.
Waiting for execution slot	Sistem düzeyinde kısıtlama tetiklendi.
Waiting for cleaning up of previous task attempt	İş, geçmiş görevlerin temizleme işleminin tamamlanmasını bekliyor.
Waiting for execution	İş, üst işlem kuyruğundan bir alt işleme dağıtılmayı bekliyor. Çoğu durumda bekleme süresi kısadır.
Preparing for execution	İş bir alt işleme dağıtılmak üzere. Alt işlem anormal ise hazırlık süresi uzun olabilir.
Task is executing	İş MaxCompute framework'te işleniyor.
SQLTask is initializing	SQL görevi başlatılıyor.
SQLTask is compiling query	SQL görevi derleniyor.
SQLTask is optimizing query	SQL görevi sorguları optimize ediyor. Yürütme planı karmaşıksa optimizasyon süresi biraz uzun olabilir. Optimizasyon süresi aşırı derecede uzun olursa hata oluşabilir.
SQLTask is splitting data sources	SQL görevi optimizasyon için veri kaynaklarını bölüyor.
SQLTask is generating execution plan	SQL görevi bir yürütme planı oluşturuyor. Bu işlem uzun sürerse veriler çok sayıda bölümden veya küçük dosyalardan okunuyor olabilir.
SQLTask is submitting execution plan	SQL görevi yürütme planını gönderiyor.
Job has been submitted	İş computing cluster'a gönderildi.
Offline Job Waiting for running	İş Fuxi computing cluster'a gönderilmeden önce MaxCompute framework iş için hesaplama kaynaklarının mevcut olduğunu tespit eder. Ancak iş gönderildikten sonra MaxCompute framework kota grubunda hesaplama kaynaklarının olmadığını tespit eder. Bunun sonucunda iş hesaplama kaynaklarını bekler. Bu durum kodu yalnızca bir kez görünür ve iş için hesaplama kaynağı mevcut olmasa bile bir daha görünmez.
Offline Job is running	Fuxi job çalışıyor. Yürütme sırasında kaynaklar kullanılamaz hale gelirse iş bu durumda kalır. Örneğin, daha yüksek öncelikli bir iş kaynakları gasp ederse etkilenen Fuxi instances çalışamaz ve durumları `ready` olarak değişir.
Offline Job is failed	Fuxi job çalıştırılamadı.
Offline Job is succeed	Fuxi job başarılı oldu.
SQLTask is updating meta information	SQL görevi meta veri bilgisi durumunu güncelliyor ve dinamik bölümler oluşturuyor. Bu işlem zaman alıcı olabilir.
SQLTask is finishing	SQL görevi tamamlandı.
Online Job is cancelled by fuxi	`service mode` içindeki iş iptal edildi.
Task rerun	İş yeniden deneniyor. Bu durum, `service mode` içindeki bir iş başarısız olursa çevrimdışı modda yeniden denenmesi veya kümeler arası veri çoğaltması nedeniyle ortaya çıkabilir.
Online Job Waiting for running	`service mode` içindeki iş çalışmayı bekliyor.
Online Job is running	`service mode` içindeki iş çalışıyor.
Online Job is failed	`service mode` içindeki iş başarısız oldu.
Online Job is succeed	`service mode` içindeki iş başarılı oldu.
Online Job is cancelled by fuxi	`service mode` içindeki iş iptal edildi.
Task key-path executing finished	İşin ana yolu tamamlandı ancak DetailStatus gibi bilgiler oluşturulmadı.
Task key-path is finished	İşin ana yolu tamamlandı.
Instance key-path is finished	Instance'ın ana yolu tamamlandı.
Task execution is finished	İş tamamlandı ve DetailStatus oluşturuldu.
Instance execution is finished	İş tamamlandı.
Execution failed	İş çalıştırılamadı.