MaxCompute'deki iş İzleme ve Bakım (O&M) özelliğini kullanarak geçmişteki ve devam eden işleri görüntüleyebilir, iş yürütme ayrıntılarını inceleyebilir, çalışma sırasındaki kaynak yükünü analiz edebilir ve işlerinizi yönetebilirsiniz.
Özellikler
MaxCompute'deki iş işlemleri özelliği, hem geçmişteki hem de çalışan işleri görüntülemenizi ve yönetmenizi sağlar.
Veri geliştiricileri için bu özellik; iş ayrıntılarını gözden geçirme, istisnaları ve sorunları belirleme ile sorunlu işleri sonlandırarak veya toplu olarak durdurarak müdahale etme gibi günlük görevleri basitleştirir.
Yöneticiler için bu özellik, bir kota grubunun kaynak yükünü izlemeye yardımcı olur; böylece sistem kaynaklarını etkili bir şekilde yönetebilir ve iş yürütme performansını artırabilirler.
MaxCompute konsolundaki Jobs sayfasında, hedef işleri bulmak, ayrıntılarını görüntülemek ve analiz etmek amacıyla filtre koşullarını yapılandırabilirsiniz. Mevcut işlevler şunlardır:
İşlemler
-
İşleri filtreleme
Parametreleri belirterek işleri filtreleyin. Desteklenen parametrelerin açıklaması için bkz. İş parametresi açıklaması.
-
İşleri sıralama
Varsayılan olarak işler, bitiş zamanlarına göre azalan sırada listelenir ve tamamlanmamış işler önce gösterilir. Tek sütunlu sıralama veya gelişmiş çok sütunlu sıralama uygulayabilirsiniz.
Tek sütunlu sıralama: Sıralama simgesi bulunan herhangi bir sütunu artan veya azalan düzende sıralayabilirsiniz.
-
Gelişmiş çok sütunlu sıralama: Listenin sağ üst köşesindeki Advanced Sorting düğmesini tıklayın. Birden fazla sütun adı eklemek için Add Sort seçeneğine tıklayın, her sütun için sıralama düzenini Ascend veya Descend olarak belirtin ve çok sütunlu sıralamayı uygulamak için OK öğesine tıklayın.
Gelişmiş sıralama etkin olduğunda tek sütunlu sıralama devre dışı kalır. Tek sütunlu sıralamayı yeniden etkinleştirmek için Advanced Sorting düğmesine tıklayın, Reset seçeneğine tıklayın ve ardından OK düğmesine tıklayın.
-
İş ayrıntılarını görüntüleme
İş listesinde, bir işin Actions sütunundaki LogView bağlantısına tıklayarak LogView sayfasını açın; burada işin yürütme durumunu, ayrıntılarını ve sonuçlarını görüntüleyebilirsiniz.
-
İşleri sonlandırma
Latest Status değeri Running olan işleri Terminate veya Stop ile durdurabilirsiniz.
-
İş içgörüsü
İş listesinde, bir işin Actions sütunundaki Insights seçeneğine tıklayarak iş özetini, kaynak tüketim ayrıntılarını, belirli bir zamanda kota grubunun kaynak tahsisini görüntüleyebilir ve akıllı iş tanılama işlemini tetikleyebilirsiniz.
Şu anda akıllı iş tanılama yalnızca SQL işlerini destekler.
İş düzeyindeki kaynak tüketim verileri yalnızca iki dakika veya daha uzun süren SQL, MapReduce, Spark veya Mars işleri için kullanılabilir.
İş istatistikleri grafiği
Filtre ölçütlerinize bağlı olarak, yığılmış çubuk grafik işlerin zaman içindeki sayısını ve durumuna göre dağılımını göstererek iş yürütmesine genel bir bakış sunar.
-
Her çubuğun zaman aralığı, seçilen Time Range değerine bağlıdır:
Time Range 24 saat içindeyse: Her çubuk en az 2 dakikalık bir aralığı temsil eder. Çubuk sayısı uyarlanabilir olup maksimum 24'e kadar çıkabilir.
Time Range 24 saatten büyük ve 48 saate kadar ise: Her çubuk 2 saatlik bir aralığı temsil eder. Çubuk sayısı uyarlanabilir olup maksimum 24'e kadar çıkabilir.
Time Range 48 saatten büyük ve 7 güne kadar ise: Her çubuk 6 saatlik bir aralığı temsil eder. Çubuk sayısı uyarlanabilir olup maksimum 29'a kadar çıkabilir.
-
İstatistiklere dahil edilen iş durumları şunlardır:
Running: İş anlık görüntüsünün durumu Running'dir.
Finished: İşin durumu Succeeded, Failed veya Terminated'tır.
İş anlık görüntü verileri her üç dakikada bir toplandığından bazı işler yakalanmayabilir. Bu nedenle, iş çalışıyor olsa bile bir iş için anlık görüntü durumu boş olabilir.
Grafiğin içinde tıklayıp sürükleyerek daha dar bir zaman aralığını seçebilir ve yakınlaştırabilirsiniz.
İş listesi
İş listesi, filtre ölçütlerinize uyan işleri görüntüler ve bunlar hakkında temel bilgiler sağlar. MaxCompute, farklı senaryolar için iki liste görünümü sunar: bir Regular Job List ve bir Snapshot List.
Regular Job List: Belirtilen bir zaman aralığında çalışan tüm işler için bilgileri görüntüler.
Snapshot List: Belirli bir anda çalışan işlerin anlık görüntüsünü görüntüler. Anlık görüntü durumunun yanı sıra, anlık görüntü alındığı andaki CPU ve bellek kullanımını, istek sayısını ve bunların toplam içindeki yüzdesini içerir.
İş listesinde görüntülenen parametrelerin ayrıntılı açıklaması için bkz. İş parametresi açıklaması.
Sınırlamalar
Aşağıdaki iş bilgileri şu anda toplanmamaktadır:
İş anlık görüntü verileri her üç dakikada bir toplanır. Bu nedenle, tek bir üç dakikalık toplama aralığında başlayıp biten işler anlık görüntülere yansıtılmaz.
Özellikle RAM kullanıcılarından gelenler olmak üzere, PAI aracılığıyla başlatılan bazı MaxCompute işlerinin verileri toplanamaz.
Kullanımdan kaldırılacak olan Developer Edition'daki projelerdeki işlerden gelen veriler toplanamaz.
Veri işleme gecikmesi nedeniyle, mevcut iş listesini görüntülerken bir iş LogView'da zaten tamamlanmış olsa bile current status değeri Running olarak görünebilir. Bu durum özellikle çok kısa süren işlerde daha sık görülür. Kesin durum için her zaman LogView'daki durumu referans alın.
Parametreler
Global iş filtreleme parametreleri
Bu parametreler iş istatistikleri grafiğini ve iş listesini etkiler.
Parameter | Description |
Time Range |
|
Choose Project | İşleri MaxCompute proje adına göre filtreler. Birden fazla proje seçebilirsiniz. Varsayılan olarak bu alan boştur. |
Select Quota |
|
Job Type |
|
İş listesi arama parametreleri
İş listesindeki sonuçları daraltmak için bu parametreleri kullanın. Bu parametreler yalnızca iş listesini etkiler.
Parameter | Description |
Instance ID |
|
Job Owner |
|
ExtNodeId |
|
ExtNodeName | MaxCompute işinin kaynak sisteminden gelen iş adına göre arama yapar. |
Signature | Bir SQL işinin imzasına göre arama yapar. Bu parametre yalnızca SQL işleri için geçerlidir. Aynı SQL sorgusunun her yürütülmesinden gelen tüm örnekleri bulmak için bu imzayı kullanın. Varsayılan olarak bu alan boştur. |
İş listesi sütun filtreleme parametreleri
İş listesini daha fazla filtrelemek için bu parametreleri kullanın. Bunlar yalnızca iş listesini etkiler. Bir filtreyi uygulamak için bir sütun adının yanındaki filtre simgesine 
tıklayın.
Parameter | Description |
Latest Status |
|
Priority |
|
Intelligent Diagnostics |
|
Genel liste sütunları
Column name | Description |
Instance ID | Bir MaxCompute işi için benzersiz örnek kimliği. Bu sütun ayrıca projeyi, kota grubunu ve iş türünü de görüntüler.
|
Latest Status | İşin en son durumu. |
Job Owner | MaxCompute işini çalıştıran Alibaba Cloud hesabı. Bir işten sorumlu kişiyi belirlemek için bu bilgiyi kullanabilirsiniz. Bir iş aşırı kaynak tüketiyor ve diğer görevleri etkiliyorsa işi durdurması için iş sahibiyle iletişime geçebilirsiniz. Bir işin nasıl durdurulacağına ilişkin talimatlar için bkz. Örnek işlemleri. |
Priority | 0 ile 9 arasında değişen iş önceliği. Küçük sayı daha yüksek öncelik anlamına gelir. Daha yüksek öncelikli işler, daha düşük öncelikli olanlardan önce hesaplama kaynaklarını edinir. Daha fazla bilgi için bkz. İş Önceliği. |
Submission Time | Örneğin gönderildiği zaman. |
Start Running Time | The time when the job received the first computing resource. If the running time of a job is too short or a job does not consume computing resources, such as DDL statements, use the submission time of the job instead. Bu sütun varsayılan olarak gizlidir. Sütun ayarlarını özelleştirerek görüntüleyebilirsiniz. |
Waiting Duration | The duration from the time a job is submitted to the time it starts to run. If the job has no start time, the duration from the submission time to the snapshot time is displayed. Bu sütun varsayılan olarak gizlidir. Sütun ayarlarını özelleştirerek görüntüleyebilirsiniz. |
Execution Duration | The duration from the start time to the end time of a job. Bu sütun varsayılan olarak gizlidir. Sütun ayarlarını özelleştirerek görüntüleyebilirsiniz. |
End Time | The end time of a job. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
Total Used CPU Resources | İşin yürütülmesi boyunca tükettiği toplam CPU kaynakları. Birim: |
Total Amount of Used Memory Resources | İşin yürütülmesi boyunca tükettiği toplam bellek kaynakları. Birim: |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Usage Percentage Snapshot | The latest memory usage percentage collected 1 minute before the job deadline of the time range. It is calculated by using the formula: Memory Size Occupied/(Minimum Reserved CU Memory + Minimum Elastically Reserved CU Memory). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Input Size | İşin işlediği giriş veri miktarı. |
Intelligent Diagnostics | Akıllı Tanılama özelliğinin sonuçlarına göre oluşturulan etiketler. |
ExtPlatformId | İşi başlatan istemci, örneğin DataWorks. Başlatıcı, bir iş başlatırken bilgi aktarmalıdır. Gerekli veri kuralları için bkz. İş Evrensel Tanımlayıcı Kuralları. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. Başlatıcı, bir iş gönderirken bilgi sağlamalıdır. Bu bilgilere ilişkin kurallar için bkz. Genel İş Tanımlayıcı Kuralları. |
ExtNodeName | The task name that corresponds to the job initiator, such as the name of a DataWorks scheduling node.. Başlatıcı, bir iş başlatırken bilgi aktarmalıdır. Bilgi kuralları için bkz. Genel İş Tanımlayıcı Kuralı. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. Başlatıcı, bir iş başlatırken bilgi aktarmalıdır. Bilgi aktarma kuralları için bkz. İş Genel Tanımlayıcı Kuralları. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Anlık görüntü listesi sütunları
Column name | Description |
Instance ID | Bir MaxCompute işi için benzersiz örnek kimliği. Bu sütun ayrıca projeyi, kota grubunu ve iş türünü de görüntüler.
|
Snapshot Time | The time when snapshot information is collected for the job. |
Snapshot Status | The status of a job at the snapshot time. |
Job Owner | MaxCompute işini çalıştıran Alibaba Cloud hesabı. Bir işten sorumlu kişiyi belirlemek için bu bilgiyi kullanabilirsiniz. Bir iş aşırı kaynak tüketiyor ve diğer görevleri etkiliyorsa işi durdurması için iş sahibiyle iletişime geçebilirsiniz. Bir işin nasıl durdurulacağına ilişkin talimatlar için bkz. Örnek işlemleri. |
Priority | 0 ile 9 arasında değişen iş önceliği. Küçük sayı daha yüksek öncelik anlamına gelir. Daha yüksek öncelikli işler, daha düşük öncelikli olanlardan önce hesaplama kaynaklarını edinir. Daha fazla bilgi için bkz. İş Önceliği. |
CPU Cores in Use | Number of CPU cores in use for a job at the snapshot time. |
Requested CPU Cores | The number of requested CPU cores of a job at the snapshot time. |
CPU Satisfaction Rate | Number of CPU cores in use/Number of requested CPU cores of a job at the snapshot time. |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Size Occupied | The size of requested memory space of a job at the snapshot time. Birim uyarlanabilir şekilde görüntülenir. |
Requested Memory Size | The size of requested memory space of a job at the snapshot time. Birim uyarlanabilir şekilde görüntülenir. |
Memory Satisfaction Rate | Memory size occupied/Requested memory size of a job at the snapshot time. |
Memory Usage Percentage Snapshot | The memory usage percentage of a job at the observation time, which is calculated by using the following formula: Amount of used memory resources/(Amount of reserved memory resources + Amount of elastically reserved memory resources). Bu ölçüm kullandıkça öde işleri için veya anlık görüntü yakalanmamışsa mevcut değildir. |
Submission Time | The time when a job was submitted. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
ExtPlatformId | İşi başlatan istemci, örneğin DataWorks. Başlatıcı, bir iş gönderirken bilgi aktarmalıdır. Bu bilgilere ilişkin kurallar için bkz. Genel İş Tanımlayıcı Kuralları. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. İstemci, bir iş başlattığında bilgi aktarmalıdır. Bu bilgilere ilişkin kurallar için bkz. Genel İş Tanımlayıcı Kuralları. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. Başlatıcı, bir iş başlattığında bilgi aktarmalıdır. Bilgi aktarma kuralları için bkz. Genel İş Tanımlayıcı Kuralı. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Yaygın O&M senaryoları
Belirli bir işin çalıştırma ayrıntılarını görüntüleme
Kullanım durumu
Bu senaryo, DataWorks saatlik zamanlama düğümü tarafından başlatılan bir işin yürütme durumunu görüntülemeyi veya belirli bir MaxCompute işini denetlemeyi kapsar.
Yordam
MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde seçeneğini belirleyin.
Jobs sayfasında bir Time Range seçin ve Search düğmesine tıklayın.
İş listesinin üstünde ExtNodeId veya Instance ID seçeneğini belirleyin ve iş için ilgili değeri girin.
-
İş listesini tekrar filtrelemek için
simgesine tıklayın.Sorgu sonuçlarında, bir örneğin Actions sütunundaki LogView bağlantısına tıklayarak ayrıntılı çalıştırma bilgilerini görüntüleyin. LogView hakkında daha fazla bilgi için bkz. LogView 2.0 kullanarak iş çalıştırma bilgilerini görüntüleme.
Zaman dilimine göre iş çalıştırma ayrıntılarını görüntüleme
Kullanım durumu
Bu senaryo, Project_1 ve Project_2 için son bir günde çalışan işleri görüntülemeyi, hangi işlerin başarısız olduğunu analiz etmeyi ve başarısız işleri işlemeyi kapsar.
Yordam
MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde seçeneğini belirleyin.
Time Range değerini 1d olarak ayarlayın veya özel bir Time Range değerini bugünün
00:00:00saatinden mevcut zamana kadar olacak şekilde ayarlayın.Choose Project açılır listesinden Project_1 ve Project_2 seçeneklerini seçin.
Sorgu sonuçlarında, bir örneğin Actions sütunundaki LogView bağlantısına tıklayarak ayrıntılı çalıştırma bilgilerini görüntüleyin. LogView hakkında daha fazla bilgi için bkz. LogView 2.0 kullanarak iş çalıştırma bilgilerini görüntüleme.
Abonelik kotasındaki iş kaynak kullanımını görüntüleme
Kullanım durumu
Default Subscription Quota kaynak kullanımı yüksek olduğunda ve birçok iş beklemedeyken, bu senaryo kota kaynaklarını tüketen belirli işleri tespit etmeyi kapsar.
Yordam
MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde seçeneğini belirleyin.
Time Range değerini 1h olarak ayarlayın veya özel bir başlangıç ve bitiş zamanı belirtin.
Select Quota parametresini
Default Subscription Quotaolarak ayarlayın ve Search düğmesine tıklayın.Sorgu sonuçları listesinde, CPU Utilization Percentage Snapshot değeri
Runningolan işlerin Memory Usage Percentage Snapshot ve Latest Status değerlerini kontrol edin. En çok kaynak tüketen işin iş gereksinimlerini karşılayıp karşılamadığını kontrol edin ve işin beklendiği gibi performans gösterip göstermediğini veya sonlandırılması gerekip gerekmediğini belirlemek için diğer iş bilgilerini kullanın.Sorgu sonuçlarında, bir örneğin Actions sütunundaki LogView bağlantısına tıklayarak ayrıntılı çalıştırma bilgilerini görüntüleyin. LogView hakkında daha fazla bilgi için bkz. LogView 2.0 kullanarak iş çalıştırma bilgilerini görüntüleme.
Sorgu Hızlandırma işlerinin çalıştırma ayrıntılarını görüntüleme
Kullanım durumu
Bu senaryo, son bir gündeki Sorgu Hızlandırma işlerinin yürütme durumu ve ayrıntılarını görüntülemeyi kapsar.
Yordam
MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde seçeneğini belirleyin.
Time Range değerini 1d ve Job Type değerini SQLRT(Query Acceleration) olarak ayarlayın ve ardından Search düğmesine tıklayın.
Sorgu sonuçlarında, bir örneğin Actions sütunundaki LogView bağlantısına tıklayarak ayrıntılı çalıştırma bilgilerini görüntüleyin. LogView hakkında daha fazla bilgi için bkz. LogView 2.0 kullanarak iş çalıştırma bilgilerini görüntüleme.
Sorgu Hızlandırma özelliğini kullanan işler için aynı oturumda birden fazla SQL deyimi yürütülebilir. Bir oturum bir Instance ID'ye karşılık gelir. Oturumdaki tüm SQL deyimlerinin yürütme durumunu görüntülemek için Instance ID'nin LogView'ını kullanabilirsiniz. Bu nedenle, Jobs sayfasında Sorgu Hızlandırma işlerini görüntülerken aşağıdakilere dikkat edin:
Oturum çıkmadıysa, yani bazı SQL deyimleri tamamlandı ve bazıları hala çalışıyorsa, Latest Status değeri Running olur.
Oturumun süresi dolduysa veya kapatıldıysa, Latest Status değeri Cancelled olur.
İş kaynak tüketimi ve hesaplama kota tahsisi
Kullanım durumu
Bir iş uzun süre çalışıyorsa ve neden LogView'da belirlenemiyorsa veya bir iş beklenenden daha yavaş çalışıyorsa, sorunun yetersiz kaynaklardan kaynaklanıp kaynaklanmadığını belirlemeniz gerekir.
Yordam
MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.
Sol gezinme bölmesinde seçeneğini belirleyin.
Bir Time Range seçin ve Select Quota ile filtreleyin. Ardından Search düğmesine tıklayın.
Hedef Instance ID'yi bulun ve Insights sütunundaki Actions seçeneğine tıklayarak Job Insights sayfasına gidin.
-
Resource Consumption sekmesinde, işin yaşam döngüsü boyunca kaynak tüketimini görüntüleyin.
Kaynak tüketimi grafiği, iş düzeyinde kullanılan CU'ların ve bekleyen CU'ların zaman içindeki eğrilerini ve kota düzeyinde kullanılan CU'ların ve bekleyen CU'ların zaman içindeki trendini gösterir. İş az sayıda CU kullanıyorsa ancak işin ait olduğu kota çok sayıda CU kullanıyor veya hatta sürekli olarak üst sınıra ulaşıyorsa, kota kaynakları yetersizdir. Bu durumda, diğer işler mevcut işle hesaplama kaynakları için rekabet ediyor demektir.
Kaynak tüketimi grafiğinin yatay eksenindeki bir zaman noktasına tıklayarak o andaki hesaplama kotasının kaynak tahsisini, iş miktarını ve öncelik dağılımını görüntüleyin. Bir önceliğe karşılık gelen renk bloğuna tıklayarak iş listesine gidin ve işle ilgili ayrıntılı bilgileri görüntüleyin. Bu, mevcut işle hesaplama kaynakları için rekabet eden işleri belirlemenize yardımcı olur. İş önceliğini ayarlayarak veya hesaplama kaynaklarını yöneterek iş gereksinimlerinize göre görev yürütmeyi optimize edebilirsiniz. Daha fazla bilgi için bkz. iş önceliği veya Hesaplama kaynakları - Kota yönetimi.
Sonraki adımlar
Bir iş tutarlı bir şekilde yüksek oranda kaynak tüketiyorsa ve diğer işler kuyrukta bekliyorsa aşağıdaki eylemleri düşünün:
İş iş gereksinimlerinize uymuyorsa işi sonlandırın.
İş iş gereksinimlerinize uyuyorsa, kota için kaynak yapılandırması optimal olmayabilir. Kaynak yapılandırmanızı optimize edin. Daha fazla bilgi için bkz. Hesaplama kaynağı yapılandırma optimizasyonu.
İlgili belgeler
İş bilgilerini ve durumunu görüntülemek ve işleri durdurmak için komutlar hakkında bilgi almak üzere bkz. örnek işlemleri.