MaxCompute:Kaynak Gözlemi

Yordam

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde, Resource Observation öğesine tıklayın.

3. Resource Observation sayfasında, Computing Resource sekmesine tıklayın.

4. Birinci düzey bir kota, bir zaman aralığı ve bir zaman aralığı seçin.

   Zaman aralığı, veri noktası sıklığını belirtir. Uyarlanabilir bir aralık veya 1 dakikalık, 5 dakikalık ya da 15 dakikalık bir aralık seçebilirsiniz. Performansı sağlamak amacıyla, zaman aralığı 72 saati aşarsa sistem aralığı otomatik olarak uyarlanabilir olarak ayarlar.

5. Hedef ikinci düzey kotanın kaynak tüketimi eğilim grafiğini görüntülemek için solundaki simgesine tıklayın. Aynı anda birden çok grafiği genişletebilirsiniz.

6. Her ikinci düzey kota ile ilişkili proje listesini görüntüleyin.

Ölçümler

Kotalar ve ilişkili projeler listesi, hangi projelerin ilgili ikinci düzey kotayı varsayılan hesaplama kotası olarak ayarladığını gösterir.

Yordam

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde, Resource Observation öğesine tıklayın.

3. Resource Observation sayfasında, günün toplam depolama kullanımını ve depolama dağılımını görüntülemek için Storage Resource sekmesine tıklayın.

4. (İsteğe bağlı) Storage Trend değerini görüntülemek için bir zaman aralığı (varsayılan 7 gün) ve projeler (varsayılan tüm projeler; en fazla sekiz proje seçebilirsiniz) seçin.

5. (İsteğe bağlı) Storage Details alanında, Project Details sekmesinde her projenin depolama kullanımını görüntülemek için bir tarih seçin (varsayılan geçerli gündür).

6. (İsteğe bağlı) Storage Details alanında, Table/Partition Details sekmesinde projedeki ayrıntılı tablo ve bölüm depolama kullanımını görüntülemek için bir tarih (varsayılan geçerli gündür) ve bir proje seçin.

Ölçümler

MaxCompute, depolama kullanımını sütun bazında görüntülemeyi desteklemez. Sütun düzeyindeki depolamayı tahmin etmek için tablo verilerini dışa aktarın ve her sütun için kullanımı hesaplayın.

Yordam

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde, Observation O&M > Resource Observation seçeneklerini belirleyin.

3. Resource Observation sayfasında, Data Transmission Service sekmesine tıklayın.

4. Her ölçümün kullanımını sorgulamak için bir kota, proje, zaman aralığı ve toplama algoritması seçin.

Kullanım notları

Ölçümler

Yordam

1. MaxCompute konsolu üzerinde oturum açın ve sol üst köşeden bir bölge seçin.

2. Sol gezinme bölmesinde, Resource Observation öğesine tıklayın.

3. Resource Observation sayfasında, Job Performance Observation sekmesine tıklayın.

4. İşleri filtrelemek ve gruplamak için aşağıdaki parametreleri seçin. Bu, belirli işleri görüntülemenize ve grafiklerdeki ölçüm verilerini farklı boyutlara göre gruplandırmanıza olanak tanır.

   Parametre	Açıklama
   Time range	Zorunludur. Belirtilen zaman aralığına (başlangıç ve bitiş saatleri) göre tamamlanan işleri filtreler. Önceden ayarlanmış bir zaman aralığı seçebilir veya özel bir tane yapılandırabilirsiniz: 1d: Son 1 gün. 3d: Son 3 gün. 7d: Son 7 gün. Belirli bir dönem seçin: Zaman aralığı açılır listesine tıklayın, istediğiniz tarihi seçin ve ardından hedef zaman dilimini seçmek için Select Time öğesine tıklayın. Not Varsayılan zaman aralığı son 1 gündür. Maksimum zaman aralığı 7 gün, minimum ise 1 saattir. Son 45 günden iş arayabilirsiniz.
   Choose Project	MaxCompute proje adına göre filtreler. Not Varsayılan olarak tüm projeler seçilir. En fazla 8 proje seçebilirsiniz.
   Select Quota	Hesaplama kotasına göre filtreler. Not Varsayılan olarak tüm hesaplama kotaları seçilir. En fazla 8 ikinci düzey kota seçebilirsiniz. Hesaplama kotaları hakkında daha fazla bilgi için bkz. Hesaplama kotalarını yönetme.
   Group By	Zorunludur. Grafik türüne bağlı olarak, grafik görünümündeki verileri birden çok boyuta göre gruplandırabilirsiniz. Group By için geçerli değerler: No Group (Varsayılan): Filtrelenen aralıktaki tüm işlerin zaman içindeki çeşitli ölçümlerinin eğilimlerini görüntüler. Project: Filtrelenen aralıktaki tüm işlerin çeşitli ölçümlerini projeye göre gruplandırarak görüntüler. Not Projeye göre gruplandırma yaptığınızda, filtre parametrelerinde en fazla 8 proje olacak şekilde projeleri belirtmeniz gerekir. Quotas: Filtrelenen aralıktaki tüm işlerin çeşitli ölçümlerini ikinci düzey kotaya göre gruplandırarak görüntüler. Not Kotaya göre gruplandırma yaptığınızda, filtre parametrelerinde en fazla 8 ikinci düzey kota olacak şekilde kotaları belirtmeniz gerekir. Job type: Filtrelenen aralıktaki tüm işlerin çeşitli ölçümlerini iş türüne göre gruplandırarak görüntüler. SQL: SQL işi. MCQA: MaxCompute Query Acceleration (MCQA) SQL işi. LOT: MapReduce işi. CUPID: Spark veya Mars işi. Algo_Task: makine öğrenimi işi. GRAPH: grafik hesaplama işi. Job End Status: Filtrelenen aralıktaki tüm işlerin çeşitli ölçümlerini nihai durumlarına göre gruplandırarak görüntüler. Success: İş başarıyla çalıştı. Failed: İş başarısız oldu. Cancelled: İş iptal edildi.

5. Her ölçümün istatistiklerini görüntülemek için Query öğesine tıklayın.

6. (İsteğe bağlı) Seçilen zaman boyutuna göre her ölçümün istatistiklerini görüntülemek için bir Data Summary granülerliği seçin.

   Parametre	Açıklama
   By Hour	Verileri birer saatlik aralıklarla özetler. Bu, geçerli saatte çalışmayı bitiren işlerin istatistiklerini gösterir. Bu, varsayılan ayardır. Örneğin, geçerli saat 6 Mayıs 2024 14:00 ise, saate göre özetleme 6 Mayıs 2024 14:00 ile 15:00 arasında çalışmayı bitiren işlerin istatistiklerini gösterir.
   By Day	Verileri birer günlük aralıklarla özetler. Bu, geçerli günde çalışmayı bitiren işlerin istatistiklerini gösterir. Örneğin, geçerli tarih 6 Mayıs 2024 ise, güne göre özetleme 6 Mayıs 2024 00:00 ile 7 Mayıs 2024 00:00 arasında çalışmayı bitiren işlerin istatistiklerini gösterir.

7. (İsteğe bağlı) Önceki bir tarih veya saatten geçmiş istatistikleri görüntülemek için bir Comparison Period seçin.

   Varsayılan No Comparison şeklindedir. Seçenekler arasında Previous 30 Days, Previous 7 Days ve Previous 1 Day bulunur. Örneğin, 6 Mayıs 2024 14:00 için 30 günlük karşılaştırma verisi 6 Nisan 2024 14:00 istatistikleridir.

Ölçümler

• CU Usage Trend (Birim: Çekirdek*Saat)

  Ölçüm	Açıklama
  CPU-hour (Birim: Çekirdek*Saat)	Seçilen filtre aralığında tamamlanan işler tarafından tüketilen CPU-saat sayısı. Bir CPU-saat, bir CPU çekirdeğinin bir saat boyunca tüketilmesi olarak tanımlanır. CPU-saat = CPU çekirdeği sayısı × Süre.
  Memory-hour (Birim: GB*Saat)	Seçilen filtre aralığında tamamlanan işler tarafından tüketilen bellek-saat miktarı. Bir bellek-saat, 1 GB belleğin bir saat boyunca tüketilmesi olarak tanımlanır. Bellek-saat = Bellek boyutu × Süre.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	CPU-saat veya bellek-saat tüketimine göre ilk 10 işi sıralar. Ayrıca, seçilen filtre aralığında en yüksek toplam veya ortalama tüketime sahip ilk 10 İmzayı ve ExtNodeId'yi listeler.

• Job Runtime Period (Birim: saniye)

  Ölçüm	Açıklama
  Average Value	Seçilen filtre aralığında tamamlanan işlerin ortalama çalışma süresi.
  Maximum Value	Seçilen filtre aralığında tamamlanan işlerin en uzun çalışma süresi.
  Minimum Value	Seçilen filtre aralığında tamamlanan işlerin en kısa çalışma süresi.
  Quantile	Seçilen filtre aralığında tamamlanan işlerin belirli bir çeyrekliğinin (1., 5., 10., 50., 90., 95. ve 99. yüzdelikler dahil) iş çalışma süresi. Örneğin, 99. yüzdelik, işlerin %99'unun bu çalışma süresi içinde tamamlandığını gösterir.
  Top 10 Job Runtime Analysis	Seçilen filtre aralığında en uzun toplam çalışma süresine sahip ilk 10 işi ve en uzun toplam veya ortalama çalışma süresine sahip ilk 10 İmzayı ve ExtNodeId'yi sağlar.

• Job Count Trend (Birim: adet): Seçilen filtre aralığında tamamlanan işlerin sayısı.

• Job Input Size Trend (Birim: GB, grafiğin ölçeğine göre otomatik olarak ayarlanır): Seçilen filtre aralığında tamamlanan işler tarafından taranan veri miktarı.

• Trend of Job Input Size per CU-Hour (Birim: GB, grafiğin ölçeğine göre otomatik olarak ayarlanır): Seçilen filtre aralığında işler tarafından CU-saat başına taranan verilerin ortalama boyutu. Bir CU-saat, 1 CPU çekirdeği ve 4 GB bellek içerir. MAX(CPU-hour, CEILING(memory-hour/4)) formülü kullanılarak hesaplanır.

Yukarıdaki ölçümler için istatistikleri kiracı düzeyinde Information Schema kullanarak da toplayabilirsiniz. Information Schema task_history tablosunun, işlemlerden kaynaklanan tüm görev örneklerini içerdiğini unutmayın; oysa konsoldaki Job Performance Observation sekmesindeki ölçümler yalnızca hesaplama kaynaklarını tüketen işleri sayar. Bu nedenle, istatistiksel sonuçlar farklılık gösterebilir.

Aşağıda örnek bir sorgu verilmiştir:

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- The hour when the job finished.
       -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Average job runtime
       min(datediff(end_time, start_time, 'ss')), -- Minimum job runtime
       max(datediff(end_time, start_time, 'ss'))  -- Maximum job runtime
       -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Modify or add other filter conditions as needed.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
         -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.

SSS

• Soru 1:

  • S: Gruplama yaptıktan sonra neden bazı projeler veya kotalar grafik efsanesinde eksik?

  • C: Bu durum, seçilen zaman aralığında bir proje veya kota için iş sayısının sıfır olması durumunda gerçekleşir.

• Soru 2:

  • S: Neden önceki bir dönem için karşılaştırma verisi eksik?

  • C: Proje veya kota karşılaştırma döneminde mevcut değilse veya hiç işi yoksa veriler eksik olabilir.