DataStudio, periyodik görevleri geliştirmek ve zamanlamak için kullanılan DataWorks modülüdür. Operation Center ile entegre olan DataStudio; MaxCompute, Hologres ve E-MapReduce gibi işlem motorları için akıllı kod geliştirme, çoklu motorlu hibrit iş akışları ve standartlaştırılmış görev yayınlama özelliklerine sahip görsel bir geliştirme arayüzü sunar. DataStudio, çevrimdışı veri ambarları, gerçek zamanlı veri ambarları ve ad hoc sorgu sistemleri oluşturmanıza yardımcı olur.
DataStudio'ya gidin
DataWorks konsolu adresinde oturum açın. Hedef bölgede sol gezinme bölmesinden seçeneğine tıklayın. Açılır listeden bir çalışma alanı seçin ve Go to Data Development öğesine tıklayın.
DataStudio yalnızca PC'de Google Chrome 69 veya sonraki sürümlerde desteklenir.
Genel Bakış
Özellikler
Aşağıdaki tabloda DataStudio'nun ana özellikleri açıklanmaktadır. Temel terimlerin tanımları için bkz. Ek: Kavramlar.
|
Tür |
Açıklama |
|
Nesne organizasyonu ve yönetimi |
DataStudio nesneleri aşağıdaki şekillerde organize eder ve yönetir:
İş akışı oluşturma. Yönetim modları. Not
DataStudio'da bir çalışma alanında oluşturabileceğiniz iş akışı ve nesne sayıları için aşağıdaki sınırlar geçerlidir:
Geçerli çalışma alanındaki iş akışı veya nesne sayısı üst sınıra ulaştığında yeni olanlar oluşturamazsınız. |
|
Görev geliştirme |
Kullanılabilir tüm düğüm türleri Desteklenen düğüm türleri bölümünde listelenmiştir. |
|
Görev zamanlama |
Zaman özelliklerini yapılandırma. Zamanlama bağımlılıklarını yapılandırma kılavuzu. |
|
Görev hata ayıklama |
DataStudio, tekil görevlerin ve tüm iş akışlarının hata ayıklamasını destekler. Görev hata ayıklama süreci. |
|
Süreç kontrolü |
Standartlaştırılmış görev yayınlama ve süreç kontrolü sağlar:
|
|
Diğer özellikler |
|
Kullanıcı arayüzüne genel bakış
Veri geliştirme arayüzünü ve her modülün özelliklerinin nasıl kullanılacağını öğrenmek için DataStudio özellik kılavuzunu izleyin.
Geliştirme süreci
DataStudio, çeşitli işlem motorları için gerçek zamanlı senkronizasyon görevlerini, çevrimdışı zamanlanmış görevleri (senkronizasyon ve işleme dahil) ve manuel olarak tetiklenen görevleri destekler. Veri senkronizasyonu yetenekleri için bkz. Data Integration. Başlamadan önce her işlem motoru için geliştirme gereksinimlerini anlayın ve uygun görev türünü seçin.
-
İşlem motoru geliştirme kılavuzları: DataWorks çeşitli veri kaynaklarını ve işlem motorlarını destekler. Yapılandırma gereksinimleri motora göre değişir. Başlıca işlem motoru kılavuzları:
-
Genel geliştirme süreci: DataWorks çalışma alanları standart modda ve temel modda çalışır. Geliştirme süreci modlar arasında biraz farklılık gösterir.
Standart moddaki bir çalışma alanında geliştirme süreci.
Temel moddaki bir çalışma alanında geliştirme süreci.
Temel süreç: Standart modda, zamanlanmış görev yaşam döngüsü geliştirme, hata ayıklama, zamanlama yapılandırması, gönderme, yayınlama ve O&M aşamalarını içerir. Veri geliştirme süreci kılavuzu.
-
Süreç kontrolü: Standartlara uyumu sağlamak için yerleşik kod incelemesini ve duman testini, Data Governance Center içindeki önceden ayarlanmış kontrolleri ve Open Platform uzantıları aracılığıyla özel doğrulamayı kullanın.
NotSüreç kontrol seçenekleri çalışma alanı moduna göre değişir. Konsolda mevcut olan özellikler kesin sonuçtur.
Organizasyon
DataStudio'da iş akışı, kod geliştirmesi ve kaynak organizasyonu için temel birimdir. İş akışları ve görev düğümleri her çalışma alanında bağımsız olarak geliştirilir ve birbirlerini etkilemez. İş akışı oluşturma.
İş akışları bir dizin ağacı ve bir işlem paneli olarak sunulur; böylece kodu iş perspektifinden organize etmenize yardımcı olur.
Dizin ağacı yapısı: Kodu görev türlerine göre organize etmenin bir yolunu sağlar.
İş akışı paneli: İş mantığının sürece yönelik bir görünümünü sağlar.
Başlarken
Önkoşullar
DataWorks'te görevler geliştirmek, verileri modellemek veya periyodik görevleri zamanlamak için veri kaynaklarınızı veya kümelerinizi DataStudio'da işlem kaynağı olarak ilişkilendirmeniz gerekir. Bu ilişkilendirme olmadan veri geliştirme düğümleri oluşturamazsınız.
-
Planladığınız görev türleri için gerekli veri kaynaklarını veya kümeleri oluşturun.
Veri kaynağı veya küme
Açıklama
DataWorks ilk MaxCompute veri kaynağını otomatik olarak ilişkilendirir. Sonraki olanları manuel olarak ilişkilendirin.
Bu veri kaynaklarını oluşturduktan sonra manuel olarak ilişkilendirin.
DataWorks kaydedilen kümeleri otomatik olarak ilişkilendirir. Manuel ilişkilendirme gerekmez.
-
DataWorks konsolu adresinde oturum açın. Hedef bölgede sol gezinme bölmesinden seçeneğine tıklayın. Açılır listeden bir çalışma alanı seçin ve Go to Data Development öğesine tıklayın.
-
Sol gezinme bölmesinde Computing Resources seçeneğine tıklayın.
Sol gezinme bölmesinde Computing Resource modülü yoksa bunu Kişisel Ayarlar bölümünden ekleyin. Modül Yönetimi .
-
Bir işlem kaynağı ilişkilendirin.
Computing Resource sayfasında hedef veri kaynağını veya kümeyi Computing Resource Name veya Computing Resource Type değerine göre arayın ve Associate seçeneğine tıklayın. İlişkilendirmeden sonra veri kaynağını geliştirme için kullanabilirsiniz.
NotVeri kaynağı bilgileri değişirse güncellemeleri görüntülemek için sayfayı yenileyin.
-
Bazı durumlarda bir veri kaynağı veya küme DataStudio ile ilişkilendirilemeyebilir:
İlişkilendirme yapılandırmaya bağlıdır. Örneğin, AccessKey çifti kullanan veri kaynakları ilişkilendirilemez. Sınırlamalar için ilişkilendirme sayfasını kontrol edin.
Veri kaynağında geliştirme veya üretim ortamı eksiktir.
Bir MaxCompute işlem kaynağı aynı anda birden fazla DataWorks çalışma alanıyla ilişkilendirilemez.
NotPlatform, herhangi bir ilişkilendirme hatasının nedenini görüntüler.
Yalnızca MaxCompute, E-MapReduce, Hologres, AnalyticDB for MySQL, ClickHouse, CDH/CDP ve AnalyticDB for PostgreSQL DataStudio ile ilişkilendirilebilir.
İlişkilendirilebilir veri kaynağı türleri ve sınırları DataWorks sürümüne göre değişir. DataWorks'ün farklı sürümlerinin özellikleri.
-
Öğretici
Veri geliştirmeye başlama temel işlemleri ve geliştirme sürecini kapsar.
Desteklenen düğüm türleri
DataStudio, çoğu periyodik zamanlamayı destekleyen çeşitli düğüm türleri sağlar. Düğümleri iş ihtiyaçlarınıza göre seçin. Desteklenen düğüm türleri.
Ek: Kavramlar
-
Görev geliştirme
Terim
Açıklama
Solution
Toplu olarak yönetilen iş akışları koleksiyonu. İş akışları işbirliği için birden fazla Solution'da yeniden kullanılabilir.
Workflow
Bir iş gereksinimi için görevler, tablolar, kaynaklar ve işlevler koleksiyonu. Görevler zamanlamaya göre çalışır.
Manually triggered workflowBelirli bir iş gereksinimi için görevler, tablolar, kaynaklar ve işlevler koleksiyonu.
Düzenli iş akışlarının aksine, manuel olarak tetiklenen bir iş akışındaki görevlerin zamanlamaya göre çalışması yerine manuel olarak tetiklenmesi gerekir.
DAGdirected acyclic graphifadesinin kısaltması. Düğümleri ve bunların bağımlılıklarını görüntüler. DataStudio'da bir iş akışı içindeki tüm görevler tek bir DAG'i paylaşır.
Task
DataWorks'teki temel yürütme birimi. Görevler bağımlılıklara göre sırayla çalışır.
Node
Bir DAG'deki bir görevi temsil eder. Düğümler bağımlılıklara göre sırayla çalışır. -
Görev zamanlama
Terim
Açıklama
Bağımlılık
Görevler arasındaki yürütme sırasını tanımlar. B görevi yalnızca A görevi tamamlandıktan sonra çalışıyorsa A, B'nin yukarı akış bağımlılığıdır. Bir DAG'de oklarla gösterilir.
Output name
Bir düğüm için genel olarak benzersiz bir tanımlayıcıdır. Bir düğüm birden fazla çıkış adına sahip olabilir. DataWorks, zamanlama bağımlılıklarını tanımlamak için çıkış adlarını kullanır.
Output table name
Görevin çıkış tablosunun adı; aşağı akış görevlerinin doğru veri kaynağını onaylamasına yardımcı olur. Otomatik olarak oluşturulan çıkış tablosu adlarını değiştirmeyin. Bu tanımlayıcı, SQL mantığı tarafından belirlenen gerçek tablo adını etkilemez.
NotBir düğümün Output Name değeri genel olarak benzersiz olmalıdır, ancak bir Output Table Name değeri için bu kısıtlama yoktur.
Zamanlama kaynak grubu
Görev zamanlaması için kullanılan kaynak grubu. DataWorks kaynak gruplarına genel bakış.
Zamanlama parametresi
Tarih ve saat gibi çalışma zamanı değerlerini dinamik olarak alan koddaki değişkenler. Kod değişkenlerine yürütme sırasında değer atamak için DataWorks'te zamanlama parametrelerini tanımlayın.
İş tarihi
Bir iş işleminin gerçekleştiği tarih. Çevrimdışı hesaplamada bu genellikle görevin çalıştığı günden önceki gündür. DataWorks varsayılan olarak bunu gün bazında doğru olacak şekilde görevin çalıştığı günden önceki güne ayarlar. Örneğin, dünkü satışlar için istatistik oluştururken dün iş tarihidir.
Zamanlama saati
Bir görevin çalışmasının planlandığı beklenen zaman; saniye hassasiyetindedir. Çeşitli faktörler nedeniyle gerçek başlangıç zamanı farklılık gösterebilir.