DataWorks:Data Studio: Geliştiriciler için

Önkoşullar

• Gerekli veri kaynağını bağladınız. Daha fazla bilgi için bkz. Hazırlıklar: Bir hesaplama motoru veya küme bağlama.

• Development rolü izinlerine sahipsiniz. İzinlerin nasıl verileceği hakkında daha fazla bilgi için bkz. Çalışma alanına üye ekleme ve rollerini yönetme.

Arka Plan

DataWorks Data Studio, MaxCompute, Hologres, EMR ve CDH gibi çeşitli hesaplama motorları için görsel bir geliştirme arayüzü sunar. Akıllı kod geliştirme, veri temizleme, veri işleme ve standartlaştırılmış görev dağıtımını destekleyerek verimli ve kararlı veri geliştirmeyi garanti eder. Daha fazla bilgi için bkz. Data Studio (eski).

Genellikle ham iş verilerinin DataWorks'e yazılması ve nihai sonuç tablosuna dönüştürülmesi süreci aşağıdaki adımları içerir:

1. DataWorks'te birden çok veri tablosu oluşturun. Örneğin:

   • Diğer veri kaynaklarından eşitlenen verileri depolamak için bir kaynak tablo.

   • DataWorks tarafından temizlenmiş ve işlenmiş verileri depolamak için bir sonuç tablosu.

2. İş verilerini kaynak tabloya eşitlemek için bir eşitleme görevi oluşturun.

3. Kaynak tablodaki verileri katmanlı olarak temizlemek ve işlemek için bir hesaplama düğümü oluşturun ve her katmanın sonucunu ilgili sonuç tablosuna yazın.

Alternatif olarak, bir tablo oluşturduktan sonra yerel verileri doğrudan DataWorks'teki kaynak tabloya yükleyebilirsiniz. Ardından, verileri temizlemek ve işlemek için bir hesaplama düğümü kullanabilir ve sonuçları sonuç tablosunda saklayabilirsiniz. Bu konudaki örnek, yerel verilerin yüklenmesini ve bir hesaplama düğümüyle temizlenmesini içermektedir.

Data Studio'ya gitme

DataWorks konsolu adresine giriş yapın. Hedef bölgede, sol gezinme bölmesinde Data Development and O&M > Data Development seçeneğine tıklayın. Açılır listeden bir çalışma alanı seçin ve Go to Data Development öğesine tıklayın.

Yordam

1. Adım 1: İş akışı oluşturma.

   Veri geliştirme, iş akışları etrafında organize edilir. Kod geliştirmeye başlamadan önce bir iş akışı oluşturmanız gerekir.

2. Adım 2: Tablo oluşturma.

   DataWorks, görsel olarak tablolar oluşturmanıza olanak tanır; bu tablolar daha sonra bir dizin yapısında görüntülenir. Veri geliştirmeye başlamadan önce, veri temizleme sonuçlarını depolamak için hesaplama motorunda bir tablo oluşturmanız gerekir.

3. Adım 3: Düğüm oluşturma.

   DataWorks, farklı hesaplama motorlarından gelen görevleri farklı düğüm türlerine kapsüller. İş ihtiyaçlarınıza göre uygun düğüm türünü seçebilirsiniz.

4. Adım 4: Düğümü düzenleme.

   Düğüm düzenleme sayfasında, düğümün veritabanı motorunun sözdizimini kullanarak iş mantığınızı yazın.

5. Adım 5: Düğüm için zamanlama ayarlarını yapılandırma.

   Düğümün periyodik olarak çalıştırılması için zamanlama özelliklerini tanımlayın.

6. Adım 6: Kodda hata ayıklama.

   DataWorks, kodunuzda hata ayıklamak ve mantığını doğrulamak için üç yöntem sunar: Kod parçacıkları için Hızlı çalıştırma, Çalıştır ve Gelişmiş çalıştırma.

7. Adım 7: Düğümü kaydetme ve gönderme.

   Düğümde hata ayıkladıktan sonra, onu kaydetmeniz ve göndermeniz gerekir.

8. Adım 8: Duman testi çalıştırma.

   Üretim görevlerinin verimli çalışmasını sağlamak ve hesaplama kaynaklarının boşa harcanmasını önlemek için, görevi dağıtmadan önce geliştirme ortamında duman testi çalıştırarak doğruluğunu onaylayın.

9. Adım 9: Görevi dağıtma.

   DataWorks yalnızca üretim ortamına dağıtılan zamanlanmış görevleri çalıştırır. Duman testi başarılı olduktan sonra, görevi üretim zamanlama sistemine dağıtmanız gerekir.

Adım 1: İş akışı oluşturma

DataWorks, veri geliştirmeyi iş akışları etrafında organize eder. İş akışları, geliştirme düğümleri için konteyner benzeri paneller kullanır ve ilgili araçları, optimizasyonları ve yönetim eylemlerini merkezi bir nesne etrafında gruplar. Bu yaklaşım, geliştirmeyi ve yönetimi basitleştirir. İlgili iş görevlerini gereksinimlerinizi karşılamak üzere tek bir iş akışında gruplayabilirsiniz.

1. DataWorks konsolu adresine giriş yapın. Hedef bölgede, sol gezinme bölmesinde Data Development and O&M > Data Development seçeneğine tıklayın. Açılır listeden bir çalışma alanı seçin ve Go to Data Development öğesine tıklayın.

2. Bir iş akışı oluşturun.

   Bir iş akışını aşağıdaki iki yoldan biriyle oluşturabilirsiniz:

   • Yöntem 1: simgesinin üzerine gelin ve Create Workflow seçeneğine tıklayın.

   • Yöntem 2: Data Studio'nun sol gezinme ağacında, Workflow öğesine sağ tıklayın ve Create Workflow seçeneğini belirleyin.

3. İş akışı için bir ad ve açıklama girin ve Create seçeneğine tıklayın.

   Bu eğitimde, Create your first scheduled task adlı bir iş akışı oluşturulur. Gerçek dünya senaryolarında, iş akışlarınızı iş gereksinimlerinize göre planlamalısınız.

   Not

   İş akışları hakkında daha fazla bilgi için bkz. İş akışı oluşturma ve yönetme.

Adım 2: Tablo oluşturma

Data Studio düğümleri kaynak verilerinizi temizler ve işler. Bu nedenle, öncelikle veri temizleme sonuçlarını depolamak ve tablo yapısını tanımlamak için hesaplama motorunda tablolar oluşturmanız gerekir.

1. Tabloları oluşturun.

   1. 1. Adımda oluşturduğunuz iş akışında alt dizini genişletin, MaxCompute > Table öğesine sağ tıklayın ve Create Table seçeneğini belirleyin.

   2. Tablo adını, motor örneğini ve diğer bilgileri yapılandırın.

   Bu eğitimde aşağıdaki iki tablo oluşturulur.

   Table name	Description
   bank_data	Ham iş verilerini depolar.
   result_table	Temizlenmiş veri sonuçlarını depolar.

   Not

   • Tablo oluşturma deyimleri için bkz. Tablo oluşturma deyimleri.

   • MaxCompute veya EMR tabloları oluşturma gibi çeşitli motorlar için görsel olarak tablo oluşturma hakkında daha fazla bilgi için bkz. Tablo oluşturma.

2. Tablo yapısını yapılandırın.

   Tablo düzenleme sayfasına gidin, DDL moduna geçin ve tablo yapısını yapılandırmak için DDL deyimlerini kullanın. Tablo yapısı oluşturulduktan sonra, General bölümünde tablo için bir Display Name girin. Ardından, tabloyu hem geliştirme hem de üretim ortamına gönderin. Tabloyu gönderdikten sonra, ilgili ortamdaki veri kaynağı projesinde görüntüleyebilirsiniz. Her ortam için bağlı veri kaynağı bilgilerini görüntülemek üzere bkz. MaxCompute hesaplama kaynaklarını bağlama.

   Not

   • Oluşturma ve güncelleme gibi tablo işlemleri, yalnızca ilgili ortama gönderildikten sonra hesaplama motorunda etkin hale gelir.

   • İş ihtiyaçlarınıza ve ekrandaki talimatlara göre tablo yapısını görsel olarak da yapılandırabilirsiniz. Görsel olarak tablo oluşturma hakkında daha fazla bilgi için bkz. MaxCompute tabloları oluşturma ve kullanma.

   Aşağıdaki ifade, bank_data tablo yapısının oluşturulması için referans niteliğindedir.

   CREATE TABLE IF NOT EXISTS bank_data
   (
    age             BIGINT COMMENT 'Age',
    job             STRING COMMENT 'Job type',
    marital         STRING COMMENT 'Marital status',
    education       STRING COMMENT 'Education level',
    default         STRING COMMENT 'Whether the user has a credit card',
    housing         STRING COMMENT 'Housing loan',
    loan            STRING COMMENT 'Personal loan',
    contact         STRING COMMENT 'Contact method',
    month           STRING COMMENT 'Month of the year',
    day_of_week     STRING COMMENT 'Day of the week',
    duration        STRING COMMENT 'Last contact duration, in seconds',
    campaign        BIGINT COMMENT 'Number of contacts performed during this campaign',
    pdays           DOUBLE COMMENT 'Days since the last contact from a previous campaign',
    previous        DOUBLE COMMENT 'Number of contacts performed before this campaign',
    poutcome        STRING COMMENT 'Outcome of the previous marketing campaign',
    emp_var_rate    DOUBLE COMMENT 'Employment variation rate',
    cons_price_idx  DOUBLE COMMENT 'Consumer price index',
    cons_conf_idx   DOUBLE COMMENT 'Consumer confidence index',
    euribor3m       DOUBLE COMMENT 'Euribor 3-month rate',
    nr_employed     DOUBLE COMMENT 'Number of employees',
    y               BIGINT COMMENT 'Whether the client has subscribed to a term deposit'
   );

   Aşağıdaki ifade, result_table tablo yapısının oluşturulması için referans niteliğindedir.

   CREATE TABLE IF NOT EXISTS result_table
   (
   education STRING COMMENT 'Education level',
   num BIGINT COMMENT 'Number of people'
   )
   PARTITIONED BY
   (
   day STRING,
   hour STRING
   );

3. Veri yükleyin.

   Ham iş verilerinizi bir DataWorks tablosunda saklayın. Bu örnekte, gerçek dünyadaki bir veri yazma senaryosunu simüle etmek için yerel dosya banking.txt DataWorks'teki bank_data tablosuna yüklenir. Veri içe aktarma sihirbazında, önce hedef tablo bank_data seçin, tablo şemasının age, job, marital, education, default ve housing gibi alanlar içerdiğini onaylayın ve ardından bölüm parametrelerini ayarlayın. Daha sonra, yerel dosya banking.txt dosyasını yükleyin, dosya biçimini CSV, sınırlayıcıyı virgül, karakter kümesini GBK ve içe aktarma başlangıç satırını 1 olarak ayarlayın ve 'İlk satır üstbilgidir' onay kutusunu işaretleyin. Son olarak, alan eşleme yöntemi olarak Match by Name seçeneğini belirleyin, kaynak ve hedef alanlar arasındaki eşlemenin doğru olduğunu onaylayın ve işlemi tamamlamak için Import Data seçeneğine tıklayın. Veri yükleme hakkında daha fazla bilgi için bkz. Yerel verileri bank_data tablosuna yükleme.

Adım 3: Düğüm oluşturma

1. Bir düğüm oluşturun.

   Bir düğümü aşağıdaki iki yoldan biriyle oluşturabilirsiniz:

   • Yöntem 1: Gezinti ağacından oluşturma.

     1. Gezinti ağacında, Workflow altında 1. Adımda oluşturduğunuz iş akışını bulun.

     2. İstenen motora sağ tıklayın ve Create Node altında uygun bir düğüm seçin.

   • Yöntem 2: İş akışı panelinden oluşturma.

     1. Gezinti ağacında, Workflow altında 1. Adımda oluşturduğunuz iş akışını bulun.

     2. Panelini açmak için iş akışına çift tıklayın.

     3. Panelin sol gezinme bölmesinde, istenen düğüme tıklayın veya tuvale sürükleyin.

2. Düğümün motor örneğini, adını ve diğer ayarlarını yapılandırın.

   Bu eğitimde, 2. Adımda oluşturulan sonuç tablosuyla aynı ada sahip result_table adlı bir ODPS SQL düğümü oluşturulur.

   Not

   Veri geliştirme için DataWorks düğümlerini kullanırken, verileri bir geliştirme düğümüyle temizler ve sonuçları bir sonuç tablosunda saklarsınız. Düğümün ürettiği tablo verilerini daha kolay bulabilmeniz için düğümü, doldurduğu sonuç tablosunun adıyla adlandırın.

   Data Studio panelinin Common Nodes bölümünde, ODPS SQL düğümünü sağdaki tuvale sürükleyerek oluşturun.

Adım 4: Düğümü düzenleme

3. Adımda oluşturduğunuz düğümü iş akışı gezinti ağacında veya iş akışı panelinde bulun. Düzenleyiciyi açmak için düğüme çift tıklayın. Düğüm türüne göre, karşılık gelen veritabanının sözdizimini kullanarak iş mantığınızı yazın.

--@exclude_output=xc_DPE_E2.result_table
--@exclude_input=bank_data
--odps sql
--***********************************************************--
--author:xxx
--create time:2022-08-11 14:33:23
--***********************************************************--
INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
    , COUNT(marital) AS num
FROM bank_data
WHERE  day='${day}' and hour='${hour}'
GROUP BY education;

INSERT OVERWRITE TABLE result_table partition (day='${day}', hour='${hour}')
SELECT education
, COUNT(marital) AS num
FROM bank_data
GROUP BY education;

Adım 5: Zamanlama ayarlarını yapılandırma

Adım 6: Kodda hata ayıklama

Adım 7: Düğümü kaydetme ve gönderme

1. Düğüm yapılandırmasını kaydetmek için araç çubuğundaki simgesine tıklayın.

2. Düğümü geliştirme ortamına göndermek için araç çubuğundaki simgesine tıklayın.

Adım 8: Duman testi çalıştırma

Adım 9: Görevi dağıtma

Standart mod bir çalışma alanında, Data Studio'da gönderdiğiniz düğümler, kaynaklar ve işlevler oluşturma, güncelleme veya silme gibi tüm değişiklikler dağıtılmayı beklemek üzere görev dağıtım sayfasına gönderilir. Bu değişiklikleri uygulamak için Task Deployment > Create Deploy Task yolunu izleyerek bunları üretim ortamına yayınlamak için bir dağıtım paketi oluşturmanız gerekir. Değişiklikler yalnızca başarılı bir dağıtımdan sonra etkin hale gelir. Daha fazla bilgi için bkz. Görevleri dağıtma.

Sonraki adımlar

Üretim ortamına dağıtılan toplu iş zamanlama görevlerini görüntülemek ve ilgili O&M işlemlerini gerçekleştirmek için Operation Center > Auto Triggered Task O&M yoluna gidebilirsiniz. Daha fazla bilgi için bkz. Periyodik görevler için temel O&M.