Tüm Ürünler
Search

Bu Ürün

    DataWorks:DataWorks üzerinde MaxCompute

    Belge Merkezi

    DataWorks:DataWorks üzerinde MaxCompute

    Son Güncelleme:Oct 05, 2026

    Çevrimdışı bir veri ambarı ve analiz sistemi oluşturmak için MaxCompute ile DataWorks'ü birlikte kullanın. Görev iş akışlarını görsel olarak yapılandırın, periyodik işleri zamanlayın ve meta verileri tek bir yerden yönetin.

    Önkoşullar

    • DataWorks etkinleştirilmiştir. Daha fazla bilgi için bkz. DataWorks Etkinleştirme.

    • MaxCompute etkinleştirilmiştir. Daha fazla bilgi için bkz. MaxCompute'u Etkinleştirme.

    • Bir DataWorks çalışma alanı oluşturulmuştur. Daha fazla bilgi için bkz. Çalışma Alanı Oluşturma.

    Kullanım notları

    Aşağıdaki tabloda temel geliştirme konuları açıklanmaktadır.


    Kategori


    Açıklama


    Faturalandırma


    DataWorks'teki MaxCompute görev geliştirmeleri hem DataWorks hem de ilgili hizmetler için ücretlere neden olur.


    Ortam hazırlığı


    DataWorks'te MaxCompute görevlerini geliştirmeden önce iş ihtiyaçlarınız için gerekli DataWorks sürümünü ve kaynak gruplarını satın alın ve MaxCompute veri kaynağını ilişkilendirin.


    İzin yönetimi


    DataWorks, ürün düzeyinde ve modül düzeyinde izin yönetimi sağlar ve MaxCompute veri kaynakları için görsel izin isteklerini ve onaylarını destekler.


    Başlangıç: Veri Entegrasyonu


    Veri Entegrasyonu, MaxCompute'dan veri okur ve MaxCompute'a veri yazar; toplu eşitleme, gerçek zamanlı eşitleme ve tam artımlı eşitlemeyi destekler.


    Başlangıç: Veri geliştirme ve Bakım/İşlemler


    DataWorks, büyük miktardaki karmaşık ve düzensiz verileri yapılandırmak ve yönetmek için Veri Modelleme hizmetini sağlar. Ayrıca zamanlama görevlerini geliştirmek için DataStudio özelliğini sunar. DataStudio, bu görevleri izlemek ve bakımını yapmak için İşlem Merkezi ile birlikte çalışır.


    Başlangıç: Veri yönetişimi


    DataWorks, MaxCompute için meta veri yönetimi ve veri yönetişimi sağlar.


    Başlangıç: Veri analizi ve hizmetler


    DataAnalysis, MaxCompute için veri analizi ve hizmet paylaşımı sağlar.


    Başlangıç: Açık Platform


    DataWorks, çeşitli uygulama sistemlerini hızla entegre etmenize olanak tanıyan açık yetenekler sunar. Bu sayede geliştirme süreci kontrolü, veri yönetişimi ve bakım/işlemler kolaylaşır; entegre sistemlerden gelen iş durumu değişikliklerine hızlı yanıt vermenize yardımcı olur.

    Faturalandırma

    DataStudio ve İşlem Merkezi, MaxCompute veri eşitleme ve işleme görevlerini periyodik olarak zamanlamanıza olanak tanır. Bu özellikler aşağıdaki ücretlere neden olur.

    1. DataWorks ücretleri

    Bu ücretler DataWorks faturanızda görünür. DataWorks faturalandırması hakkında daha fazla bilgi için bkz. DataWorks'ün Faturalandırılan Öğeleri.

    Ücret

    Açıklama

    DataWorks sürüm ücreti

    Görevleri geliştirebilmeniz için DataWorks'ü etkinleştirmeniz gerekir. Standart Sürüm, Profesyonel Sürüm ve Kurumsal Sürüm ücretli abonelik gerektirir.

    Zamanlama kaynağı ücreti

    Görevlerin zamanlanmış olarak çalıştırılması için zamanlama kaynaklarına ihtiyacı vardır. Sunucusuz bir kaynak grubu (önerilen) veya eski sürüm özel kaynak grubu kullanabilirsiniz.

    Not

    Sunucusuz kaynak grubu hem görev zamanlaması hem de veri eşitlemesi için kullanılabilir.

    Eşitleme kaynağı ücreti

    Veri eşitleme görevleri, zamanlama kaynaklarına ek olarak özel eşitleme kaynakları gerektirir. Veri entegrasyonu için sunucusuz bir kaynak grubu (önerilen) veya eski sürüm özel kaynak grubu kullanabilirsiniz.
    Not

    • DataStudio sayfasında Çalıştır veya Parametrelerle Çalıştır özelliği kullanılarak çalıştırılan görevler için zamanlama ücreti alınmaz.

    • Çalıştırılamayan veya kuru çalıştırma (dry run) olarak çalışan görevler için zamanlama ücreti alınmaz.

    DataWorks'ün zamanlama görevlerini nasıl dağıttığı ve faturalandırma ayrıntılarını daha iyi anlamanızı sağlayacak bilgiler için bkz. DataWorks Zamanlama Görevlerini Nasıl Dağıtır.

    2. DataWorks dışı ücretler

    Bu ücretler DataWorks faturanızda görünmez. Görevleri geliştirirken ve çalıştırırken aşağıdaki ücretlere tabi olabilirsiniz:

    Önemli

    Diğer hizmetlerden gelen ücretler kendi faturalandırma kurallarına tabidir. Ayrıntılar için her hizmetin faturalandırma belgelerine bakın. MaxCompute faturalandırması için bkz. MaxCompute'un Faturalandırılan Öğeleri.


    Ücret


    Açıklama


    Veritabanı ücretleri


    Veri eşitleme sırasında yukarı akış ve aşağı akış veritabanlarından okuma veya bunlara yazma işlemi veritabanı ücretlerine neden olabilir.


    Hesaplama ve depolama ücretleri


    Bir hesaplama motorunda görev çalıştırmak hesaplama ve depolama ücretlerine neden olabilir. Örneğin, tablo oluşturan ve veri yazan bir MaxCompute SQL görevi MaxCompute hesaplama ve depolama ücretlerine neden olur.


    Ağ hizmeti ücretleri


    DataWorks ile ilgili hizmetler arasındaki ağ bağlantıları ücretlere neden olabilir. Örneğin, Express Connect, İnternet Paylaşımlı Bant Genişliği veya Elastik IP Adresi (EIP) kullanımı ilgili hizmetlerden ücretlendirilir.

    Ortam hazırlığı

    1. Kaynak hazırlığı

    DataWorks; Standart, Profesyonel ve Kurumsal sürümlerin yanı sıra kiracıya özgü sunucusuz kaynak grupları sunar. İhtiyaçlarınıza uygun bir sürüm ve kaynak grubu seçin.

    Kategori

    Açıklama

    İlgili belgeler

    Sürüm seçimi

    DataWorks Temel Sürüm; MaxCompute için temel veri geçişi, geliştirme, zamanlama ve basit veri yönetişimini kapsar. Gelişmiş veri yönetişimi ve güvenlik özellikleri için Standart, Profesyonel veya Kurumsal Sürümü seçin.

    DataWorks sürümlerini karşılaştırma ve yükseltme

    Kaynak grubu seçimi

    • Sunucusuz kaynak grubu (Önerilen): Tek bir kaynak grubu tüm özellikleri kapsar — Veri Entegrasyonu, görev zamanlama ve DataService Studio. İhtiyaçlarınıza göre kaynakları planlayıp tahsis edebilirsiniz.

    • Eski sürüm kaynak grupları (eski sürüm özel kaynak grupları ve paylaşılan kaynak grupları): Temel zamanlama gereksinimlerini karşılar. Bu kaynak grupları gelecekte kullanımdan kaldırılacaktır.

    DataWorks kaynak gruplarına genel bakış

    2. Geliştirme ortamı hazırlığı

    Bir DataWorks çalışma alanı için veri kaynağı olarak bir MaxCompute projesi oluşturun, bunu DataStudio ile ilişkilendirin ve isteğe bağlı olarak ortak geliştirme için çalışma alanı üyeleri ekleyin.

    Kategori

    Açıklama

    İlgili belgeler

    Veri eşitleme ortamı

    MaxCompute eşitleme görevlerini çalıştırmadan önce MaxCompute projesini çalışma alanına veri kaynağı olarak ekleyin. Ardından buna yönelik eşitleme görevlerini çalıştırabilirsiniz.

    MaxCompute hesaplama motorunu bir çalışma alanıyla ilişkilendirme

    Veri geliştirme ve analiz ortamı

    MaxCompute zamanlama görevlerini çalıştırmadan önce MaxCompute projesini çalışma alanına veri kaynağı olarak ekleyin ve DataStudio ile ilişkilendirin. İlişkilendirildikten sonra görevleri geliştirebilir, analiz edebilir ve periyodik olarak zamanlayabilirsiniz.

    Ortak geliştirme ortamı

    RAM kullanıcılarının bir çalışma alanında ortak geliştirme yapmasına izin vermek için onları çalışma alanı üyesi olarak ekleyin ve geliştirmeyle ilgili bir rol atayın.

    Çalışma alanına üye ekleme

    İzin yönetimi

    DataWorks, ürün düzeyinde ve modül düzeyinde izin yönetimini destekler; MaxCompute veri kaynakları için görsel izin istekleri ve onayları sunar. Aşağıdaki bölümlerde izin yönetimi ayrıntılı olarak açıklanmaktadır.

    1. Veri erişimi ve izin yönetimi

    MaxCompute SQL düğümü veya geçici sorgu düğümü kullanarak MaxCompute tablo verilerini sorgulayabilirsiniz. Temel moddaki bir çalışma alanı ayrıntılı izin yönetimini veya geliştirme ve üretim ortamları arasında izolasyonu desteklemez. Aşağıdaki örnekte standart moddaki bir çalışma alanı kullanılmaktadır.

    • Varsayılan izinler

      Bir RAM kullanıcısı çalışma alanına eklendikten sonra varsayılan veri erişim izinleri şunlardır:


      İzin türü


      Açıklama


      MaxCompute geliştirme projesi izinleri


      DataWorks, önceden tanımlanmış çalışma alanı düzeyindeki rolleri geliştirme ortamındaki MaxCompute veri kaynağı rollerine eşler. Çalışma alanı rolüne sahip bir RAM kullanıcısı, eşlenen veri kaynağı rolünün izinlerini devralır. Varsayılan olarak RAM kullanıcısı geliştirme projesinde izinlere sahiptir ancak üretim projesinde izinlere sahip değildir.


      MaxCompute üretim projesi izinleri

      Yalnızca zamanlama erişim kimliği verilen RAM kullanıcıları üretim ortamındaki MaxCompute projesinde geniş kapsamlı izinlere sahiptir. Diğer RAM kullanıcılarının üretim projesinde izni yoktur. Üretim tablolarında işlem yapmak için Güvenlik Merkezi'ne giderek izin isteyin.

      DataWorks varsayılan bir onay süreci sağlar ve ayrıca yöneticilerin onay iş akışlarını özelleştirmesine olanak tanır.

      MaxCompute veri erişim kontrolü hakkında daha fazla bilgi için bkz. MaxCompute veri izin yönetimi.

    • Veri erişim davranışı

      MaxCompute, projeler arası tablo sorgularını destekler. DataStudio'da proje adını belirterek projeler arasında üretim verilerini sorgulayabilirsiniz. Aşağıdaki tabloda projeler arası tablo erişimi ve kullanılan hesaplar açıklanmaktadır.

      Not

      • Farklı ortamlar için oluşturulan veri kaynaklarını ve bunlar için yapılandırılan yürütme hesaplarını çalışma alanının veri kaynağı bilgilerinde görüntüleyebilirsiniz. Daha fazla bilgi için bkz. MaxCompute hesaplama motorunu bir çalışma alanıyla ilişkilendirme.

      • Standart moddaki bir DataWorks çalışma alanında, geliştirme ortamındaki görevler varsayılan olarak görev yürütücünün kişisel kimliği kullanılarak çalıştırılır. Üretim ortamındaki görevler ise belirli bir Alibaba Cloud hesabı, yani zamanlama erişim kimliği kullanılarak çalıştırılır. Daha fazla bilgi için bkz. MaxCompute hesaplama motorunu bir çalışma alanıyla ilişkilendirme.

      Kod örneği

      Geliştirmede yürütme

      Üretimde yürütme

      Geliştirme projesindeki bir geliştirme tablosuna erişim:

      select col1 from projectname_dev.tablename;

      Görev yürütücünün kişisel Alibaba Cloud hesabı geliştirme tablosuna erişir.

      • Görevi bir RAM kullanıcısı çalıştırıyorsa RAM kullanıcısının kişisel hesabı kullanılır.

      • Görevi birincil Alibaba Cloud hesabı çalıştırıyorsa o hesap kullanılır.

      Zamanlama erişim kimliği geliştirme tablosuna erişir.

      Üretim projesindeki bir üretim tablosuna erişim:

      select col1 from projectname.tablename;

      Görev yürütücünün kişisel Alibaba Cloud hesabı üretim tablosuna erişir.

      Not

      Güvenlik kontrolleri nedeniyle varsayılan olarak kişisel hesapların üretim tablolarına erişim izni yoktur. İzin istemek için Güvenlik Merkezi'ne gitmeniz gerekir. DataWorks varsayılan bir onay süreci sağlar ve ayrıca özel onay iş akışlarını da destekler.

      Zamanlama erişim kimliği üretim tablosuna erişir.

      Geçerli ortamdaki bir tabloya erişim (örneğin, geliştirme ortamındaki bir geliştirme tablosu):

      select col1 from tablename;

      Geliştirme ortamında çalıştırıldığında görev, hedef tabloya geliştirme veri kaynağında erişmek için görev yürütücünün kişisel Alibaba Cloud hesabını kullanır.

      Üretim ortamında çalıştırıldığında görev, hedef tabloya üretim veri kaynağında erişmek için zamanlama erişim kimliğini kullanır.

    2. Özellik modülü izin yönetimi

    Veri geliştirmeye başlamadan önce kullanıcılara uygun işlem izinleri vermek için kullanıcılara çalışma alanı rolleri atayın. Aşağıdaki izin modelleri kullanılabilir:

    • RAM ilkesi tabanlı yetkilendirme modeli, DataWorks özellik modüllerindeki izinleri (örneğin, Veri Haritası'na erişimi reddetme) ve konsol işlemlerini (örneğin, kullanıcıların çalışma alanlarını silmesine izin verme) yönetir.

    • RBAC modeli çalışma alanı düzeyindeki modüllerdeki izinleri (örneğin, kullanıcıların geliştirme için DataStudio'ya erişmesine izin verme) ve genel modüllerdeki izinleri (örneğin, Veri Güvenliği Koruma modülüne erişimi reddetme) yönetir.

    开发流程

    Başlangıç

    DataWorks birden çok özellik modülü sunar. DataStudio'da zamanlama görevlerini geliştirin, ardından bunları İşlem Merkezi'nde izleyip yönetin. DataWorks ayrıca operasyonları standartlaştırmak ve güvenliği sağlamak için geliştirme süreci kontrolü sağlar.

    1. Veri Entegrasyonu

    Veri Entegrasyonu, MaxCompute'dan veri okur ve MaxCompute'a veri yazar. MaxCompute ile diğer veri kaynakları arasında toplu, gerçek zamanlı ve tam veya artımlı modlarda veri eşitleyebilirsiniz. Daha fazla bilgi için bkz. Veri Entegrasyonu.

    2. Veri geliştirme ve Bakım/İşlemler

    Modül

    Açıklama

    İlgili belgeler

    Veri Modelleme

    Alibaba'nın veri orta platform metodolojisini kullanarak veri ambarı planınızı, veri standartlarınızı, boyutlu modellerinizi ve veri ölçümlerinizi tanımlamanıza yardımcı olur. Bu sayede kuruluşlar verileri hızlı ve tutarlı bir şekilde anlayıp kullanabilir.

    Veri Modelleme

    DataStudio

    DataWorks, MaxCompute hesaplama motoru yeteneklerini kapsülleyerek veri eşitleme ve geliştirme görevlerini çalıştırmanıza olanak tanır.

    • Veri eşitleme: Verileri diğer veri kaynaklarından bir MaxCompute veri kaynağına veya bir MaxCompute veri kaynağından diğer veri kaynaklarına eşitleyebilirsiniz. DataStudio yalnızca bazı toplu eşitleme ve gerçek zamanlı eşitleme senaryolarını destekler. Daha fazla veri eşitleme uygulaması için Veri Entegrasyonu sayfasına gidin.

    • Veri geliştirme: Karmaşık komut satırı araçlarını kullanmadan DataWorks'te çeşitli görev türleri geliştirin ve bunları periyodik olarak zamanlayın.

    Karmaşık mantığı işlemek için genel amaçlı düğümleri ve hesaplama motoru düğümlerini birleştirin.

    Temel düğümler şunlardır:

    • İş süreçlerini kontrol etmek için sanal düğümler.

    • Harici sistemlerden zamanlamayı tetiklemek için HTTP tetikleyici, OSS Nesne Kontrolü ve FTP Kontrolü düğümleri.

    • Yukarı akış ve aşağı akış düğümleri arasında parametre aktarmak için atama ve parametre düğümleri.

    • Kodu döngüye sokmak için do-while düğümleri, yukarı akış düğümlerinin atama sonuçlarını yinelemek ve değerlendirmek için for-each düğümleri ve dallanma düğümleri.

    • Genel amaçlı Shell düğümleri ve MySQL veritabanı düğümleri gibi diğer düğümler.

    Bir düğüm görevi geliştirdikten sonra ihtiyaca göre aşağıdaki işlemleri gerçekleştirebilirsiniz:

    • Zamanlama yapılandırması

      Düğüm görevinin periyodik olarak çalışması gerekiyorsa zamanlama bağımlılıkları ve parametreler gibi zamanlama özelliklerini tanımlayabilirsiniz.

    • Düğüm hata ayıklama

      Üretim görevlerinin verimli çalışmasını sağlamak ve hesaplama kaynaklarının israfını önlemek için görevi dağıtmadan önce hata ayıklayın.

    • Düğüm dağıtımı

      Bir görevin periyodik olarak zamanlanması için üretim ortamına dağıtılması gerekir. Dağıtımdan sonra Operation and Maintenance Center > Auto Triggered Node bölümüne giderek zamanlanan görevi görüntüleyebilir ve yönetebilirsiniz.

    • Düğüm yönetimi

      Düğüm görevlerini dağıtabilir veya dağıtımını geri alabilir ve zamanlama özelliklerini toplu olarak değiştirebilirsiniz.

    • Geliştirme süreci kontrolü

      DataWorks, görevle ilgili işlemlerin doğruluğunu ve güvenliğini sağlamak için kod incelemesi, zorunlu duman testi ve özel kontrol mantığı gibi görev geliştirme ve dağıtımı için geliştirme süreci kontrolü sunar.

    İşlem Merkezi

    İşlem Merkezi, büyük veri görevleri için tek duraklı bir bakım/işlem ve izleme platformudur. Gerçek zamanlı görev durumu izleme, anormal görevler için akıllı tanılama ve yeniden çalıştırma sağlar. Akıllı temel çizgi özelliği, öngörülemeyen tamamlanma sürelerini ele alarak ve geniş ölçekli görev izlemeyi basitleştirerek görev çıktısının zamanında yapılmasını sağlamaya yardımcı olur.

    Otomatik tetiklenen düğümler için temel bakım/işlem

    Veri Kalitesi

    Veri Kalitesi, tüm veri geliştirme yaşam döngüsü boyunca veri kullanılabilirliğini sağlar. Veri kalitesi kurallarını verimli bir şekilde doğrulayarak ve görev zamanlama süreciyle sıkı entegrasyon sağlayarak kalite sorunlarını en erken aşamada tespit etmenize ve veri kalitesi sorunlarının yayılmasını önlemenize yardımcı olur. Bu sayede işiniz için verimli, güvenilir ve güvenilir bir veri kaynağı sunar.

    Veri Kalitesine Genel Bakış

    3. Veri yönetişimi

    Bir MaxCompute veri kaynağını ilişkilendirdikten sonra DataWorks meta verilerini otomatik olarak toplar. Meta verileri görüntülemek için Veri Haritası'nı kullanın veya algılanan sorunları görüntülemek ve çözmek için Veri Yönetişimi Merkezi'ni kullanın.

    Modül

    Açıklama

    İlgili belgeler

    Veri Haritası

    Birleşik bir meta veri temeli kullanarak veri nesnelerini yönetmenize, envanterini çıkarmanıza, bulmanıza ve anlamanıza yardımcı olur.

    Veri Haritasına Genel Bakış

    Güvenlik Merkezi

    Veri Güvenliği Koruma

    Onay Merkezi

    Güvenlik Merkezi; veri varlığı sınıflandırması, hassas veri tanımlama, veri yetkilendirme, hassas veri maskeleme, erişim denetimi ve risk tanımlama ile yanıt verme işlevlerini entegre eden tek duraklı bir veri güvenliği yönetişimi platformudur.

    Veri Yönetişimi Merkezi

    Veri Yönetişimi Merkezi, veri yönetişimini proaktif ve sistematik bir şekilde gerçekleştirmenize yardımcı olur. Veri alanı kural şablonlarını kullanır, optimizasyon gerektiren varlıkları otomatik olarak tanımlar ve hem olay öncesi hem de olay sonrası yönetişim stratejileri sağlar.

    Veri Varlığı Yönetişimine Genel Bakış

    4. Veri analizi ve hizmetler

    DataWorks veri işleme, analiz ve hizmet yetenekleri sağlar; verimli veri paylaşımı için merkezi olarak yönetilen API'ler sunar.


    Modül


    Açıklama


    İlgili belgeler


    DataAnalysis


    Çevrimiçi SQL sorguları çalıştırın, iş içgörüsü kazanın ve verileri düzenleyip paylaşın. Sorgu sonuçlarını grafik kartları olarak kaydederek görsel veri raporları oluşturabilirsiniz.


    DataAnalysis


    DataService Studio


    DataService Studio kapsamlı veri hizmeti ve paylaşım yetenekleri sağlar; kuruluşların dahili ve harici kullanım için API hizmetlerini merkezi olarak yönetmesine yardımcı olur.


    DataService Studio

    5. Açık Platform

    DataWorks Açık Platform, uygulama sistemlerini DataWorks ile entegre etmenize yardımcı olarak geliştirme süreci kontrolü, veri yönetişimi, bakım/işlem ve iş durumu değişikliklerine gerçek zamanlı yanıt vermenizi sağlar.


    Kategori


    Açıklama


    İlgili belgeler


    OpenAPI


    OpenAPI, şirket içi hizmetler ile DataWorks arasında etkileşim için API'ler sağlar; manuel işlemleri, bakım/işlem yükünü, veri risklerini ve maliyetleri azaltırken büyük veri işleme verimliliğini artırır.


    OpenAPI


    OpenEvent


    OpenEvent bir mesaj abonelik hizmeti sağlar. DataWorks olaylarına abone olarak uygulamalarınız durum değişikliklerini gerçek zamanlı alır; bu sayede zamanında yanıt verebilir ve kişiselleştirilmiş kararlar alabilirsiniz.


    OpenEvent'e Genel Bakış


    Uzantılar


    Uzantılar, abone olunan OpenEvent mesajlarını engellemek ve bunlara yanıt vermek için bir hizmet programı kaydetmenize olanak tanır; bu sayede belirli olaylar için bildirimler ve süreç kontrolü sağlanır.


    Uzantılara Genel Bakış

    Ek: DataWorks ve MaxCompute Arasındaki İlişki

    Not

    Temel moddaki bir çalışma alanında yalnızca bir üretim ortamı bulunur ve tek bir MaxCompute projesine karşılık gelir. Aşağıdaki örnekte standart moddaki bir çalışma alanı kullanılmaktadır.

    DataWorks; MaxCompute için görev zamanlama, meta veri yönetimi, veri yönetişimi ve veri güvenlik kontrolü sağlar; hesaplama ve depolama ise MaxCompute içinde gerçekleşir. Standart modda DataWorks, depolama ve kaynakları izole etmek için geliştirme ve üretim ortamlarıyla ayrı MaxCompute projelerini ilişkilendirir.

    引擎绑定