DataWorks, Hologres ile entegre çalışır. Bu sayede karmaşık altyapıyı yönetmenize gerek kalmadan gerçek zamanlı bir veri ambarı veya özel analiz sistemi oluşturabilirsiniz. Tek bir konsoldan Hologres görevlerini yapılandırabilir, periyodik zamanlamayı ayarlayabilir ve meta verileri yönetebilirsiniz.
Bu konu; ön koşullar, faturalama, ortam hazırlığı, izin yönetimi, veri entegrasyonu, görev geliştirme ve izleme, veri yönetişimi, analiz ve açık platform entegrasyonu dahil olmak üzere uçtan uca geliştirme sürecini kapsar.
İpucu: İş akışlarını otomatikleştirmek veya DataWorks görevlerini harici sistemlerden tetiklemek istiyorsanız Open Platform modülleri (OpenAPI, OpenEvent, Extensions) bu işlemleri programatik olarak yapmanıza olanak tanır. Yalnızca konsoldaki manuel işlemlere güvenmek zorunda kalmazsınız.
Ön koşullar
Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:
Aktif bir DataWorks örneği. Ayrıntılar için bkz. DataWorks'ü Etkinleştirme.
Bir DataWorks çalışma alanı. Ayrıntılar için bkz. Çalışma alanları oluşturma ve yönetme.
Kullanım notları
| Alan | Temel husus |
|---|---|
| Faturalama | DataWorks'te Hologres görevleri geliştirmek; DataWorks kaynakları ve geliştirme ile yürütme sırasında kullanılan diğer Alibaba Cloud hizmetleri için ücretlendirme yaratır. |
| Ortam hazırlığı | Bir DataWorks sürümü ve kaynak grubu satın alın, bir Hologres veri kaynağı ekleyin ve bu veri kaynağını çalışma alanınızla ilişkilendirin. |
| İzin yönetimi | Hologres hesaplama motoru, veri kaynağı ve ilgili tablolar üzerinde RAM kullanıcılarına izinler verin. Geliştirmeye başlamadan önce çalışma alanı düzeyinde roller atayın. |
| Veri entegrasyonu | Toplu iş, gerçek zamanlı, tam veya artımlı senkronizasyon kullanarak Hologres'ten okuyun ve Hologres'e yazın. |
| Veri modelleme ve geliştirme | Uçtan uca veri yönetişimi için Veri Modelleme, görev geliştirme ve zamanlama için DataStudio, izleme ve işletme bakımı için Operation Center kullanın. |
| Veri yönetişimi | Data Map, Güvenlik Merkezi ve Veri Yönetişimi Merkezi aracılığıyla Hologres meta verilerini yönetin ve Hologres verilerini yönetişime tabi tutun. |
| Veri analizi ve hizmetleri | SQL tabanlı analizler çalıştırın ve DataAnalysis ile DataService Studio kullanarak verileri API'ler aracılığıyla sunun. |
| Open Platform | Harici uygulama sistemlerini OpenAPI, OpenEvent ve Extensions kullanarak DataWorks ile entegre edin. |
Faturalama
DataWorks'te Hologres görevleri geliştirmek iki kategori ücret oluşturur: DataWorks üzerinden faturalandırılan ücretler ve diğer Alibaba Cloud hizmetleri tarafından ayrı olarak faturalandırılan ücretler.
DataWorks kaynakları için ücretler
Faturalandırılabilir öğelerin tam listesi için bkz. Genel Bakış.
| Ücret | Açıklama |
|---|---|
| DataWorks sürümü | Standard Edition, Professional Edition veya Enterprise Edition'ın etkinleştirilmesi, satın alma sırasında ücretlendirilir. |
| Zamanlama kaynakları | Periyodik görev zamanlaması için serverless bir kaynak grubu (önerilen) veya eski sürüm özel bir kaynak grubu gerekir. Tek bir serverless kaynak grubu hem görev zamanlamasını hem de veri senkronizasyonunu kapsar. |
| Veri senkronizasyon kaynakları | Senkronizasyon görevleri hem zamanlama kaynaklarını hem de senkronizasyon kaynaklarını tüketir. Veri Entegrasyonu için bir serverless kaynak grubu veya eski sürüm özel bir kaynak grubu satın alın. |
Görevleri manuel olarak çalıştırmak — DataStudio araç çubuğunda Run veya Run with Parameters seçeneğine tıklayarak — zamanlama ücreti oluşturmaz. Başarısız görevler ve deneme çalıştırmaları da ücretlendirilmez.
Zamanlama ücretlerinin nasıl hesaplandığına ilişkin ayrıntılar için bkz. DataWorks'te zamanlama görevlerinin verilme mantığı.
Diğer Alibaba Cloud hizmetleri için ücretler
Bu ücretler, DataWorks faturanız üzerinden değil, ilgili Alibaba Cloud hizmetleri tarafından faturalandırılır. Kullandığınız her hizmetin faturalama belgelerine göz atın.
| Ücret | Açıklama |
|---|---|
| Veritabanı ücretleri | Veritabanlarından okuma yapan veya veritabanlarına yazan veri senkronizasyon görevlerini çalıştırmak veritabanı ücretleri oluşturabilir. |
| Hesaplama ve depolama ücretleri | Bir hesaplama motorunda (örneğin, bir Hologres SQL görevi) görev çalıştırmak hesaplama ve depolama ücretleri oluşturabilir. Hologres fiyatlandırması için bkz. Hologres'in faturalandırılabilir öğeleri. |
| Ağ hizmeti ücretleri | Express Connect, Elastic IP Address (EIP) veya Internet Shared Bandwidth kullanarak DataWorks ile diğer hizmetler arasında ağ bağlantıları kurmak ağ ücretleri oluşturabilir. |
Ortam hazırlığı
Hologres görevleri geliştirmeden önce doğru DataWorks sürümünü ve kaynak grubunu satın alın, ardından Hologres örneğinizi bir çalışma alanına bağlayın.
Kaynak hazırlığı
DataWorks Basic Edition, veri geçişi, görev geliştirme, zamanlama ve veri yönetişimi dahil olmak üzere temel Hologres geliştirme iş akışlarını destekler. Gelişmiş yönetişim ve güvenlik yetenekleri için Standard Edition, Professional Edition veya Enterprise Edition'a yükseltin.
| Öğe | Seçenekler | Referans |
|---|---|---|
| DataWorks edition | Basic Edition, temel Hologres geliştirme iş akışlarını kapsar. Gelişmiş yönetişim ve güvenlik için Standard, Professional veya Enterprise Edition'a yükseltin. | DataWorks Basic Edition ile DataWorks gelişmiş sürümleri arasındaki karşılaştırma ve sürüm yükseltme açıklaması |
| Resource group | Serverless resource group (önerilen): Tek bir grup veri senkronizasyonu, zamanlama ve DataService Studio'yu kapsar. Kaynakları iş yüküne göre tahsis edin. Eski sürüm kaynak grubu: Temel zamanlama ihtiyaçlarını karşılar ancak kullanımdan kaldırılacaktır. | DataWorks kaynak gruplarına genel bakış |
Geliştirme ortamı hazırlığı
Bir Hologres örneğini veri kaynağı olarak çalışma alanınıza ekleyin, ardından DataStudio ile ilişkilendirin. Ortak geliştirmeyi etkinleştirmek için ekip üyelerini çalışma alanına ekleyin.
| Öğe | Açıklama | Referans |
|---|---|---|
| Data synchronization environment | Senkronizasyon görevlerini çalıştırmadan önce bir Hologres örneğini DataWorks çalışma alanına veri kaynağı olarak ekleyin. | Bir Hologres hesaplama kaynağını ilişkilendirme |
| Data development and analysis environment | Veri geliştirmeyi, analizi ve periyodik zamanlamayı etkinleştirmek için veri kaynağını DataStudio ile ilişkilendirin. | Bir Hologres hesaplama kaynağını ilişkilendirme; Veri geliştirmeden önce hazırlıklar: Bir hesaplama kaynağını veya kümeyi DataStudio ile ilişkilendirme |
| Collaborative development environment | RAM kullanıcılarını Geliştirici rolüyle çalışma alanına ekleyin. Her kullanıcıya Hologres hesaplama motoru örneği, Hologres veri kaynağı ve üretim ortamında erişmeleri gereken veritabanları üzerinde izinler verin. | Çalışma alanına üye ekleme; Çalışma alanı üyesi için Hologres hesaplama motorunda izinleri yapılandırma |
İzin yönetimi
DataWorks, farklı düzeylerde erişimi kontrol eden iki tamamlayıcı izin sistemi kullanır.
Veri erişim izinleri
Bir DataWorks çalışma alanında RAM kullanıcısı olarak Hologres görevleri geliştirmek için RAM kullanıcısına aşağıdakileri verin:
Hologres compute engine instance üzerindeki izinler
Çalışma alanıyla ilişkili Hologres data source üzerindeki izinler
İlgili tablolar üzerindeki izinler
Ayrıntılar için bkz. Hologres için izin yönetimi.
Hizmet ve özellik izinleri
Her RAM kullanıcısına geliştirmeye başlamadan önce çalışma alanı düzeyinde bir rol atayın. İki yetkilendirme mekanizması mevcuttur:
RAM ilke tabanlı yetkilendirme: DataWorks hizmet modülleri üzerindeki izinleri (örneğin, Data Map erişimini kısıtlama) ve konsol düzeyindeki işlemleri (örneğin, çalışma alanı silmeye izin verme) kontrol eder. Bkz. RAM ilke tabanlı yetkilendirme.
Role-based access control (RBAC): Çalışma alanı düzeyindeki modüller (örneğin, DataStudio erişimi verme) ve global düzeydeki modüller (örneğin, Data Security Guard erişimini kısıtlama) üzerindeki izinleri kontrol eder. Bkz. Role-based access control (RBAC).
Adım adım kılavuz için bkz. En iyi uygulamalar: RAM kullanıcılarına izin verme.
Başlangıç
DataWorks tüm geliştirme yaşam döngüsünü kapsar: verileri entegre edin, DataStudio'da görevler oluşturun ve zamanlayın, Operation Center'da izleyin, verileri yönetişime tabi tutun, sonuçları analiz edin ve verileri API'ler aracılığıyla sunun. Her aşama aşağıda açıklanmıştır.
Veri entegrasyonu
DataWorks Veri Entegrasyonu, Hologres'ten okuma ve Hologres'e yazma işlemlerini destekler; bir Hologres veri kaynağı ile diğer veri kaynağı türleri arasında senkronizasyon sağlar. İş yükünüze uygun senaryoyu seçin:
Toplu iş senkronizasyonu — zamanlanmış, büyük hacimli veri yüklemeleri için
Gerçek zamanlı senkronizasyon — sürekli, düşük gecikme süreli veri işlem hatları için
Tam senkronizasyon — ilk eksiksiz veri yüklemeleri için
Artımlı senkronizasyon — devam eden delta güncellemeleri için
Desteklenen tüm senaryolara genel bakış için bkz. Veri Entegrasyonuna genel bakış.
Veri modelleme ve geliştirme
| Modül | İşlevi | Referanslar |
|---|---|---|
| Veri Modelleme | Uçtan uca veri yönetişimi için ilk adımdır. Veri Modelleme, Alibaba veri orta katman metodolojisini kullanarak kurumsal verileri yapılandırır; veri ambarı planlaması, veri standartları, boyutlu modelleme ve veri ölçümlerini kapsayarak ekiplerin iş verilerini tutarlı bir şekilde yorumlamasını ve paylaşmasını sağlar. | Veri Modellemeye genel bakış |
| DataStudio | Karmaşık komut satırları olmadan Hologres görevleri geliştirin ve zamanlayın. Hologres SQL düğümlerini, şema senkronizasyon düğümlerini ve karmaşık mantığı işlemek için genel amaçlı düğüm türlerini (Shell, Assignment, Branch, Do-while, For-each ve daha fazlası) destekler. Ayrıca Hologres ile diğer veri kaynakları arasında veri senkronizasyonunu destekler; ancak DataStudio'da yalnızca toplu iş ve gerçek zamanlı senkronizasyon senaryolarının bir alt kümesi kullanılabilir. Tam liste için bkz. Veri Entegrasyonu. | Hologres geliştirme standartları; Hologres SQL düğümü oluşturma; MaxCompute tablolarının şemalarını senkronize etmek için bir düğüm oluşturma; MaxCompute verilerini senkronize etmek için bir düğüm oluşturma |
| Operation Center | Uçtan uca bir işletme bakımı ve izleme platformudur. Görev durumlarını görüntüleyin, akıllı tanılama çalıştırın, başarısız görevleri yeniden çalıştırın ve kritik görevler için çıktı zamanlamasını garanti etmek üzere akıllı temel çizgi özelliğini kullanın. | Zamanlanmış görevlerde temel işletme bakımı işlemleri gerçekleştirme |
| Veri Kalitesi | Görev zamanlamasıyla entegre olan yapılandırılabilir kurallar kullanarak Ar-Ge süreci boyunca veri kalitesini izler. Veri kalitesi sorunlarını aşağı akış tüketicilerini etkilemeden önce tespit eder ve eskalasyona tabi tutar. | Veri Kalitesine genel bakış |
DataStudio'da görevleri geliştirdikten sonra, dağıtımdan önce aşağıdakileri tamamlayın:
Zamanlama özelliklerini yapılandırın — periyodik çalıştırmaları etkinleştirmek için zamanlama bağımlılıklarını ve parametrelerini ayarlayın.
Düğümlerde hata ayıklama yapın — üretimde hesaplama kaynaklarının boşa harcanmasını önlemek için görevleri dağıtmadan önce test edin.
Üretime dağıtın — dağıtılan görevler Operation Center'daki Auto Triggered Nodes sayfasında görünür.
Düğümleri yönetin — birden çok görevde zamanlama özelliklerini dağıtın, dağıtımını kaldırın veya değiştirin.
Süreç kontrolü uygulayın — geliştirmeyi standartlaştırmak ve üretim verilerini korumak için kod incelemesi, duman testi ve özel inceleme mantığını kullanın.
Ayrıntılar için bkz. Genel Bakış, Görev hata ayıklama süreci, Görevleri yayınlama, Toplu işlemler ve Geliştirme süreci kontrolü.
Veri yönetişimi
Bir Hologres veri kaynağını bir DataWorks çalışma alanıyla ilişkilendirdikten sonra, DataWorks meta verilerini otomatik olarak toplar. Meta verileri Data Map içinde ve yönetişim sorunlarını Data Governance Center içinde görüntüleyin.
| Modül | İşlevi | Referans |
|---|---|---|
| Data Map | Kurumsal düzeyde bir meta veri yönetimi platformudur. Birleştirilmiş meta veri hizmetlerine dayanarak kuruluş genelindeki veri nesnelerini arayın, kategorilere ayırın ve anlayın. | Data Map'e genel bakış |
| Security Center, Data Security Guard, Approval Center | Veri varlığı sınıflandırma, hassas veri tanımlama, yetkilendirme yönetimi, veri maskeleme, erişim denetimi ve risk yanıtını kapsayan uçtan uca bir veri güvenlik yönetişimi platformudur. | Security Center'a genel bakış; Data Security Guard'a genel bakış; Approval Center'a genel bakış |
| Data Governance Center | Gerçek dünya veri mühendisliği deneyiminden türetilen kuralları kullanarak birden çok alandaki yönetişim sorunlarını otomatik olarak tanımlar. Olay öncesi sorun önleme ve olay sonrası iyileştirme sağlar. | Data Governance Center'a genel bakış |
Veri analizi ve hizmetleri
| Modül | İşlevi | Referans |
|---|---|---|
| DataAnalysis | Çevrimiçi SQL tabanlı analizler çalıştırın, iş verilerini keşfedin, veri kümelerini düzenleyin ve paylaşın, sorgu sonuçlarından görselleştirilmiş raporlar oluşturun. | DataAnalysis'e genel bakış |
| DataService Studio | Hem dahili hem de harici tüketiciler için merkezi olarak yönetilen API'ler aracılığıyla verileri sunun. | DataService Studio'ya genel bakış |
Open Platform
Harici uygulama sistemlerini DataWorks'e bağlayarak veri işlem hatlarını yönetin, verileri yönetişime tabi tutun, işletme bakımı işlemleri gerçekleştirin ve iş değişikliklerine programatik olarak yanıt verin.
| Modül | İşlevi | Referans |
|---|---|---|
| OpenAPI | Uygulamaları DataWorks ile entegre etmek için DataWorks API işlemlerini çağırın. Manuel işlemleri ve işletme bakımı çabasını azaltır, veri riskini en aza indirir. | OpenAPI |
| OpenEvent | Uygulamalarınızın değişiklikleri hemen algılayıp yanıt vermesini sağlamak için DataWorks değişiklik olaylarına abone olun. | OpenEvent'e genel bakış |
| Extensions | DataWorks çalışma alanı olayları tarafından tetiklenen olay odaklı süreçleri yönetmek için yerel programları uzantı olarak kaydedin. | Extensions'a genel bakış |
Ek: DataWorks ve Hologres arasındaki ilişki
Bu ekte yer alan bilgiler, standart moddaki çalışma alanları için geçerlidir. Temel modda bir çalışma alanı kullanıyorsanız, yalnızca üretim ortamı kullanılabilir ve çalışma alanıyla yalnızca bir Hologres veritabanı ilişkilendirilebilir.
DataWorks, Hologres için zamanlama, meta veri yönetimi, veri yönetişimi ve güvenlik kontrolü sağlar; ancak tüm veri hesaplama ve depolama işlemleri Hologres'te gerçekleşir. Standart moddaki bir çalışma alanında, geliştirme ve üretim ortamlarında farklı Hologres örneklerini çalışma alanıyla ilişkilendirebilir, böylece depolama ve hesaplama kaynakları ortamlar arasında yalıtılmış olur.
Bir Hologres veri kaynağı eklemeyi ve her ortamda örnekleri görüntülemeyi öğrenmek için bkz. Bir Hologres hesaplama kaynağını ilişkilendirme.
DataWorks'ün zamanlanmış görevleri Hologres'e nasıl ilettiğini anlamak için bkz. DataWorks'te zamanlama düğümlerinin verilme mantığı.