DataWorks, komut satırı betikleri yazmanıza gerek kalmadan E-MapReduce (EMR) kümeleri üzerinde büyük veri işlem hatlarını oluşturmanıza ve zamanlamanıza olanak tanır. DataStudio'da Hive, MapReduce (MR), Presto, Spark SQL ve diğer düğüm türlerini oluşturun, periyodik zamanlamayı etkinleştirin ve İşlemler Merkezi'nde işleri izleyin — tüm bunları tek bir konsoldan yönetebilirsiniz.
Nasıl çalışır?
Alibaba Cloud, farklı kullanıcıların iş gereksinimlerini karşılamak üzere ECS üzerinde EMR, ACK üzerinde EMR ve EMR Serverless StarRocks hizmetlerini sunar.
DataWorks üzerinde geliştirme süreci üç aşamadan oluşur:
Kurulum — Uygun DataWorks sürümünü ve kaynak grubunu satın alın, bir EMR kümesi oluşturun ve bunu çalışma alanınıza kaydedin.
Geliştirme — DataStudio'da EMR düğümleri oluşturun ve zamanlayın. Verileri EMR Hive içine ve dışına taşımak için Veri Entegrasyonu'nu kullanın.
İşletme — Zamanlanan görevleri İşlemler Merkezi'nde izleyin, meta verileri Veri Haritası'nda yönetin ve Veri Kalitesi kurallarıyla veri kalitesini sağlayın.
Desteklenen küme türleri
Sınırlamalar
İzinler
Bir EMR kümesini DataWorks'e yalnızca aşağıdaki kimlikler kaydedebilir:
Bir Alibaba Cloud hesabı (kök hesap)
DataWorks Workspace Administrator role rolüne ve
AliyunEMRFullAccessilkesine sahip bir RAM kullanıcısı veya RAM rolüHem
AliyunDataWorksFullAccesshem deAliyunEMRFullAccessilkelerine sahip bir RAM kullanıcısı veya RAM rolü
Ayrıntılar için RAM kullanıcısına izin verme konusuna bakın.
Bölge kullanılabilirliği
EMR Serverless Spark şu bölgelerde kullanılabilir: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Shenzhen), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Endonezya (Cakarta), Almanya (Frankfurt) ve ABD (Virginia).
Görev türü kısıtlamaları
DataWorks, EMR Flink görevlerini desteklemez.
EMR görevlerini sunucusuz kaynak grupları (önerilen) veya zamanlama için özel kaynak grupları (eski) kullanarak çalıştırın.
Veri soy ağacı
Yalnızca EMR Hive, EMR Spark ve EMR Spark SQL düğümlerindeki SQL görevleri veri soy ağacı oluşturur:
| Küme sürümü | Soy ağacı desteği |
|---|---|
| 5.9.1, 3.43.1 veya üzeri (Hive ve Spark SQL) | Tablo düzeyinde ve alan düzeyinde soy ağacı |
| 5.8.0, 3.42.0 veya üzeri (Spark türü düğümler) | Tablo düzeyinde ve alan düzeyinde soy ağacı |
| 5.8.0 veya 3.42.0'dan önceki sürümler (Spark türü düğümler) | Yalnızca tablo düzeyinde soy ağacı (yalnızca Spark 2.x) |
Veri Gölü veya özel kümeler için meta veri yönetimini kullanmak üzere öncelikle kümede EMR-HOOK'u yapılandırın. EMR-HOOK olmadan meta veriler gerçek zamanlı olarak görüntülenmez, denetim günlükleri oluşturulmaz ve DataWorks'te veri soy ağacı kullanılamaz. EMR-HOOK yalnızca EMR Hive ve EMR Spark SQL hizmetlerini destekler. Ayrıntılar için Hive için EMR-HOOK yapılandırma ve Spark SQL için EMR-HOOK yapılandırma konularına bakın.
Kerberos kümeleri
Kerberos kimlik doğrulaması etkinleştirilmiş EMR kümeleri için, kaynak grubunuzla ilişkili vSwitch CIDR bloğundan UDP erişimine izin vermek amacıyla güvenlik grubuna gelen bir kural ekleyin.
Güvenlik grubunu bulmak ve kuralı eklemek için:
EMR kümesinin Basic Information sekmesinde, Cluster Security Group yanındaki simgesine tıklayarak Security Group Details sayfasını açın.
Rule bölümünde Inbound seçeneğine tıklayın, ardından Add Rule öğesini seçin.
Protocol Type değerini Custom UDP olarak ayarlayın.
Port Range için KDC bağlantı noktasını öğrenmek üzere EMR kümesindeki
/etc/krb5.confdosyasını kontrol edin.Destination değerini kaynak grubunuzla ilişkili vSwitch CIDR bloğuna ayarlayın.
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Bir EMR kümesini kaydetmek için gerekli izinlere sahip bir RAM kullanıcısı veya rolüne sahip bir Alibaba Cloud hesabı (bkz. yukarıdaki İzinler)
DataWorks etkinleştirilmiş ve bir çalışma alanı oluşturulmuş — bkz. Satın alma ve Çalışma alanlarını yönetme
Bir EMR kümesi oluşturulmuş — bkz. Küme oluşturma. Kümeniz için doğru hizmetleri seçmek üzere EMR kümesi yapılandırma önerileri bölümüne bakın.
Bir DataWorks sunucusuz kaynak grubu satın alınmış — bkz. Sunucusuz kaynak gruplarını kullanma. Sunucusuz kaynak grupları hem veri senkronizasyonunu hem de görev zamanlamasını desteklediğinden çoğu kullanım durumu için uygundur. Yeni kullanıcılar yalnızca sunucusuz kaynak grupları satın alabilir.
Eski bir özel kaynak grubunuz varsa bunu hala EMR görevlerini çalıştırmak için kullanabilirsiniz. Veri senkronizasyon görevleri için Veri Entegrasyonu için özel kaynak grubu, zamanlama görevleri için ise zamanlama için özel kaynak grubu kullanın. Bkz. Eski kaynak gruplarını kullanma .
Faturalama
DataWorks'te EMR görevleri çalıştırdığınızda ücretler iki kaynaktan oluşur.
Kaynak oluşturmadan önce maliyet yapısını anlayın. EMR küme ücretleri örnek türüne, bölgeye ve çalışma süresine göre değişir. Beklenmeyen ücretlerden kaçınmak için artık ihtiyaç duymadığınız kümeleri ve kaynak gruplarını silin.
DataWorks ücretleri
| Öğe | Açıklama |
|---|---|
| DataWorks sürümü | Standard, Professional veya Enterprise Edition'ı etkinleştirmek sürüm ücretlerine neden olur. |
| Zamanlama kaynak grubu | Zamanlama için sunucusuz veya özel bir kaynak grubu satın almak kaynak grubu ücretlerine neden olur. |
| Veri senkronizasyon kaynak grubu | Veri senkronizasyon görevleri zamanlama kaynaklarını tüketir. Sunucusuz bir kaynak grubu hem görev zamanlamasını hem de veri senkronizasyonunu kapsar. |
DataWorks faturalandırılabilir öğelerinin tam dökümü için bkz. Faturalandırmaya genel bakış.
Diğer Alibaba Cloud hizmeti ücretleri
Aşağıdaki ücretler DataWorks faturanızda değil, ilgili Alibaba Cloud hizmetlerinden ayrı faturalarda görünür.
| Öğe | Ücretlerin ne zaman oluştuğu |
|---|---|
| Veritabanı ücretleri | Veri senkronizasyon görevleri veritabanlarından okuma veya yazma yaptığında. |
| Hesaplama ve depolama ücretleri | Görevler bir EMR kümesinde çalıştığında. EMR faturalandırması için bkz. Faturalandırma. |
| Ağ hizmeti ücretleri | DataWorks ile diğer hizmetler arasında ağ bağlantıları kurulduğunda (örneğin, Express Connect veya Elastik IP Adresi). |
Ortam hazırlığı
Kaynak hazırlığı
| Öğe | Açıklama | Başvurular |
|---|---|---|
| DataWorks sürümü | Basic Edition; veri taşıma, görev geliştirme, EMR zamanlama ve veri yönetişimi gibi temel işlemleri kapsar. Gelişmiş yönetişim ve güvenlik özellikleri için Standard, Professional veya Enterprise Edition'a yükseltin. | Sürüme göre özellikler |
| Kaynak grubu | EMR görevlerini çalıştırmak için sunucusuz kaynak gruplarını (önerilen) veya eski özel kaynak gruplarını kullanın. | Sunucusuz kaynak gruplarını kullanma / Eski kaynak gruplarını kullanma |
Geliştirme ortamı hazırlığı
Ortak geliştirmeye başlamadan önce bir EMR kümesini DataWorks çalışma alanınıza kaydedin ve ekip üyelerini ekleyin.
| Öğe | Açıklama | Başvurular |
|---|---|---|
| Veri senkronizasyon ortamı | Veri senkronizasyon görevlerini çalıştırmadan önce EMR hizmetini DataWorks'te veri kaynağı olarak ekleyin. | Desteklenen veri kaynakları |
| Veri geliştirme ve analiz ortamı | Veri geliştirmeyi, analizi ve periyodik zamanlamayı etkinleştirmek için EMR kümesini DataWorks'te veri kaynağı olarak kaydedin. | EMR kümesi kaydetme |
| Ortak geliştirme ortamı | Ekip üyelerinin bir çalışma alanında birlikte veri geliştirmesini sağlamak için: (1) RAM kullanıcılarını çalışma alanına ekleyin ve onlara Development rolünü atayın. (2) Çalışma alanı üyelerini EMR kümesine ekleyin. | Çalışma alanı düzeyinde izinler / OpenLDAP kullanıcılarını yönetme |
İzin yönetimi
DataWorks, veri erişimi ve hizmet özellikleri olmak üzere iki düzeyde izin yönetimi sağlar.
Veri erişim izinleri
Çalışma alanı üyelerinin doğru küme düzeyinde izinlere sahip olması için RAM kullanıcıları ile EMR küme hesapları arasında eşlemeler yapılandırın. Bkz. Küme kimlik eşlemesi yapılandırma.
Meta veri depolama hizmetiniz olarak Data Lake Formation (DLF) kullanıyorsanız veri erişim izinlerini doğrudan DataWorks Güvenlik Merkezi'nde yönetin — bu, izin isteklerini, onayları ve denetimleri içerir. Bkz. DLF veri erişim denetimi.
Hizmet ve özellik izinleri
RAM kullanıcıları veri geliştirmeye başlamadan önce onlara çalışma alanı düzeyinde roller atayın. Rehberli kurulum için bkz. En iyi uygulamalar: RAM kullanıcılarına izin verme.
DataWorks global modüllerine erişimi kontrol etmek için (örneğin, Veri Haritası'na erişimi kısıtlama veya çalışma alanı silmeye izin verme) bkz. Global modül izin denetimi.
Çalışma alanı düzeyindeki modüllere erişimi kontrol etmek için (örneğin, DataStudio erişimi verme veya Veri Güvenlik Koruyucusu'nu kısıtlama) bkz. Çalışma alanı düzeyinde modül izin denetimi.
Başlarken
Veri entegrasyonu
Veri Entegrasyonu, EMR Hive'dan veri okumanıza ve buraya veri yazmanıza olanak tanır. Önce Hive hizmetini veri kaynağı olarak ekleyin, ardından senkronizasyon işlem hatlarını kurun. Desteklenen senaryolar arasında toplu iş, tam ve artımlı senkronizasyon bulunur. Bkz. Veri Entegrasyonuna genel bakış.
Veri modelleme ve geliştirme
Veri Modelleme
Veri Modelleme, Alibaba'nın veri orta katman metodolojisini kullanarak büyük hacimli düzensiz verileri yapılandırır ve yönetir. Veri ambarı planlaması, veri standartları, boyutlu modelleme ve veri metriklerini kapsayarak ekiplerin iş verileri konusunda ortak bir anlayış paylaşmasına yardımcı olur. Bkz. Veri Modellemeye genel bakış.
DataStudio
DataStudio, komut satırı araçlarını kullanmadan EMR düğümleri oluşturabileceğiniz, zamanlayabileceğiniz ve hata ayıklayabileceğiniz geliştirme ortamıdır.
Kullanılabilir EMR düğüm türleri:
| Düğüm türü | Oluşturma kılavuzu |
|---|---|
| EMR Hive düğümü | EMR Hive düğümü oluşturma |
| EMR MR düğümü | EMR MR düğümü oluşturma |
| EMR Spark SQL düğümü | EMR Spark SQL düğümü oluşturma |
| EMR Spark düğümü | EMR Spark düğümü oluşturma |
| EMR Shell düğümü | EMR Shell düğümü oluşturma |
| EMR Presto düğümü | EMR Presto düğümü oluşturma |
| EMR Spark Streaming düğümü | EMR Spark Streaming düğümü oluşturma |
| EMR Kyuubi düğümü | EMR Kyuubi düğümü oluşturma |
| EMR Trino düğümü | EMR Trino düğümü oluşturma |
| EMR tablosu | EMR tablosu oluşturma |
| EMR kaynağı | EMR kaynağı oluşturma |
| EMR işlevi | EMR işlevi oluşturma |
Genel amaçlı düğüm türleri karmaşık iş akışı mantığı için de kullanılabilir:
| Kategori | Düğüm türleri |
|---|---|
| İş akışı denetimi | Zero load node |
| Olaya dayalı tetikleyiciler | HTTP Trigger node, OSS object inspection node, FTP Check node |
| Parametre aktarma | Assignment node, Parameter node |
| Döngü ve dallanma mantığı | Do-while node, For-each node, Branch node |
| Diğer | Common Shell node, MySQL database node |
Referans kılavuzlarına bakın: Zero load node, HTTP Trigger node, OSS object inspection node, FTP Check node, Assignment node, Parameter node, Do-while node logic, For-each node logic ve Configure a branch node.
Düğümleri geliştirdikten sonra tipik sonraki adımlar şunlardır:
Zamanlama özelliklerini yapılandırın — Periyodik yürütmeyi etkinleştirmek için bağımlılıkları ve zamanlama parametrelerini ayarlayın. Bkz. Zamanlama özelliklerine genel bakış.
Düğümlerde hata ayıklayın — Hesaplama kaynaklarının boşa harcanmasını önlemek için görevleri dağıtmadan önce çalıştırın ve doğrulayın. Bkz. Görev hata ayıklama süreci.
Düğümleri dağıtın — Görevleri üretim ortamına dağıtarak İşlemler Merkezi'nde görünmelerini sağlayın. Bkz. Görevleri yayınlama.
Düğümleri yönetin — Birden çok düğümde toplu dağıtım, dağıtımı kaldırma ve zamanlama özelliklerini güncelleme gibi toplu işlemler gerçekleştirin. Bkz. Toplu işlemler.
Süreç kontrolleri uygulayın — Geliştirme doğruluğunu sağlamak için kod incelemesi, duman testi ve özel inceleme mantığını zorunlu kılın. Bkz. Geliştirme süreci denetimi.
İşlemler Merkezi
İşlemler Merkezi, zamanlanan görevleri izleyebileceğiniz ve sorunları çözebileceğiniz üretim İşletme ve Bakım platformudur. Temel yetenekler arasında akıllı tanılama, görev yeniden çalıştırmaları ve kritik görevlerin zamanında tamamlanmasını sağlamak için temel çizgi izleme bulunur. Bkz. Zamanlanan görevlerde temel İşletme ve Bakım işlemleri gerçekleştirme.
Veri Kalitesi
Veri Kalitesi, kalite kurallarını zamanlama görevlerine ekleyerek geliştirme yaşam döngüsü boyunca verilerinizi izler. Bu sayede veri sorunları erken tespit edilir ve alt sistemleri etkilemeleri önlenir. Bkz. Veri Kalitesine genel bakış.
Veri yönetişimi
Bir EMR kümesini kaydettikten sonra DataWorks kümeden meta verileri otomatik olarak toplar. Aşağıdaki modüller bu verileri yönetmenize ve yönetişimini sağlamanıza yardımcı olur:
| Modül | Açıklama | Başvuru |
|---|---|---|
| Data Map | Veri varlıklarını keşfetmek, aramak ve anlamak için kurumsal meta veri yönetimi platformu. | Data Map'e genel bakış |
| Security Center / Data Security Guard / Approval Center | Veri sınıflandırma, hassas veri tanımlama, yetkilendirme yönetimi, veri maskeleme, erişim denetimi ve risk yanıtını kapsayan uçtan uca veri güvenliği platformu. | Security Center'a genel bakış / Data Security Guard'a genel bakış / Approval Center'a genel bakış |
| Data Governance Center | En iyi uygulama kurallarına dayalı olarak birden çok boyutta yönetişim sorunlarını otomatik olarak belirler ve hem önleyici hem de düzeltici yönetişim eylemleri sağlar. | Data Governance Center'a genel bakış |
Tespit edilen sorunlara ve mevcut eylemlere genel bakış için bkz. Data Governance Center'a genel bakış.
Veri analizi ve hizmetleri
| Modül | Açıklama | Başvuru |
|---|---|---|
| DataAnalysis | Çevrimiçi SQL sorguları çalıştırın, sorgu sonuçlarından grafik kartları oluşturun ve günlük raporlama için veri raporları oluşturun. | DataAnalysis'e genel bakış |
| DataService Studio | Dahili ve harici sistemler için API hizmetlerini merkezi bir hizmet hub'ında yönetin ve kullanıma sunun. | DataService Studio'ya genel bakış |
Açık Platform
Uygulama sistemlerinizi DataWorks ile programatik olarak entegre etmek için aşağıdaki yetenekleri kullanın:
| Modül | Açıklama | Başvuru |
|---|---|---|
| OpenAPI | Büyük veri iş akışlarını otomatikleştirmek, manuel işlemleri azaltmak ve veri risklerini en aza indirmek için DataWorks API işlemlerini çağırın. | OpenAPI |
| OpenEvent | Çalışma alanı değişikliklerini gerçek zamanlı olarak algılamak ve bunlara yanıt vermek için DataWorks değişiklik olaylarına abone olun. | OpenEvent'e genel bakış |
| Extensions | Genişletme noktası olaylarını yönetmek ve DataWorks süreçlerini özelleştirmek için yerel programları uzantı olarak kaydedin. | Extensions'a genel bakış |
EMR kümesi yapılandırma önerileri
DataWorks'te üretim iş yüklerini çalıştırmadan önce aşağıdaki EMR hizmetlerini ayarlayın.
Kyuubi
Üretim ortamında şu değerleri ayarlayın:
kyuubi_java_opts: 10g veya daha büyükkyuubi_beeline_opts: 2g veya daha büyük
Spark
Spark için varsayılan bellek tahsisi küçüktür. Aşağıdaki parametreleri küme ölçeğinize göre ayarlayın:
spark.driver.memoryspark.driver.memoryOverheadspark.executor.memory
Bellek ayarlarını spark-submit CLI aracılığıyla iletin veya bunları kümede yapılandırın. Tam yapılandırma seçenekleri için bkz. Spark bellek yönetimi.
Yalnızca EMR Hive, EMR Spark ve EMR Spark SQL düğümleri veri soy ağacı oluşturur. EMR Hive düğümleri hem tablo düzeyinde hem de sütun düzeyinde soy ağacını destekler. Spark tabanlı EMR düğümleri yalnızca tablo düzeyinde soy ağacını destekler.
HDFS
Aşağıdaki parametreleri küme ölçeğinize göre ayarlayın:
hadoop_namenode_heapsizehadoop_datanode_heapsizehadoop_secondary_namenode_heapsizehadoop_namenode_opts