DataWorks:DataStudio (eski): Bir CDH hesaplama kaynağını kaydetme

Arka plan bilgileri

• CDH, Cloudera'nın açık kaynaklı platform dağıtımıdır. Küme yönetimi, izleme ve tanılama gibi kullanıma hazır özellikler içerir ve uçtan uca büyük veri iş akışlarını çalıştırmak için çeşitli bileşenleri destekler.

• CDP, birden çok platformdan müşteri verilerini toplayan ve birleştiren bir genel veri platformudur. Gerçek zamanlı verileri toplayarak tekil kullanıcı veri profilleri oluşturur.

Görev geliştirme, zamanlama, Data Map'te üstveri yönetimi ve Veri Kalitesi denetimleri için CDH ve CDP kümelerini DataWorks'e kaydedebilirsiniz.

Önkoşullar

• Bir CDH veya CDP kümesini kaydetmek için mevcut çalışma alanında aşağıdaki rollerden veya izinlerden birine sahip olmanız gerekir:

  • Bir Alibaba Cloud hesabınız vardır.

  • Workspace Administrator rolüne sahip bir çalışma alanı üyesisiniz. Daha fazla bilgi için bkz. Çalışma alanı üyelerini ekleme ve rollerini ve izinlerini yönetme.

  • AliyunDataWorksFullAccess ilkesine sahip bir çalışma alanı üyesisiniz. Bu ilkeyi atamak için bkz. RAM kullanıcısına izin verme ve RAM rolüne izin verme. Bir üyeyi çalışma alanına eklemek için bkz. Çalışma alanı üyelerini ekleme ve rollerini ve izinlerini yönetme.

• CDH veya CDP kümesini dağıttınız ve kümenin kaydını yapmak için gereken yapılandırma bilgilerini elde ettiniz. Daha fazla bilgi için bkz. Hazırlıklar: CDH veya CDP küme bilgilerini alma ve ağ bağlantısını yapılandırma.

Sınırlamalar

• CDH veya CDP küme görevlerini yalnızca yeni sunucusuz kaynak grubunu (önerilen) veya zamanlama için eski özel kaynak grubunu kullanarak çalıştırabilirsiniz.

  Not

  • Sunucusuz kaynak grubu; veri senkronizasyonu ve görev zamanlaması gibi çeşitli senaryolar için kullanılabilen genel amaçlı bir kaynak grubudur. Sunucusuz kaynak grubu satın alma hakkında daha fazla bilgi için bkz. Sunucusuz kaynak grubu kullanma. Zamanlama için eski özel kaynak grubu zaten satın aldıysanız bunu CDH veya CDP görevlerini çalıştırmak için de kullanabilirsiniz. Daha fazla bilgi için bkz. Zamanlama için özel kaynak grubu kullanma.

  • Yeni kullanıcılar yalnızca yeni sunucusuz kaynak grupları satın alabilir.

  • DataWorks ile kayıt için Custom Version türünde bir küme kullanıyorsanız yalnızca zamanlama için eski özel kaynak grubu kullanabilirsiniz. Küme sürümleri hakkında daha fazla bilgi için bkz. Adım 2: Bir CDH veya CDP kümesi kaydetme.

• CDH veya CDP kümelerini yalnızca aşağıdaki bölgelerde kaydedebilirsiniz: Çin (Pekin), Çin (Şanghay), Çin (Hangzhou), Çin (Shenzhen), Çin (Zhangjiakou), Çin (Chengdu) ve Almanya (Frankfurt).

Adım 1: Kayıt sayfasına gidin

1. DataWorks konsolu adresinde oturum açın. Hedef bölgede sol gezinme bölmesinden More > Management Center seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Management Center seçeneğine tıklayın.

2. Sol gezinme bölmesinde Clusters seçeneğine tıklayarak Clusters sayfasına gidin. Register Cluster seçeneğine tıklayın, Open Source Cluster Type için CDH öğesini seçin ve küme kayıt sayfasına gidin.

Adım 2: Bir CDH veya CDP kümesi kaydetme

1. Temel küme bilgilerini yapılandırın.

   Parametre	Açıklama
   Display Name of Cluster	Kümenin DataWorks'teki görünen adı. Ad benzersiz olmalıdır.
   Cluster Version	Kaydedilecek küme sürümünü seçin. DataWorks aşağıdaki sürümleri sunar: CDH 5.16.2, CDH 6.1.1, CDH 6.2.1, CDH 6.3.2 ve CDP 7.1.7. Bu küme sürümleriyle ilişkili bileşen sürümleri sabittir. Daha fazla bilgi için bkz. Küme bağlantı bilgileri. Bu küme sürümleri iş gereksinimlerinizi karşılamıyorsa Custom Version seçeneğini belirleyebilir ve ihtiyaçlarınıza göre bileşen sürümlerini yapılandırabilirsiniz. Not En güncel bilgiler için arayüze bakın. DataWorks ile kayıt için Custom Version türünde bir küme kullanıyorsanız yalnızca zamanlama için eski özel kaynak grubu kullanabilirsiniz. Kayıt tamamlandıktan sonra teknik desteğin ortamı başlatmasını istemek için destek talebi göndermeniz gerekir.
   Cluster Name	Kaydettiğiniz küme için yapılandırma bilgilerinin kaynağı. Başka bir çalışma alanında zaten kayıtlı olan bir kümeyi seçin veya yeni bir küme oluşturun. Kayıtlı küme: Başka bir çalışma alanında zaten kayıtlı olan bir kümenin yapılandırmasını yeniden kullanır. Yeni küme: Kaydettiğiniz küme için bilgileri yapılandırmanız gerekir.

2. Küme bağlantı bilgilerini yapılandırın.

   Kümeniz için bileşen sürümlerini seçin ve elde ettiğiniz uç nokta bilgilerini girin. Daha fazla bilgi için bkz. Hazırlıklar: CDH veya CDP küme bilgilerini alma ve ağ bağlantısını yapılandırma. CDH kümesinin head node üzerinde java -jar dw-tools.jar admin admin komutunu çalıştırarak her bir küme bileşeni için host ve URL bilgilerini alın. Ardından çıkıştaki bağlantı adreslerini kullanarak aşağıdaki alanları doldurun: HiveServer2 (biçim: jdbc:hive2://<host>:<port>/<database>), Metastore (biçim: thrift://<host>:<port>), Impala JDBC URL (biçim: jdbc:impala://<host>:<port>/<schema>), Yarn.ResourceManager.Address (biçim: http://<host>:<port>), Jobhistory.Webapp.Address (Yarn ResourceManager adresinin bağlantı noktasını 8088 olarak değiştirin) ve Presto JDBC URL (biçim: jdbc:presto://<host>:<port>/<catalog>/<schema>). Presto varsayılan bir CDH bileşeni değildir. Erişim adresini dağıtımınıza göre belirtin.

   Not

   Sunucusuz bir kaynak grubundan CDH bileşenlerine etki alanı adı üzerinden erişiyorsanız Alibaba Cloud DNS PrivateZone içinde CDH bileşeni etki alanı adları için yetkili DNS çözümlemesi yapılandırmanız gerekir. Daha fazla bilgi için bkz. Yerleşik yetkili etki alanı ekleme ve Etki alanı adı için kapsam ayarlama.

3. Küme yapılandırma dosyalarını ekleyin.

   Gerekli bileşenler için yapılandırma dosyalarını yükleyebilirsiniz. Yapılandırma dosyalarını almak için bkz. Hazırlıklar: CDH veya CDP küme bilgilerini alma ve ağ bağlantısını yapılandırma.

   Aşağıdaki tabloda yapılandırma dosyaları açıklanmaktadır.

   Yapılandırma dosyası	Açıklama	Senaryolar
   core-site.xml	HDFS ve MapReduce için ortak G/Ç ayarları gibi Hadoop Core kitaplığının genel yapılandırmalarını içerir.	Spark veya MapReduce görevlerini çalıştırmak için bu dosyanın yüklenmesi gerekir.
   hdfs-site.xml	Veri blok boyutu, çoğaltma sayısı ve yol adları gibi HDFS ile ilgili yapılandırmaları içerir.
   mapred-site.xml	MapReduce işlerinin yürütme yöntemi ve zamanlama davranışı gibi MapReduce ile ilgili parametreleri yapılandırır.	MapReduce görevlerini çalıştırmak için bu dosyanın yüklenmesi gerekir.
   yarn-site.xml	Kaynak yöneticisi, düğüm yöneticisi ve uygulama çalışma zamanı ortamı gibi YARN daemonlarıyla ilgili tüm yapılandırmaları içerir.	Spark veya MapReduce görevlerini çalıştırmak için veya kimlik eşleme türü olarak Kerberos seçildiğinde bu dosyanın yüklenmesi gerekir.
   hive-site.xml	Veritabanı bağlantı bilgileri, Hive Metastore ayarları ve yürütme motoru gibi Hive'ı yapılandırmak için çeşitli parametreleri içerir.	Kimlik eşleme türü olarak Kerberos seçildiğinde bu dosyanın yüklenmesi gerekir.
   spark-defaults.conf	Spark işi yürütmesi için varsayılan yapılandırmaları tanımlar. spark-defaults.conf dosyasını kullanarak bellek boyutu ve CPU çekirdek sayısı gibi özellikleri önceden ayarlayın. Spark uygulamaları bu ayarları çalışma zamanında uygular.	Spark görevlerini çalıştırmak için bu dosyanın yüklenmesi gerekir.
   config.properties	Presto sunucusu için yapılandırmaları içerir; örneğin bir Presto kümesindeki coordinator ve worker düğümleri için genel özellikler.	Presto bileşenini kullandığınızda ve kimlik eşleme türü olarak OPEN LDAP veya Kerberos seçtiğinizde bu dosyanın yüklenmesi gerekir.
   presto.jks	Özel anahtarlar ve genel anahtar sertifikaları dahil güvenlik sertifikalarını depolayan bir Java KeyStore (JKS) dosyasıdır. Presto'da presto.jks dosyası, güvenli veri aktarımı için Presto işlemleri arasında SSL/TLS şifreli iletişimi etkinleştirir.

4. Varsayılan erişim kimliğini yapılandırın.

   DataWorks görevleri çalıştırırken CDH kümesine erişmek için kullanılan hesap. Desteklenen hesap türleri ortama göre değişir.

   Not

   Bir küme kaydederken Default Access Identity öğesini bir küme hesabı dışındaki bir değere ayarlarsanız ve kimlik eşlemesi yapılandırılmazsa (veya eşleme türü kimlik doğrulamasız olarak ayarlanırsa) tüm görevler başarısız olur.

   Ortam	Varsayılan erişim kimliği	İlgili bilgiler
   Geliştirme ortamı	Küme hesabı: DataWorks'te CDH görevini kimin çalıştırdığından bağımsız olarak (örneğin bir Alibaba Cloud hesabı veya yalnızca geliştirme izinlerine sahip bir RAM kullanıcısı) belirtilen bir küme hesabı CDH kümesine erişir. Eşlenen hesap: Kullanıcının hesabı ile bir küme hesabı arasında kimlik eşlemesi gerektirir. Görev çalıştığında eşlenen hesap CDH kümesine erişir.	Kimlik eşlemesi yapılandırmak için bkz. Küme kimlik eşlemelerini yapılandırma.
   Üretim ortamı	Küme hesabı: DataWorks'te CDH görevini kimin çalıştırdığından bağımsız olarak (örneğin görev sahibi, bir Alibaba Cloud hesabı veya bir RAM kullanıcısı) belirtilen bir küme hesabı CDH kümesine erişir. Eşlenen hesap: İlgili hesap (görev sahibi, Alibaba Cloud hesabı veya RAM kullanıcısı) ile bir küme hesabı arasında kimlik eşlemesi gerektirir. Görev çalıştığında eşlenen hesap CDH kümesine erişir.

5. Kümeyi DataWorks'e kaydetmek için Complete Registration seçeneğine tıklayın.

Adım 3: Kaynak grubunu başlatın

Kaynak grubunu ilk kez bir küme kaydettiğinizde veya küme hizmeti yapılandırmasını değiştirdikten sonra ya da bir bileşen sürümünü yükselttikten sonra (örneğin core-site.xml dosyasını değiştirerek) başlatın. Bu işlem, kaynak grubunun CDH kümesine erişebilmesini ve CDH küme görevlerini doğru şekilde çalıştırabilmesini sağlar. Clusters sayfasında kayıtlı CDH kümesini bulun ve sağ üst köşede Initialize Resource Group seçeneğine tıklayın. Gerekli kaynak grubunu seçin ve başlatın.

(İsteğe bağlı) Bir YARN kaynak kuyruğu yapılandırma

YARN kaynak kuyrukları, küme kaynaklarını bölümlere ayırır ve yalıtır; böylece farklı görev türleri birbirine müdahale etmeden hesaplama kaynaklarını adil şekilde kullanır. Belirli bir modüldeki görevler için özel bir YARN kaynak kuyruğu ayarlamak üzere Clusters sayfasında kayıtlı CDH kümenizi bulun. YARN Resource Queue sekmesinde ayarları yapılandırmak için Edit YARN resource queue seçeneğine tıklayın.

(İsteğe bağlı) Spark özelliklerini yapılandırma

Farklı modüllerdeki görevler için özel Spark özellikleri ayarlayın.

1. Clusters sayfasında kayıtlı CDH kümenizi bulun.

2. Spark-related Parameter sekmesinde CDH kümesi için Spark özelliklerini düzenleme sayfasına gitmek üzere Edit Spark properties düğmesine tıklayın.

3. Bir modülün altındaki Add düğmesine tıklayın ve Spark Property Name ile karşılık gelen Spark Property Value değerlerini girerek Spark özelliklerini ayarlayın.

Sonraki adımlar

• Küme kimlik eşlemelerini yapılandırma: CDH kümesi için varsayılan erişim kimliği belirli bir küme hesabı değilse Alibaba Cloud hesabı ile bir küme hesabı arasında kimlik eşlemesi yapılandırmanız gerekir. Bu eşleme, Alibaba Cloud hesabının veri izni yalıtımı ve kontrolü için eşlenen küme kimliğiyle CDH kümesine erişmesini sağlar.

• CDH hesaplama kaynağını kaydettikten sonra veri geliştirme işlemlerini gerçekleştirmek için DataStudio'daki CDH ile ilgili düğümleri kullanın.