Obtain cluster information and configure network - DataWorks

DataWorks, Cloudera’nın Apache Hadoop içeren Dağıtımı (CDH) ve Cloudera Data Platform (CDP) kümelerine bağlanır. Görev geliştirme, zamanlama, Data Map'te meta veri yönetimi ve Data Quality kontrolleri gibi veri geliştirme ve yönetişim işlemleri için DataWorks'e bir CDH veya CDP kümesi kaydedebilirsiniz. Bir küme kaydetmeden önce gerekli yapılandırma bilgilerini almanız ve küme ile bir kaynak grubu arasında ağ bağlantısı kurmanız gerekir. Bu konuda, küme bilgilerinin nasıl alınacağını ve ağ bağlantısının nasıl yapılandırılacağını göstermek için bir CDH kümesi örnek olarak kullanılmıştır.

Arka plan bilgileri

CDH, Cloudera'nın açık kaynak platform dağıtımıdır. Küme yönetimi, izleme ve tanılama gibi hazır özellikler içerir ve uçtan uca büyük veri iş akışlarını çalıştırmak için çeşitli bileşenleri destekler.
CDP, birden çok platformdan müşteri verilerini toplayan ve birleştiren genel bir veri platformudur. Bireysel kullanıcı veri profilleri oluşturmak için gerçek zamanlı verileri toplar.

Görev geliştirme, zamanlama, Data Map'te meta veri yönetimi ve Data Quality kontrolleri için CDH ve CDP kümelerini DataWorks'e kaydedebilirsiniz.

Ön koşullar

Bir CDH kümesi dağıtılmıştır.

DataWorks, Alibaba Cloud ECS dışındaki ortamlarda dağıtılan CDH'yi destekler; ancak dağıtım ortamı ile bir Alibaba Cloud VPC arasında ağ bağlantısı kurmanız gerekir. Genellikle bu bağlantıyı Express Connect veya VPN gibi hizmetlerle kurabilirsiniz.
Yeni bir DataWorks sunucusuz kaynak grubu (önerilen) veya eski nesil zamanlama için özel kaynak grubu gereklidir.

Varsayılan olarak bir DataWorks kaynak grubu diğer cloud ürünlerinden ağ açısından yalıtılmıştır. CDH'ye bağlanmak için öncelikle CDH kümesi ile kaynak grubu arasında ağ bağlantısı kurmalısınız.
Not
- Sunucusuz kaynak grubu (önerilen), veri senkronizasyonu ve görev zamanlaması gibi çeşitli görev türlerini destekleyen genel amaçlı bir kaynak grubudur. Satın alma ayrıntıları için bkz. Sunucusuz kaynak gruplarını kullanma. Yeni kullanıcılar (geçerli bölgede DataWorks'ün herhangi bir sürümünü etkinleştirmemiş olanlar) yalnızca yeni sürüm kaynak grupları satın alabilir.
- CDH veya CDP görevlerini çalıştırmak için eski nesil zamanlama için özel kaynak grubu da kullanabilirsiniz. Daha fazla bilgi için bkz. Zamanlama için özel kaynak gruplarını kullanma.

CDH kümesi yapılandırma bilgilerini alma

Kümeyi DataWorks'e kaydetmek için gereken CDH yapılandırma bilgilerini almak üzere aşağıdaki adımları izleyin.

CDH sürüm bilgilerini alın.

Cloudera Manager'da oturum açın. Ana sayfada, sol taraftaki küme panelinde Cluster 1 (CDH 6.1.1, Parcel) gibi CDH sürüm bilgilerini bulun. Ayrıca HBase, HDFS, Hive, Hue, Impala, Oozie, Solr, Spark, YARN ve ZooKeeper gibi hizmetlerin çalışma durumunu onaylayın.
Kayıt sırasında küme bağlantısını yapılandırmak için gereken ana bilgisayar ve bileşen adresi bilgilerini alın.
Cloudera Manager'da bilgileri bulma

Cloudera Manager'da oturum açın. Üst gezinme çubuğunda Hosts > Roles seçeneklerine tıklayın. Roller sayfası, ana bilgisayarlara atanmış rollere göre gruplandırılır. Örneğin, cdh-header-1-cn-shanghai ana bilgisayara HMS, HS2 ve RM gibi roller atanırken cdh-worker-[1-2]-cn-shanghai ana bilgisayarlara ID rolü atanmıştır.

Burada:
- HS2: HiveServer2
- HMS: Hive Metastore
- ID: Impala Daemon
- RM: YARN ResourceManager
CDH kümesi kaydı sırasında yüklenecek yapılandırma dosyalarını alın.
1. Cloudera Manager'da oturum açın.
2. Status sayfasında, küme için açılan menüye tıklayın ve View Client Configuration URLs seçeneğini belirleyin.
3. Gerekli hizmet için yapılandırma paketini indirin. Örneğin, YARN yapılandırmasını indirmek için iletişim kutusunda YARN öğesini bulun. İletişim kutusu, YARN (MR2 Included), HBase, Solr, HDFS ve Hive gibi hizmetlerin istemci yapılandırmaları için indirme bağlantılarını görüntüler. İstemci yapılandırma dosyasını almak için hedef hizmetin (örneğin YARN (MR2 Included)) indirme simgesine tıklayın.
DataWorks kaynak grubuna bağlantısını yapılandırmak için CDH kümesinin ağ bilgilerini alın.
1. CDH kümesinin dağıtıldığı ECS konsolunda oturum açın.
2. Örnek listesinde, CDH kümesinin dağıtıldığı ECS örneğini bulun ve Instance Details sayfasını açmak için örnek adına tıklayın. Security Group, VPC ve vSwitch bilgilerini görüntüleyin ve kaydedin.

Ağ bağlantısını yapılandırma

Sunucusuz kaynak grubu

Bu bölümde, kaynak grubu ile CDH kümesi arasında ağ bağlantısının nasıl yapılandırılacağı sunucusuz bir kaynak grubu örneği kullanılarak açıklanmaktadır.

Varsayılan olarak DataWorks sunucusuz kaynak grupları diğer cloud ürünlerinden ağ açısından yalıtılmıştır. Bir CDH kümesine bağlanmak için kaynak grubunu kümenin bulunduğu VPC'ye bağlamanız gerekir. Bu işlem, CDH kümesi ile kaynak grubu arasında ağ bağlantısı kurar.

Sunucusuz kaynak grubunun ağ ayarları sayfasına gidin.
1. DataWorks konsolunda oturum açın.
2. Sol gezinme bölmesinde Resource Group seçeneğine tıklayın. Resource Groups sayfası varsayılan olarak Exclusive Resource Group sekmesinde açılır.
3. Kaynak grubunuzu bulun ve İşlemler sütununda Network Settings seçeneğine tıklayın.
VPC'yi bağlayın.

VPC Binding sekmesinde, Data Scheduling & Data Integration bölümünde Add Binding seçeneğine tıklayın. Yapılandırma sayfasında, CDH kümesi yapılandırma bilgilerini alma adım 4 içinde kaydettiğiniz CDH kümesinin VPC'sini, alanını ve vSwitch'ini seçin.
Ana bilgisayarları yapılandırın.

Alibaba Cloud DNS konsoluna gidin. CDH kümesi yapılandırma bilgilerini alma adım 2 içinde kaydettiğiniz ana bilgisayar adreslerinin yetkili çözümlemesi için Private DNS (PrivateZone) hizmetini kullanın.
1. Private DNS'i etkinleştirin. Ayrıntılar için bkz. Private DNS'i etkinleştirme.
  
  Not
  Private DNS'i zaten etkinleştirdiyseniz bu adımı atlayabilirsiniz.
2. Yerleşik yetkili bir alan adı ekleyin. Ayrıntılar için bkz. Yerleşik yetkili alan adı ekleme.
  Not
  - Bu konuda, yetkili çözümleme örneği olarak Cloudera Manager UI'sında bilgileri manuel olarak bulma bölümünden alınan cdh-header-1-cn-shanghai ana bilgisayar adı kullanılmıştır. Parametreleri gerçek ana bilgisayar adı yapılandırmanıza göre ayarlayın.
  - Çözümlenen IP adresi, CDH kümenizin dağıtıldığı ECS örneğinin private IP address değeridir.
3. Alan kapsamını ayarlayın. Ayrıntılar için bkz. Alan İçin Kapsam Ayarlama.
  
  Not
  Alan için VPC kapsamını ayarlarken, kaynak grubunun bağlı olduğu VPC'yi seçin.

Zamanlama için özel kaynak grubu

Bu bölümde, zamanlama için özel kaynak grubu ile CDH kümesi arasında ağ bağlantısının nasıl yapılandırılacağı açıklanmaktadır.

Varsayılan olarak DataWorks'ün zamanlama için özel kaynak grubu diğer cloud ürünlerinden ağ açısından yalıtılmıştır. Bir CDH kümesine bağlanmak için kaynak grubunu kümenin bulunduğu VPC'ye bağlamanız gerekir. Bu işlem, CDH kümesi ile zamanlama için özel kaynak grubu arasında ağ bağlantısı kurar.

Zamanlama için özel kaynak grubunun ağ ayarları sayfasına gidin.
1. DataWorks konsolunda oturum açın.
2. Sol gezinme bölmesinde Resource Group seçeneğine tıklayın. Resource Groups sayfası varsayılan olarak Exclusive Resource Group sekmesinde açılır.
3. Zamanlama için özel kaynak grubunuzu bulun ve İşlemler sütununda Network Settings seçeneğine tıklayın.
VPC'yi bağlayın.

VPC Binding sekmesinde Add Binding seçeneğine tıklayın. Yapılandırma sayfasında, CDH kümesi yapılandırma bilgilerini alma adım 4 içinde kaydettiğiniz CDH kümesinin VPC'sini, alanını, vSwitch'ini ve güvenlik grubunu seçin.
Ana bilgisayarları yapılandırın.

Hostname-to-IP Mapping sekmesine tıklayın. Batch Edit seçeneğine tıklayın ve CDH kümesi yapılandırma bilgilerini alma adım 2 içinde kaydettiğiniz ana bilgisayar adresi bilgilerini iletişim kutusuna girin.

Sonraki adımlar

Bu konudaki hazırlıkları tamamladıktan sonra geliştirmeye başlamak için CDH kümesini DataWorks'e kaydedebilirsiniz. Daha fazla bilgi için bkz. DataStudio (eski): Bir CDH hesaplama motorunu bağlama.