DataWorks:CDH hesaplama kaynağını ilişkilendirme

Ön koşullar

• RAM kullanıcısı, çalışma alanının bir üyesi olmalı ve çalışma alanı yöneticisi rolüne sahip olmalıdır.

• Bir CDH kümesi dağıtılmıştır.

  Not

  DataWorks, dağıtım ortamının bir Alibaba Cloud VPC'ye bağlanması koşuluyla Alibaba Cloud ECS dışında dağıtılan CDH kümelerini destekler. Genellikle kararlı bir bağlantı kurmak için yerel veri kaynakları için ağ bağlantısı yöntemini kullanabilirsiniz.

• Çalışma alanıyla bir kaynak grubu ilişkilendirilmiş ve ağ bağlantısı doğrulanmıştır.

  • Sunucusuz bir kaynak grubu kullanıyorsanız, yalnızca CDH hesaplama kaynağı ile sunucusuz kaynak grubu arasındaki bağlantıyı sağlamanız gerekir.

  • Eski özel kaynak grubu kullanıyorsanız, CDH hesaplama kaynağı ile zamanlama için özel kaynak grubu arasında bağlantı olduğundan emin olmanız gerekir.

Sınırlamalar

• Bölgeler: Bu özellik Çin (Pekin), Çin (Şanghay), Çin (Shenzhen), Çin (Hangzhou), Çin (Zhangjiakou), Çin (Chengdu) ve Almanya (Frankfurt) bölgelerinde kullanılabilir.

• İzinler:

  İşleten	Gerekli izinler
  Alibaba Cloud hesabı	Ek izin gerekmez.
  RAM kullanıcısı/RAM rolü	Yalnızca Bakım ve İşletim rolüne, çalışma alanı yöneticisi rolüne veya AliyunDataWorksFullAccess iznine sahip çalışma alanı üyeleri bir hesaplama kaynağı oluşturabilir. İzinlerin nasıl verileceği hakkında daha fazla bilgi için bkz. Kullanıcılara çalışma alanı yöneticisi izinleri verme.

Hesaplama kaynağı listesi sayfasına gitme

1. DataWorks konsoluna giriş yapın. Sol gezinme bölmesinde hedef bölgeye geçiş yapın ve More > Management Center seçeneklerini tıklayın. Açılır listeden çalışma alanınızı seçin ve Go to Management Center seçeneğini tıklayın.

2. Sol gezinme bölmesinde, hesaplama kaynağı listesi sayfasını açmak için Computing Resources seçeneğini tıklayın.

CDH hesaplama kaynağını ilişkilendirme

hesaplama kaynakları sayfasında bir CDH hesaplama kaynağını yapılandırın ve ilişkilendirin.

1. Hesaplama kaynağı türünü seçin.

   1. Associate Computing Resources seçeneğini tıklayarak Associate Computing Resources sayfasına gidin.

   2. Associate Computing Resources sayfasında, hesaplama kaynağı türü olarak CDH seçeneğini belirleyin. Associate CDH Computing Resource yapılandırma sayfası görüntülenir.

2. CDH hesaplama kaynağını yapılandırın.

   Associate CDH Computing Resource sayfasında aşağıdaki parametreleri yapılandırın.

   Parametre		Açıklama
   Cluster Version		Kaydetmek istediğiniz kümenin sürümünü seçin. DataWorks, küme bağlantı bilgileri içindeki tüm bileşen sürümleri sabitlenmiş olarak CDH 5.16.2, CDH 6.1.1, CDH 6.2.1, CDH 6.3.2 ve CDP 7.1.7 sürümlerini yerleşik olarak destekler. Bu sürümlerden hiçbiri gereksinimlerinizi karşılamıyorsa Custom Version seçeneğini belirleyin ve bileşen sürümlerini ihtiyaçlarınıza göre yapılandırın. Not Gerekli bileşenler küme sürümüne göre değişir ve yapılandırma sayfasında görüntülenir. Custom Version ile bir küme kaydederseniz yalnızca eski zamanlama özel kaynak grupları desteklenir. Kayıttan sonra, teknik desteğin ortamı başlatmasını istemek için gerekmektedir.
   Cluster Name		Yapılandırmasını yüklemek için başka bir çalışma alanında kayıtlı bir kümenin adını seçin veya yeni bir yapılandırma oluşturmak için özel bir ad belirtin.
   Cluster Connection Information	Hive bağlantı bilgileri	Kümeye Hive işleri göndermek için kullanılır. HiveServer2 yapılandırma biçimi: jdbc:hive2://<host>:<port>/<database> Metastore yapılandırma biçimi: thrift://<host>:<port>	Parametrelerin nasıl elde edileceği: Daha fazla bilgi için bkz. CDH veya CDP küme bilgilerini edinme ve ağ bağlantısını yapılandırma. Bileşen sürümü seçimi: Sistem, geçerli küme için bileşen sürümlerini otomatik olarak algılar. Not CDH bileşenlerine etki alanı adı üzerinden erişmek için sunucusuz bir kaynak grubu kullanıyorsanız, Alibaba Cloud DNS'in PrivateZone bölümünde etki alanı adları için yetkili çözümleme yapılandırmanız ve etkili kapsamlarını ayarlamanız gerekir.
   	Impala bağlantı bilgileri	Impala işleri göndermek için kullanılır. Yapılandırma biçimi: jdbc:impala://<host>:<port>/<schema>.
   	Spark bağlantı bilgileri	Varsayılan bir Spark sürümü seçin ve bağlantıyı yapılandırın.
   	Yarn bağlantı bilgileri	Görevleri gönderme ve görev ayrıntılarını görüntüleme yapılandırmaları. Yarn.Resourcemanager.Address yapılandırma biçimi: http://<host>:<port> Not Spark veya MapReduce görevleri için gönderim adresi. Jobhistory.Webapp.Address yapılandırma biçimi: http://<host>:<port2> Not Tamamlanan görevlerin ayrıntılarını görüntülemek için JobHistory Server web kullanıcı arayüzü adresi.
   	MapReduce bağlantı bilgileri	Varsayılan bir MapReduce sürümü seçin ve bağlantıyı yapılandırın.
   	Presto bağlantı bilgileri	Presto işleri göndermek için kullanılır. JDBC adres bilgisi yapılandırma biçimi: jdbc:presto://<host>:<port>/<catalog>/<schema> Not Bu varsayılan bir CDH bileşeni değildir. Bu bileşeni ihtiyaçlarınıza göre yapılandırın.
   Cluster Configuration File	core-site dosyasını yapılandırma	HDFS ve MapReduce için ortak G/Ç ayarları gibi Hadoop Core kitaplığının genel yapılandırmalarını içerir.	Spark veya MapReduce görevlerini çalıştırmak için bu dosyayı yükleyin.
   	hdfs-site dosyasını yapılandırma	Veri bloğu boyutu, çoğaltma sayısı ve yol adları gibi HDFS ile ilgili yapılandırmaları içerir.
   	mapred-site dosyasını yapılandırma	Çalıştırma modu ve zamanlama davranışı gibi MapReduce parametrelerini yapılandırır.	MapReduce görevlerini çalıştırmak için bu dosyayı yükleyin.
   	yarn-site dosyasını yapılandırma	Kaynak yöneticisi, düğüm yöneticileri ve uygulama çalışma zamanı için ortam ayarları gibi YARN arka plan programlarıyla ilgili tüm yapılandırmaları içerir.	Spark veya MapReduce görevlerini çalıştırmayı planlıyorsanız veya hesap eşlemesi için Kerberos kullanıyorsanız bu dosyayı yükleyin.
   	hive-site dosyasını yapılandırma	Veritabanı bağlantı bilgileri, Hive Metastore ayarları ve yürütme motoru gibi Hive parametrelerini yapılandırır.	Hesap eşleme türü olarak Kerberos seçtiyseniz bu dosyayı yükleyin.
   	spark-defaults dosyasını yapılandırma	Bellek boyutu ve CPU çekirdekleri gibi varsayılan Spark iş yapılandırmalarını belirtir. Spark uygulamaları bu ayarları çalışma zamanında uygular.	Spark görevlerini çalıştırmak için bu dosyayı yükleyin.
   	config.properties dosyasını yapılandırma	Presto kümesindeki koordinatör ve çalışan düğümler için genel özellikler gibi Presto sunucusuyla ilgili yapılandırmaları içerir.	Presto bileşenini kullanıyorsanız ve hesap eşleme türü olarak OPEN LDAP veya Kerberos seçtiyseniz bu dosyayı yükleyin.
   	presto.jks dosyasını yapılandırma	Presto işlemleri arasında SSL/TLS şifreli iletişim için güvenlik sertifikalarını (özel anahtarlar ve genel anahtar sertifikaları) depolar.
   Default Access Identity		Eşlenen küme hesabıyla ilişkili bir kimlik kullanmak için Computing Resources sayfasına gidin ve Account Mappings sekmesinde küme kimliği eşlemesini ayarlayın. Geliştirme ortamı: Bir küme hesabını veya görev yürütücünün eşlenen küme hesabını kullanabilirsiniz. Üretim ortamı: Bir küme hesabını, görev sahibinin eşlenen küme hesabını, Alibaba Cloud hesabının eşlenen küme hesabını veya bir RAM kullanıcısının eşlenen küme hesabını kullanabilirsiniz.
   Computing Resource Instance Name		Hesaplama kaynağı örneği için özel bir ad belirtin. Çalışma zamanında, bu ada göre bir görev için bir hesaplama kaynağı seçebilirsiniz.

3. Yapılandırmayı tamamlamak için Confirm seçeneğini tıklayın.

Kaynak grubunu başlatma

Bir kümeyi ilk kez kaydettiğinizde veya küme hizmeti yapılandırmalarını (örneğin core-site.xml) değiştirdiğinizde, ağ bağlantısını yapılandırdıktan sonra CDH kümesine erişebilmesini sağlamak için kaynak grubunu başlatın.

1. Computing Resources sayfasında oluşturduğunuz CDH hesaplama kaynağını bulun. Sağ üst köşede Initialize Resource Group seçeneğini tıklayın.

2. Kullanmak istediğiniz kaynak grubunun yanındaki Initialize seçeneğini tıklayın. Kaynak grubu başlatıldıktan sonra Determine seçeneğini tıklayın.

(İsteğe bağlı) YARN kaynak kuyruğunu yapılandırma

Computing Resources sayfasında ilişkilendirdiğiniz CDH kümesini bulun. Farklı modüllerdeki görevler için özel bir YARN kaynak kuyruğu ayarlamak üzere YARN Resource Queue sekmesinde Edit YARN Resource Queue seçeneğini tıklayın.

(İsteğe bağlı) Spark parametrelerini yapılandırma

Farklı modüllerdeki görevler için özel Spark parametreleri ayarlayabilirsiniz.

1. Computing Resources sayfasında ilişkilendirdiğiniz CDH kümesini bulun.

2. Spark-related Parameter sekmesinde, CDH kümesi için Spark parametrelerini düzenleyebileceğiniz sayfaya gitmek üzere Edit Spark Parameters seçeneğini tıklayın.

3. Modülün altındaki Add düğmesini tıklayıp Spark Property Name ve Spark Property Value değerlerini girerek Spark özellik bilgilerini yapılandırabilirsiniz.

(İsteğe bağlı) Ana bilgisayar ayarlarını yapılandırma

Bir DataWorks sunucusuz kaynak grubu Kerberos etkinleştirilmiş bir CDH kümesine bağlandığında görev gönderimi başarısız olabilir.

Bu durum, Kerberos'un kimlik doğrulama için ana bilgisayar adlarına güvenmesinden kaynaklanır. DNS, bir küme IP adresini Kerberos'a kayıtlı ana bilgisayar adına çözemezse kimlik doğrulama başarısız olur.

Ana bilgisayar yapılandırması özelliği, bir CDH hesaplama kaynağı için statik bir IP'den ana bilgisayar adına eşleme tanımlamanıza olanak tanır. DataWorks, kümeye erişirken bu eşlemeye öncelik verir ve başarılı Kerberos kimlik doğrulaması sağlar.

1. Yapılandırmak istediğiniz CDH hesaplama kaynağını bulun ve Host Configuration seçeneğini tıklayın.

2. Görüntülenen iletişim kutusunda eşleme ilişkisini IP adresi ana bilgisayar adı biçiminde girin. Her satıra yalnızca bir eşleme girin.

3. Yapılandırmayı kaydetmek için OK seçeneğini tıklayın.

4. Kaydettikten sonra, yapılandırılan ana bilgisayar adı bilgileri hesaplama kaynağı kartında görünür ve yapılandırmanın etkin olduğunu onaylar.

Sonraki adımlar

CDH hesaplama kaynağını yapılandırdıktan sonra, veri geliştirmesi için Data Studio'daki CDH ile ilgili düğümleri kullanın.