DataWorks:Data Studio (eski): Bir EMR kümesi kaydetme

Arka Plan

E-MapReduce (EMR), Alibaba Cloud üzerinde çalışan açık kaynaklı büyük veri işleme çözümüdür.

Apache Hadoop ve Apache Spark üzerine inşa edilen EMR, bu ekosistemlerle veri analizi ve işleme yapmanızı sağlar. EMR, Object Storage Service (OSS) ve ApsaraDB RDS gibi diğer Alibaba Cloud hizmetleriyle de veri alışverişi yapabilir. EMR; ECS üzerinde, ACK üzerinde ve sunucusuz bir hizmet olarak mevcuttur.

En iyi küme yapılandırması bileşene göre değişir. Bir EMR kümesini yapılandırmadan önce EMR kümesi yapılandırma önerilerini inceleyin ve gereksinimlerinizi karşılayan bir yapılandırma seçin.

Sınırlamalar

• İzinler: Yalnızca aşağıdaki kimliklere sahip RAM kullanıcıları veya RAM rolleri bir EMR kümesi kaydedebilir. Bu izinleri vermek için bkz. RAM kullanıcısına izin verme.

  • Bir Alibaba Cloud hesabı.

  • DataWorks Çalışma Alanı Yöneticisi rolüne ve AliyunEMRFullAccess ilkesine sahip bir RAM kullanıcısı veya RAM rolü.

  • AliyunDataWorksFullAccess ve AliyunEMRFullAccess ilkelerine sahip bir RAM kullanıcısı veya RAM rolü.

• Bölge: EMR Serverless Spark yalnızca Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Shenzhen), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Endonezya (Cakarta), Almanya (Frankfurt) ve ABD (Virginia) bölgelerinde kullanılabilir.

• Görev türü: DataWorks, EMR Flink görevlerini desteklemez.

• Görev çalıştırma: DataWorks, sunucusuz kaynak grupları kullanarak EMR görevlerini çalıştırmayı (önerilen) veya zamanlama için eski özel kaynak gruplarını destekler.

• Veri yönetişimi:

  • Yalnızca EMR Hive, EMR Spark ve EMR Spark SQL düğümlerindeki SQL görevleri veri soy ağacı oluşturmayı destekler. 5.9.1 veya 3.43.1 ve sonraki sürümlere sahip kümeler için bu düğümler hem tablo düzeyinde hem de sütun düzeyinde veri soy ağacını destekler.

    Not

    Spark düğümleri için tablo düzeyinde ve sütun düzeyinde veri soy ağacı desteği 5.8.0 veya 3.42.0 ve sonraki EMR küme sürümlerinde mevcuttur. Önceki sürümlerde yalnızca Spark 2.x tablo düzeyinde veri soy ağacını destekler.

  • DataWorks'te bir Veri Gölü veya özel kümenin meta verilerini yönetmek için öncelikle kümede EMR-HOOK'u yapılandırmanız gerekir. EMR-HOOK yapılandırılmazsa DataWorks meta verileri gerçek zamanlı olarak görüntüleyemez, denetim günlükleri oluşturamaz veya veri soy ağacını gösteremez. Şu anda EMR-HOOK yalnızca EMR Hive ve EMR Spark SQL hizmetleri için desteklenmektedir. Daha fazla bilgi için bkz. Hive için EMR-HOOK Yapılandırma ve Spark SQL için EMR-HOOK Yapılandırma.

• Kerberos kimlik doğrulaması etkinleştirilmiş EMR kümeleri için kaynak grubuyla ilişkili vSwitch'in CIDR bloğundan UDP erişimine izin vermek üzere güvenlik grubuna bir gelen kuralı eklemeniz gerekir.

  Not

  EMR kümesinin Basic information sekmesindeki Küme Güvenlik Grubu simgesi tıklayarak Güvenlik Grubu Ayrıntıları sayfasına gidin. Erişim Kuralları sekmesinde Gelen'i ve ardından Added Manually öğelerini tıklayın. Protokol Türünü Özel UDP olarak ayarlayın. Bağlantı Noktası Aralığı için EMR kümesinin /etc/krb5.conf dosyasında belirtilen KDC bağlantı noktasını girin. Authorized object değerini kaynak grubuyla ilişkili vSwitch'in CIDR bloğu olarak ayarlayın.

Kullanım notları

• Standart moddaki bir DataWorks çalışma alanı için geliştirme ve üretim ortamlarını yalıtmak amacıyla iki ayrı EMR kümesi kaydetmeniz gerekir: biri geliştirme ortamı için, diğeri üretim ortamı için. Bu kümelerin meta verileri aşağıdaki yöntemlerden biri kullanılarak depolanmalıdır:

  • Yöntem 1 (veri gölü çözümleri için önerilir): Meta verileri Data Lake Formation (DLF) içindeki iki farklı katalogda saklayın. Daha fazla bilgi için bkz. Meta veri depolama türünü değiştirme.

  • Yöntem 2: Meta verileri RDS'deki iki farklı veritabanında saklayın. Daha fazla bilgi için bkz. Kendi yönettiğiniz bir RDS örneğini yapılandırma.

• Bir EMR kümesi aynı Alibaba Cloud hesabı içindeki birden çok çalışma alanıyla kaydedilebilir ancak farklı hesaplar arasında kaydedilemez.

• Bir DataWorks kaynak grubunun bir EMR kümesine erişebilmesini sağlamak için kaynak grubunu EMR kümesiyle aynı VPC ve vSwitch'e bağladıktan sonra hala bağlanamıyorsa küme güvenlik grubu kurallarını kontrol edin. vSwitch CIDR bloğu ve yaygın açık kaynak bileşenlerinin bağlantı noktaları için gelen kuralları ekleyin. Daha fazla bilgi için bkz. EMR kümesinin güvenlik gruplarını yönetme.

Adım 1: Küme kayıt sayfasına gidin

1. DataWorks konsolunda oturum açın. Hedef bölgede sol gezinme bölmesinden More > Management Center seçeneğini belirleyin. Açılan listeden bir çalışma alanı seçin ve Go to Management Center düğmesini tıklayın.

2. Sol gezinme bölmesinde Clusters öğesini tıklayın. Clusters sayfasında Register Cluster düğmesini tıklayın ve Select Cluster Type değerini E-MapReduce olarak ayarlayın.

Adım 2: Bir EMR kümesi kaydedin

Register EMR Cluster sayfasında küme bilgilerini yapılandırın.

• Küme Görünen Adı: Küme için benzersiz bir görünen ad girin.

• Kümenin Ait Olduğu Alibaba Cloud Hesabı: EMR kümesinin sahibi olan hesabı seçin.

  Not

  EMR Serverless Spark kümeleri hesaplar arasında kaydedilemez.

Seçilen hesap türüne göre parametreleri yapılandırın.

Adım 3: Bir kaynak grubunu başlatın

Kaynak grubunu ilk kez bir küme kaydettikten, küme hizmeti yapılandırmalarını değiştirdikten veya bir bileşen sürümünü yükselttikten (örneğin core-site.xml dosyasını değiştirerek) sonra başlatın. Bu işlem kaynak grubunun EMR kümesine erişebilmesini ve görevlerin geçerli yapılandırmayla çalışmasını sağlar.

1. Open Source Clusters sayfasında kayıtlı EMR kümesinin sekmesini seçin ve Initialize Resource Group düğmesini tıklayın.

2. Gerekli kaynak grubunu bulun ve İşlemler sütunundaki Başlat düğmesini tıklayın.

   Sunucusuz bir kaynak grubunu veya zamanlama için eski bir özel kaynak grubunu başlatabilirsiniz.

3. Başlatma işleminin tamamlanması için 1-2 dakika bekleyin ve ardından Tamam'ı tıklayın.

Sonraki adımlar

• Veri geliştirme: Bileşen ortamlarını yapılandırmak için veri geliştirme iş akışı kılavuzunu izleyin.

• Küme kimliği eşlemelerini yapılandırma: EMR kümesi için varsayılan erişim kimliği hadoop hesabı değilse izin yönetimi için RAM kullanıcılarının DataWorks'te hangi kaynaklara erişebileceğini kontrol etmek amacıyla kimlik eşlemelerini yapılandırmanız gerekir.

• Genel YARN kaynak kuyruklarını ayarlama: Her modülün hangi YARN kuyruğunu kullanacağını belirtmek için YARN kaynak kuyruğu eşlemelerini kullanın. Ayrıca bu ayarları tek tek modül yapılandırmalarını geçersiz kılmak için de yapılandırabilirsiniz.

• Genel Spark parametrelerini ayarlama: Resmi Spark belgelerine dayanarak genel Spark parametrelerini özelleştirin. Ayrıca aynı ada sahip parametreler için çalışma alanı düzeyindeki ayarların modüle özgü yapılandırmaları geçersiz kılıp kılmayacağını da belirtebilirsiniz.

• Kyuubi bağlantı bilgilerini ayarlama: Kyuubi görevleri için özel bir hesap ve parola kullanmak üzere bu konuda açıklandığı şekilde bağlantı bilgilerini özelleştirin.