Tüm Ürünler
Search

Bu Ürün

    DataWorks:Data Studio: Bir EMR hesaplama kaynağı ilişkilendirme

    Belge Merkezi

    DataWorks:Data Studio: Bir EMR hesaplama kaynağı ilişkilendirme

    Son Güncelleme:Oct 05, 2026

    E-MapReduce (EMR) kümenizi bir EMR hesaplama kaynağı olarak DataWorks ile ilişkilendirerek veri senkronizasyonu, geliştirme ve EMR görevlerinin yönetimini etkinleştirin.

    Ön koşullar

    Sınırlamalar

    • Ürün sınırlamaları:

      • Kerberos kimlik doğrulaması etkinleştirilmiş EMR kümeleri için güvenlik grubu, kaynak grubuyla ilişkili vSwitch CIDR bloğundan gelen UDP trafiğine izin vermelidir.

        Not

        EMR kümesinin Basic information bölümünde Cluster Security Group öğesinin yanındaki image simgesine tıklayarak Security Group Details sekmesine gidin. Access Rule > Inbound seçeneğine tıklayın, Added Manually öğesini seçin ve Protocol Type değerini Custom UDP olarak ayarlayın. Port Range için EMR kümesindeki /etc/krb5.conf dosyasında KDC bağlantı noktasını kontrol edin. Authorized object değerini kaynak grubuyla ilişkili vSwitch CIDR bloğuna ayarlayın.

      • DataLake veya Özel kümeler için DataWorks'te meta verileri yönetmek üzere küme tarafında EMR-HOOK'u yapılandırın veya Spark parametrelerini yapılandırırken bunu ayarlayın. EMR-HOOK olmadan DataWorks meta verileri gerçek zamanlı olarak görüntüleyemez, denetim günlükleri oluşturamaz veya soy bilgisi gösteremez ve EMR ile ilgili yönetişim görevleri çalıştırılamaz. Yalnızca EMR Hive ve EMR Spark SQL hizmetleri EMR-HOOK'u destekler. Daha fazla bilgi için bkz. Hive için EMR-HOOK yapılandırma ve Spark SQL için EMR-HOOK yapılandırma.

        Not

    • Bölge sınırlamaları: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Shenzhen), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Malezya (Kuala Lumpur), Endonezya (Cakarta), Almanya (Frankfurt), İngiltere (Londra), ABD (Silikon Vadisi) ve ABD (Virginia).

    • İzin sınırlamaları:


      İşlemci


      Gerekli izinler


      Alibaba Cloud hesabı


      Ek yetkilendirme gerekmez.


      RAM kullanıcısı veya RAM rolü


      Yalnızca işlemci veya çalışma alanı yöneticisi rolü atanan ya da AliyunDataWorksFullAccess iznine sahip çalışma alanı üyeleri hesaplama kaynakları oluşturabilir. Daha fazla bilgi için bkz. Kullanıcıya çalışma alanı yöneticisi rolü atama.

    Notlar

    • DataWorks'te aşağıdaki Hadoop kümesi (eski veri gölü) EMR sürümleri desteklenir:

      EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1 ve EMR-5.4.3.

    • Hadoop kümeleri (eski veri gölü) artık önerilmemektedir. En kısa sürede DataLake kümelerine geçiş yapın. Daha fazla bilgi için bkz. Hadoop kümesinden DataLake kümesine geçiş.

    Hesaplama kaynağı listesi sayfasına gitme

    1. DataWorks konsoluna giriş yapın. Sol gezinme bölmesinde hedef bölgeye geçiş yapın ve More > Management Center seçeneklerine tıklayın. Açılır listeden çalışma alanınızı seçin ve Go to Management Center öğesine tıklayın.

    2. Sol gezinme bölmesinde hesaplama kaynağı listesi sayfasını açmak için Computing Resources öğesine tıklayın.

    Bir EMR hesaplama kaynağı ilişkilendirme

    hesaplama kaynağı listesi sayfasında EMR hesaplama kaynağını yapılandırın ve ilişkilendirin.

    1. İlişkilendirilecek hesaplama kaynağı türünü seçin.

      1. Associate Computing Resources sayfasına gitmek için Associate Computing Resources öğesine tıklayın.

      2. Associate Computing Resources sayfasında hesaplama kaynağı türünü EMR olarak ayarlayarak Associate EMR Computing Resource yapılandırma sayfasına gidin.

    2. EMR hesaplama kaynağını yapılandırın.

      Associate EMR Computing Resource yapılandırma sayfasında aşağıdaki parametreleri yapılandırın.

      Parametre

      Açıklama

      Alibaba Cloud Account to Which Cluster Belongs

      Current Alibaba Cloud Account veya Another Alibaba Cloud Account seçebilirsiniz.

      Not

      Another Alibaba Cloud Account seçtiğinizde ilgili hesapları yetkilendirmek ve ardından istendiğinde gerekli parametreleri yapılandırmak için Alibaba Cloud hesapları arasında EMR kümesi kullanma bölümündeki talimatları uygulayabilirsiniz.

      Cluster Type

      İş gereksinimlerinize göre küme türünü seçin.

      Cluster

      İlgili küme türü altında kullanmak istediğiniz EMR kümesini seçin.

      Default Access Identity

      • Geliştirme ortamı: Küme hesabı hadoop veya görev yürütücüsüyle eşlenen küme hesabını kullanabilirsiniz.

      • Üretim ortamı: Küme hesabı hadoop veya görev sahibi, Alibaba Cloud hesabı ya da RAM kullanıcısıyla eşlenen küme hesabını kullanabilirsiniz.

        Not

        Varsayılan erişim kimliği görev sahibi, Alibaba Cloud hesabı veya RAM kullanıcısıyla eşlenen küme hesabı olarak ayarlandığında DataWorks kiracı üyeleri ile EMR küme hesapları arasındaki eşlemeyi yapılandırmak için bkz. DataWorks ve EMR arasında hesap eşleme yapılandırma. EMR görevleri eşlenen küme hesabı altında çalışır. Eşleme yapılandırılmadıysa DataWorks bu durumu şu şekilde işler:

        • Bir RAM kullanıcısı (alt hesap) görevi yürütürse: DataWorks varsayılan olarak mevcut işlemciyle aynı ada sahip EMR küme sistem hesabını kullanır. Küme için LDAP veya Kerberos kimlik doğrulaması etkinleştirildiyse görev başarısız olur.

        • Bir Alibaba Cloud hesabı görevi yürütürse: DataWorks görevi bir hata döndürür.

      Pass Proxy User Information

      Görevler EMR kümesinde çalıştırılırken Proxy Kullanıcı bilgilerinin iletilip iletilmeyeceği.

      Not

      LDAP, Kerberos veya başka bir kimlik doğrulama yöntemi etkinleştirildiğinde küme her normal kullanıcı için bir kimlik doğrulama kimlik bilgisi verir. Proxy kullanıcıların süper kullanıcı (gerçek kullanıcı) kimlik bilgileriyle kümeye erişmesini sağlamak amacıyla süper kullanıcıyı proxy kullanıcı olarak kullanabilirsiniz. Kullanıcıyı yalnızca proxy kullanıcı olarak eklemeniz yeterlidir.

      • İlet: Görevler EMR kümesinde çalıştırıldığında veri erişim izinleri Proxy Kullanıcı bazında doğrulanır ve kontrol edilir.

        • Data Studio ve Veri Analizi: Görev yürütücüsünün Alibaba Cloud hesap adı Proxy Kullanıcı bilgisi olarak dinamik şekilde iletilir.

        • İşlem Merkezi: Küme kaydedilirken yapılandırılan varsayılan erişim kimliğinin Alibaba Cloud hesap adı sabit Proxy Kullanıcı bilgisi olarak iletilir.

      • İletme: Görevler EMR kümesinde çalıştırıldığında veri erişim izinleri küme kaydedilirken yapılandırılan hesap kimlik doğrulama yöntemi bazında doğrulanır ve kontrol edilir.

      Proxy Kullanıcı bilgileri EMR görev türüne bağlı olarak farklı şekillerde iletilir:

      • EMR Kyuubi görevleri: Bilgiler hive.server2.proxy.user yapılandırma öğesi aracılığıyla iletilir.

      • JDBC olmayan moddaki EMR Spark görevleri ve EMR Spark SQL görevleri: Bilgiler -proxy-user yapılandırma öğesi aracılığıyla iletilir.

      Yapılandırma dosyaları

      Küme türü HADOOP olarak ayarlandığında yapılandırma dosyalarını EMR konsolundan alın. Daha fazla bilgi için bkz. EMR küme yapılandırma dosyalarını dışa aktarma. Dışa aktardıktan sonra dosyaları yapılandırma sayfasında istendiği şekilde yeniden adlandırın.

      Ayrıca EMR kümesine giriş yaparak yapılandırma dosyalarını aşağıdaki yollardan alabilirsiniz.

      /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

      Computing Resource Instance Name

      Hesaplama kaynağı örneğinin adını özelleştirin. Bir görev çalıştırıldığında hesaplama kaynağını adına göre seçebilirsiniz.

    3. EMR hesaplama kaynağı yapılandırmasını tamamlamak için Confirm öğesine tıklayın.

    Kaynak grubu başlatma

    Bir kümeyi ilk kez kaydettikten, küme hizmeti yapılandırmasını değiştirdikten veya bir bileşen sürümünü yükselttikten (örneğin core-site.xml dosyasını değiştirdikten) sonra kaynak grubunun ağ bağlantısı yapılandırması aracılığıyla EMR kümesine erişebilmesini sağlamak için kaynak grubunu başlatın.

    1. Computing Resources listesi sayfasında oluşturduğunuz EMR hesaplama kaynağını bulun. Sağ üst köşede Initialize Resource Group öğesine tıklayın.

    2. İstediğiniz kaynak grubunun yanındaki Initialize öğesine tıklayın. Kaynak grubu başlatıldıktan sonra Determine öğesine tıklayın.

    (İsteğe bağlı) YARN kaynak kuyruklarını yapılandırma

    Computing Resources listesi sayfasında ilişkilendirdiğiniz EMR kümesini bulun. YARN Resource Queue sekmesinde farklı modüllerdeki görevler için YARN kaynak kuyruklarını yapılandırmak üzere Edit YARN Resource Queue öğesine tıklayın.

    (İsteğe bağlı) Spark parametrelerini yapılandırma

    Farklı modüllerdeki görevler için özel Spark özellik parametrelerini yapılandırın.

    1. Computing Resources listesi sayfasında ilişkilendirdiğiniz EMR kümesini bulun.

    2. Spark-related Parameter sekmesine tıklayın ve ardından EMR kümesi için Spark parametreleri düzenleme sayfasına gitmek üzere Edit Spark Parameters öğesine tıklayın.

    3. Bir modülün altındaki Add öğesine tıklayın, Spark Property Name ve ilgili Spark Property Value değerlerini girerek farklı modüllerdeki görevler için Spark özellik parametrelerini yapılandırın.

    Sonraki adımlar