Tüm Ürünler
Search

Bu Ürün

    DataWorks:EMR Serverless Spark hesaplama kaynağını ilişkilendirme

    Belge Merkezi

    DataWorks:EMR Serverless Spark hesaplama kaynağını ilişkilendirme

    Son Güncelleme:Oct 05, 2026

    EMR Serverless Spark çalışma alanınızı DataWorks'te bir Serverless Spark hesaplama kaynağı olarak ilişkilendirerek EMR Serverless Spark görevlerini DataWorks içinde geliştirebilir ve yönetebilirsiniz.

    Ön koşullar

    • Bir EMR Serverless Spark çalışma alanı oluşturulmuş olmalıdır.

    • Bir DataWorks çalışma alanı oluşturulmuş olmalıdır. Bu işlemleri gerçekleştiren RAM kullanıcısının, Çalışma Alanı Yöneticisi rolüne sahip olarak çalışma alanının bir üyesi olması gerekir.

      Önemli

      Yalnızca Use Data Studio (New Version) kullanan çalışma alanları desteklenir.

    • Hedef DataWorks çalışma alanı ile bir serverless kaynak grubu ilişkilendirilmiş olmalıdır.

    Sınırlamalar

    • Bölge sınırlamaları: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Shenzhen), Çin (Chengdu), Çin (Hong Kong), Japonya (Tokyo), Singapur, Endonezya (Cakarta), Almanya (Frankfurt), ABD (Silikon Vadisi) ve ABD (Virginia).

    • İzin sınırlamaları:

      İşleten

      Gerekli izinler

      Alibaba Cloud hesabı

      Ek izin gerekmez.

      RAM kullanıcısı/RAM rolü

      • DataWorks yönetim izinleri: Yalnızca O&M ve Workspace Administrator rollerine sahip olan veya AliyunDataWorksFullAccess ilkesine sahip çalışma alanı üyeleri hesaplama kaynakları oluşturabilir. Daha fazla bilgi için bkz. Kullanıcıya Çalışma Alanı Yöneticisi izinlerini verme.

      • EMR Serverless Spark hizmeti izinleri:

    Hesaplama kaynağı listesi sayfasına gitme

    1. DataWorks konsolu üzerinde oturum açın. Sol gezinme bölmesinde hedef bölgeye geçiş yapın ve More > Management Center seçeneklerini tıklayın. Açılır listeden çalışma alanınızı seçin ve Go to Management Center öğesini tıklayın.

    2. Sol gezinme bölmesinde hesaplama kaynağı listesi sayfasını açmak için Computing Resources öğesini tıklayın.

    Serverless Spark hesaplama kaynağını ilişkilendirme

    hesaplama kaynağı listesi sayfasında bir Serverless Spark hesaplama kaynağını yapılandırıp bağlayın.

    1. İlişkilendirilecek hesaplama kaynağı türünü seçin.

      1. Associate Computing Resources sayfasına gitmek için Associate Computing Resources öğesini tıklayın.

      2. Associate Computing Resources sayfasında hesaplama kaynağı türü olarak Serverless Spark seçeneğini belirleyerek Associate EMR Serverless Spark Computing Resource yapılandırma sayfasını açın.

    2. Serverless Spark hesaplama kaynağını yapılandırın.

      Associate EMR Serverless Spark Computing Resource yapılandırma sayfasında aşağıdaki parametreleri belirtin.

      Parametre

      Açıklama

      EMR Serverless Spark Workspace

      İlişkilendirmek istediğiniz Spark çalışma alanını seçin. Ayrıca, bir Spark çalışma alanı oluşturmak için açılır listedeki Create seçeneğini de tıklayabilirsiniz.

      Default Engine Version

      Kullanılacak motor sürümünü seçin.

      • Data Studio'da bir EMR Spark görevi oluşturduğunuzda bu motor sürümü varsayılan olarak kullanılır.

      • Farklı görevler için farklı motor sürümleri ayarlamak üzere Spark görev düzenleme penceresinin gelişmiş ayarlarında sürümleri belirtin.

      Default Resource Queue

      Kullanılacak kaynak kuyruğunu seçin. Ayrıca, bir kuyruk eklemek için açılır listedeki Create seçeneğini de tıklayabilirsiniz.

      • Data Studio'da bir EMR Spark görevi oluşturduğunuzda bu kaynak kuyruğu varsayılan olarak kullanılır.

      • Farklı görevler için farklı kaynak kuyrukları ayarlamak üzere Spark görev düzenleme penceresinin gelişmiş ayarlarında kuyrukları belirtin.

      Default Kyuubi Gateway

      İsteğe bağlı. Kyuubi Gateway yapılandırması aşağıdaki görevlerin nasıl çalıştırılacağını belirler:

      • Bir Kyuubi Gateway yapılandırılmışsa:

        • İlgili tüm görevler (EMR Spark SQL/Kyuubi ve Serverless Spark SQL/Kyuubi) Kyuubi Gateway üzerinden çalışır.

      • Bir Kyuubi Gateway yapılandırılmamışsa:

        • EMR Spark SQL ve Serverless Spark SQL görevleri spark-submit kullanılarak çalıştırılır.

        • EMR Kyuubi ve Serverless Kyuubi görevleri yürütülemez.

      Bir ağ geçidi yapılandırmak için EMR Serverless Spark console > Operation Center > Gateway > Kyuubi Gateway bölümünde bir Kyuubi Gateway ve bir belirteç oluşturun.

      • Kerberos etkinleştirilmemişse: Tam bağlantı dizesini oluşturmak için JDBC URL'sini ve belirteci almak amacıyla Kyuubi Gateway adını tıklayın.

      • Kerberos etkinleştirilmişse: Kerberos yapılandırmanıza göre Beeline bağlantı dizesini edinin. Daha fazla bilgi için bkz. Kyuubi Gateway ile Kerberos kullanma.

        # Example of a standard connection string
jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token>
# Example of a connection string for a Kerberos-enabled cluster. Make sure to include the principal of the Kyuubi service.
jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM

      Default Access Identity

      DataWorks'ten bu Spark çalışma alanına erişmek için kullanılan kimlik.

      • Geliştirme ortamı: Yalnızca Executor kimliği desteklenir.

      • Üretim ortamı: Alibaba Cloud Account, Alibaba Cloud RAM Sub-account ve Task Owner kimlikleri desteklenir.

      Computing Resource Instance Name

      Hesaplama kaynağı için tanımlayıcıdır. Görevler, çalışma zamanında kaynağı seçmek için bu adı kullanır.

    3. Serverless Spark hesaplama kaynağı yapılandırmasını tamamlamak için Confirm öğesini tıklayın.

    Genel Spark parametrelerini yapılandırma

    Her modül için çalışma alanı düzeyinde Spark parametrelerini yapılandırabilir ve genel parametrelerin modüle özel ayarlara göre öncelikli olup olmadığını kontrol edebilirsiniz. Yapılandırmadan sonra görevler varsayılan olarak belirtilen Spark parametrelerini kullanır.


    Kapsam


    Yapılandırma yöntemi


    Global configuration


    Çalışma alanı düzeyinde, EMR görevlerini çalıştıran modüller için genel Spark parametrelerini yapılandırabilir ve bunların modüle özel parametrelere göre önceliğini ayarlayabilirsiniz. Daha fazla bilgi için bkz. Genel SPARK parametrelerini yapılandırma.


    Single node


    Data Studio'da, düğüm düzenleme sayfasında tek bir düğüm görevi için belirli Spark özelliklerini ayarlayabilirsiniz. Diğer ürün modülleri, modüller içinde Spark özelliklerinin ayarlanmasını desteklemez.

    İzin yönetimi

    Yalnızca aşağıdaki rollere sahip kullanıcılar genel Spark parametrelerini yapılandırabilir:

    • Alibaba Cloud hesabı

    • AliyunDataWorksFullAccess ilkesine sahip bir RAM kullanıcısı veya RAM rolü

    • Çalışma Alanı Yöneticisi rolüne sahip bir RAM kullanıcısı

    Genel Spark parametrelerini yapılandırma

    Aşağıdaki adımları uygulayarak genel Spark parametrelerini yapılandırın. Serverless Spark hesaplama kaynağı için Spark parametreleri hakkında daha fazla bilgi için bkz. İş yapılandırmasına genel bakış.

    1. hesaplama kaynağı listesi sayfasına gidin ve ilişkilendirdiğiniz Serverless Spark hesaplama kaynağını bulun.

    2. Yapılandırma bölmesini açmak ve genel Spark parametre ayarlarını görüntülemek için Spark Parameters öğesini tıklayın.

    3. Genel Spark parametrelerini ayarlayın.

      Spark Parameters sayfasının sağ üst köşesinde, her bir modül için genel Spark parametrelerini ve önceliklerini yapılandırmak üzere Edit Spark Parameters seçeneğini tıklayın.

      Not

      Bu, çalışma alanı düzeyinde bir yapılandırmadır. Devam etmeden önce doğru çalışma alanını seçtiğinizden emin olun.

      Parametre

      Adımlar

      Spark property

      Serverless Spark görevlerini çalıştırmak için Spark özelliklerini yapılandırın.

      • Aşağıdaki Add seçeneğini tıklayın ve Spark özelliği bilgilerini ayarlamak için Spark Property Name ile karşılık gelen Spark Property Value değerlerini girin.

      • Desteklenen Spark özellik parametreleri hakkında daha fazla bilgi için bkz. Spark Configuration ve Özel Spark Conf parametrelerinin listesi.

      Global Settings Take Precedence

      Bu seçeneği belirlerseniz genel yapılandırma, ürün modüllerindeki yapılandırmaların yerine geçer. Bu durumda görevler genel Spark özelliklerine göre çalıştırılır.

      • Genel yapılandırma: Management Center > Computing Resources bölümündeki Serverless Spark hesaplama kaynağının Spark Parameters sayfasında yapılandırılan Spark özelliklerini ifade eder.

        Şu anda genel Spark parametreleri yalnızca Data Studio, Operation Center ve Data Analysis için ayarlanabilir.

      • Ürün modüllerindeki yapılandırmalar:

        • Data Studio: EMR Spark, EMR Kyuubi, EMR Spark SQL, EMR Spark Streaming, Serverless Spark Batch, Serverless Spark SQL ve Serverless Kyuubi düğümleri için düğüm düzenleme sayfasındaki Spark Parameters bölümünden Run Configuration veya Scheduling Settings sekmesinde tek bir düğüm görevi için Spark özellikleri ayarlayabilirsiniz.

        • Diğer ürün modülleri: Modüller içinde Spark özellikleri ayarlayamazsınız.

    4. Yapılandırılan genel Spark parametrelerini kaydetmek için Confirm öğesini tıklayın.

    Küme hesap eşlemelerini yapılandırma

    DataWorks üyelerinin Alibaba Cloud hesapları ile EMR kümesindeki kimlik hesapları arasında eşlemeler yapılandırın. Bu sayede üyeler, eşlenen küme kimliklerini kullanarak EMR Serverless Spark görevlerini çalıştırabilir.

    Önemli

    Bu özellik yalnızca bir serverless kaynak grubunda kullanılabilir. 15 Ağustos 2025 tarihinden önce bir serverless kaynak grubu satın aldıysanız ve bu özelliği kullanmak istiyorsanız kaynak grubunu yükseltmek için bir destek talebi göndermeniz gerekir.

    1. hesaplama kaynağı listesi sayfasına gidin ve ilişkilendirdiğiniz Serverless Spark hesaplama kaynağını bulun.

    2. Account Mappings yapılandırma bölmesine gitmek için Account Mappings öğesini tıklayın.

    3. Küme hesap eşleme bilgilerini yapılandırmak için Edit Account Mapping seçeneğini tıklayın. Seçilen Mapping Type değerine göre ilgili parametreleri yapılandırabilirsiniz.

      Hesap Mapping Type

      Görev yürütme

      Yapılandırma

      Sistem hesabı eşlemesi

      Hesaplama kaynağının temel bilgilerinde belirtilen Default Access Identity ile aynı ada sahip bir küme hesabı kullanarak EMR Spark, EMR Spark SQL, EMR Kyuubi ve kişisel geliştirme ortamında geliştirilen not defteri görevlerini çalıştırır.

      Varsayılan olarak aynı ada sahip eşleme kullanılır. Farklı hesap eşlemeleri kullanmak için hesapları manuel olarak yapılandırın.

      OpenLDAP hesabı eşlemesi

      Hesaplama kaynağının temel bilgilerinde belirtilen Default Access Identity kullanılarak EMR Spark ve EMR Spark SQL görevleri çalıştırılır.

      Hesaplama kaynağının temel bilgilerindeki varsayılan erişim kimliğiyle eşlenen OpenLDAP hesabı kullanılarak EMR Kyuubi ve kişisel geliştirme ortamında geliştirilen not defteri görevleri çalıştırılır.

      Kyuubi Gateway için LDAP kimlik doğrulamasını yapılandırdıysanız ve etkinleştirdiyseniz, ilgili görevleri çalıştırmak için Account ile OpenLDAP hesapları (LDAP Account ve LDAP Password) arasında eşlemeler yapılandırmanız gerekir.

      Önemli

      Gerekli bir Alibaba Cloud hesabı eşleme listesinde yoksa görev başarısız olabilir.

      Kerberos hesabı eşlemesi

      Hesaplama kaynağının temel bilgilerinde belirtilen Default Access Identity kullanılarak EMR Spark ve EMR Spark SQL görevleri çalıştırılır.

      Hesaplama kaynağının temel bilgilerindeki varsayılan erişim kimliğiyle eşlenen Kerberos hesabı kullanılarak EMR Kyuubi düğüm görevleri çalıştırılır.

      1. EMR Serverless Spark kümesi için yapılandırılan Kerberos hizmetinin krb5.conf dosyasını yüklemeniz gerekir.

      2. Varsayılan erişim kimliği olarak belirtilen Alibaba Cloud hesabı için Kerberos kimlik doğrulamasında gereken principal ve keytab bilgilerini yapılandırın.

    4. Küme hesap eşlemeleri yapılandırmasını tamamlamak için Confirm öğesini tıklayın.

    Sonraki adımlar

    Serverless Spark hesaplama kaynağını yapılandırdıktan sonra Data Studio'da düğüm görevleri geliştirmek için bu kaynağı kullanabilirsiniz. Daha fazla bilgi için bkz. EMR Spark düğümü, EMR Spark SQL düğümü, EMR Spark Streaming düğümü, EMR Kyuubi düğümü, Serverless Spark Batch düğümü, Serverless Spark SQL düğümü ve Serverless Kyuubi düğümü.