Tüm Ürünler
Search

Bu Ürün

    DataWorks:CDH Spark SQL düğümü

    Belge Merkezi

    DataWorks:CDH Spark SQL düğümü

    Son Güncelleme:Oct 05, 2026

    Spark SQL, yapılandırılmış verileri verimli bir şekilde işleyen dağıtık bir sorgu motorudur. DataWorks'te CDH Spark SQL düğümlerini kullanarak CDH Spark SQL görevlerini geliştirebilir, zamanlayabilir ve diğer işlerle entegre edebilirsiniz. Bu konuda CDH Spark SQL düğümünün nasıl yapılandırılacağı ve kullanılacağı açıklanmaktadır.

    Önkoşullar

    • Bir Alibaba Cloud CDH kümesi oluşturdunuz ve bunu bir DataWorks çalışma alanıyla ilişkilendirdiniz. Daha fazla bilgi için bkz. CDH hesaplama motorunu ilişkilendirme.

      Önemli

      CDH kümesine Spark bileşenini yüklediniz ve küme bağlama işlemi sırasında Spark ile ilgili bilgileri yapılandırdınız.

    • (İsteğe bağlı, RAM kullanıcıları için) Görev geliştirme için kullanılan RAM kullanıcısını ilgili çalışma alanına ekleyin ve Development veya Workspace Administrator rolünü atayın. Workspace Administrator rolü geniş kapsamlı izinlere sahip olduğundan dikkatli bir şekilde atanmalıdır. Üye ekleme hakkında daha fazla bilgi için bkz. Çalışma alanına üye ekleme.

      Not

      Bir Alibaba Cloud hesabı kullanıyorsanız bu adımı atlayabilirsiniz.

    • DataWorks'te bir Hive veri kaynağı yapılandırdınız ve veri kaynağının bağlantı testinden geçtiğini doğruladınız. Daha fazla bilgi için bkz. Veri kaynaklarını yönetme.

    Düğüm oluşturma

    Talimatlar için bkz. Düğüm oluşturma.

    Düğümü geliştirme

    Görev kodlarınızı SQL düzenleyicisine yazın. Kodunuzda değişkenleri ${değişken_adı} biçiminde tanımlayabilir ve ardından bu değişkenlere Scheduling Settings panelindeki Scheduling Parameters bölümünden değerler atayabilirsiniz. Bu sayede zamanlanmış çalıştırmalar sırasında koda dinamik olarak parametreler geçirebilirsiniz. Zamanlama parametreleri hakkında daha fazla bilgi için bkz. Zamanlama parametrelerinin kaynakları ve ifadeleri. Aşağıdaki kod bir örnektir:

    CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_f1 (`id` BIGINT, `name` STRING)
PARTITIONED BY (`ds` STRING);
CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_t2 AS SELECT * FROM test_spark.test_lineage_table_f1;
INSERT INTO test_spark.test_lineage_table_t2 SELECT id,${var} FROM test_spark.test_lineage_table_f1;
    Not

    • Bu örnek, test_spark veritabanında test_lineage_table_f1 ve test_lineage_table_t2 tablolarını oluşturur ve test_lineage_table_f1 tablosundaki verileri test_lineage_table_t2 tablosuna kopyalar. Bu örnek yalnızca referans amaçlıdır. Gerçek kullanımda veritabanı ortamını kendi ortamınızla değiştirin.

    • ${var} parametresi name alanına ayarlanır.

    Düğümü hata ayıklama

    1. Run Configuration bölümündeki Compute Resource alanında Compute Resource ve Resource Group öğelerini yapılandırın.

      1. Compute Resource için DataWorks'e kaydettiğiniz CDH kümesinin adını seçin.

      2. Resource group için veri kaynağına yönelik bağlantı testinden geçen bir zamanlama kaynak grubu seçin. Daha fazla bilgi için bkz. Ağ Bağlantısı Çözümü.

    2. Düğüm düzenleyicisinin üst kısmındaki araç çubuğunda Run seçeneğine tıklayın.

    Sonraki adımlar

    • Düğüm zamanlamasını yapılandırma: Bir düğümü periyodik olarak çalıştırmanız gerekiyorsa sağ taraftaki Scheduling Settings panelinde Scheduling Policy ayarlarını yapılandırın.

    • Düğüm yayınlama: Bir görevi üretim ortamında çalıştırmak için düğümü yayınlamak üzere image simgesine tıklayın. Bir düğüm ancak üretim ortamına yayınlandıktan sonra zamanlanmış olarak çalışır.

    • Görev İşletme ve Bakım: Bir görev yayınlandıktan sonra Operation Center'da periyodik çalıştırmalarını izleyin. Daha fazla bilgi için bkz. Operation Center'a giriş.