Oturum, EMR Serverless Spark çalışma alanında bulunan bir Spark örneğidir. SQL sorguları çalıştırmak ve veri bilimi analizi yapmak için bir SQL oturumu oluşturabilirsiniz.
SQL oturumu oluşturma
Bir SQL oturumu oluşturduktan sonra, SQL işi oluştururken bu oturumu seçebilirsiniz.
-
Oturumlar sayfasına gidin.
EMR konsolunda oturum açın.
Sol gezinme bölmesinde EMR Serverless > Spark seçeneklerini seçin.
Spark sayfasında hedef çalışma alanının adını tıklayın.
EMR Serverless Spark sayfasında sol gezinme bölmesinden Sessions seçeneğini tıklayın.
SQL Session sayfasında Connect to SQL Session seçeneğini tıklayın.
-
Create SQL Session sayfasında aşağıdaki parametreleri belirtin ve create seçeneğini tıklayın.
ÖnemliSeçilen kaynak kuyruğunun maksimum eşzamanlılık değerini, not defteri oturumu için gereken kaynak miktarına en azından eşit olacak şekilde ayarlamanızı öneririz. Bu değer konsolda görüntülenir.
Parameter
Description
Name
SQL oturumunun adı.
Ad 1 ila 64 karakter uzunluğunda olmalı ve harfler, rakamlar, tire (-), alt çizgi (_) ve boşluk içerebilir.
Resource Queue
SQL oturumu için kullanılacak kaynak kuyruğu. Geliştirme için ayrılmış bir kuyruk veya geliştirme ile üretim arasında paylaşılan bir kuyruk seçebilirsiniz.
Kuyruklar hakkında daha fazla bilgi için bkz. Kaynak kuyruklarını yönetme.
Engine Version
SQL oturumu için motor sürümü. Daha fazla bilgi için bkz. Motor sürümleri.
Use Fusion Acceleration
Fusion, Spark iş yüklerini hızlandırabilir ve işlerin toplam maliyetini düşürebilir. Faturalama bilgileri için bkz. Ürün Faturalaması. Fusion motoru hakkında daha fazla bilgi için bkz. Fusion motoru.
Automatic Stop
Varsayılan olarak etkindir. Özel bir boşta kalma zaman aşımı süresi belirtebilirsiniz. Sistem, belirtilen süre boyunca boşta kalan SQL oturumunu otomatik olarak durdurur.
Normal Network Connection
VPC içindeki veri kaynaklarına veya harici hizmetlere erişmek için mevcut bir ağ bağlantısı. Daha fazla bilgi için bkz. EMR Serverless Spark ile diğer VPC'ler arasındaki ağ bağlantısı.
spark.driver.cores
Sürücü işlemi için CPU çekirdek sayısı. Varsayılan değer: 1.
spark.driver.memory
Sürücü işlemi için bellek miktarı. Varsayılan değer: 3,5 GB.
spark.executor.cores
Her yürütücü işlemi için CPU çekirdek sayısı. Varsayılan değer: 1.
spark.executor.memory
Her yürütücü işlemi için bellek miktarı. Varsayılan değer: 3,5 GB.
spark.executor.instances
Yürütücü sayısı. Varsayılan değer: 2.
Dynamic Resource Allocation
Varsayılan olarak devre dışıdır. Etkinleştirildiğinde aşağıdaki parametreleri yapılandırın:
-
Minimum Number of Executors: Varsayılan değer 2'dir.
-
Maximum Number of Executors: spark.executor.instances ayarlanmamışsa varsayılan değer 10'dur.
More Memory Configurations
-
spark.driver.memoryOverhead: Sürücü için kullanılabilen yığın dışı bellek. Bu parametre ayarlanmazsa Spark, varsayılan değere göre otomatik olarak bir değer ayırır (
max(384 MB, %10 * spark.driver.memory)). -
spark.executor.memoryOverhead: Her yürütücü için kullanılabilen yığın dışı bellek. Bu parametre ayarlanmazsa Spark, varsayılan değere göre otomatik olarak bir değer ayırır (
max(384 MB, %10 * spark.executor.memory)). -
spark.memory.offHeap.size: Spark tarafından kullanılabilen yığın dışı bellek miktarı. Varsayılan değer 1 GB'dır.
Bu parametre yalnızca
spark.memory.offHeap.enabledparametresitrueolarak ayarlandığında etkili olur. Fusion motoru kullanıldığında bu özellik varsayılan olarak 1 GB yığın dışı bellek ile etkinleştirilir.
Spark Configuration
Özel Spark yapılandırma özellikleri. Anahtar-değer çiftlerini ayırmak için boşluk kullanın. Örnek:
spark.sql.catalog.paimon.metastore dlf.Bir SQL oturumu oluşturduktan sonra durumu başlangıçta Starting (Başlatılıyor) olarak görünür. Durum Running (Çalışıyor) olarak değiştiğinde oturum kullanıma hazırdır. SQL Session sayfasında oturumları durdurabilir, düzenleyebilir veya silebilirsiniz.
-
Çalıştırma kayıtlarını görüntüleme
Bir iş tamamlandıktan sonra çalıştırma geçmişini görüntüleyebilirsiniz.
SQL Sessions sayfasında istediğiniz oturumun adını tıklayın.
-
Execution Records sekmesini tıklayın.
Bu sekmede run ID, başlangıç zamanı ve Spark UI bağlantısı gibi her bir çalıştırmanın ayrıntılarını görüntüleyebilirsiniz.

İlgili konular
Kuyrukla ilgili işlemler için bkz. Kaynak kuyruklarını yönetme.
Oturumlar için roller ve izinler hakkında bilgi almak için bkz. Kullanıcıları ve rolleri yönetme.
SQL işi geliştirme iş akışının tam bir örneği için bkz. Spark SQL hızlı başlangıç.