Tüm iş geliştirme süreçleri bir çalışma alanı içinde yürütülür; bu nedenle öncelikle bir çalışma alanı oluşturmanız gerekir. Bu konuda, E-MapReduce konsolunda nasıl çalışma alanı oluşturulacağı açıklanmaktadır.
Önkoşullar
Bir Alibaba Cloud hesabınızın kaydı tamamlanmış ve gerçek ad doğrulamasını yapmış olmanız gerekir.
-
Çalışma alanı oluşturmak için gerekli izinlere sahip bir hesaba sahip olmalısınız:
Alibaba Cloud hesabınızı kullanıyorsanız yetkilendirme ayrıntıları için Alibaba Cloud hesabına rol atama konusuna bakın.
RAM kullanıcı veya RAM rolü kullanıyorsanız AliyunEMRServerlessSparkFullAccess, AliyunOSSFullAccess ve AliyunDLFFullAccess erişim ilkelerinin ilgili RAM kullanıcı veya RAM rolüne eklenmiş olduğundan emin olun. Ardından, Access Control sayfasında RAM kullanıcı veya RAM rolünü ekleyin ve buna yönetici rolünü verin. Daha fazla bilgi için RAM kullanıcıya izin verme ve Kullanıcıları ve rolleri yönetme konularına bakın.
Data Lake Formation (DLF) etkinleştirilmiş olmalıdır. Daha fazla bilgi için Hızlı Başlangıç konusuna bakın. DLF'yi destekleyen bölgelerin listesi için Bölgeler ve uç noktalar konusuna bakın.
Object Storage Service (OSS) etkinleştirilmiş ve bir paket oluşturulmuş olmalıdır. Daha fazla bilgi için OSS'i etkinleştirme ve Paket oluşturma konularına bakın.
Dikkat edilecek hususlar
Kodunuzun çalışma zamanı ortamını yönetmek ve yapılandırmak sizin sorumluluğunuzdadır.
Abonelik tabanlı çalışma alanı oluşturma
-
EMR Serverless Spark sayfasına gidin.
EMR konsolu üzerinde oturum açın.
Sol gezinme bölmesinde EMR Serverless > Spark seçeneğini belirleyin.
-
Üst gezinme çubuğunda gereksinimlerinize uygun bir bölge seçin.
ÖnemliÇalışma alanını oluşturduktan sonra bölgesini değiştiremezsiniz.
Create Workspace seçeneğine tıklayın.
-
Create Workspace sayfasında aşağıdaki parametreleri yapılandırın.
Parametre
Açıklama
Örnek
Region
Verilerinizin bulunduğu bölgeyi seçin.
China (Hangzhou)
Billing Method
Subscription seçeneğini belirleyin.
abonelik
Workspace Name
Ad 1 ile 64 karakter uzunluğunda olmalı ve yalnızca Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.
NotZaten kullanılan bir ad girerseniz sistem sizden farklı bir ad belirtmenizi ister.
emr-serverless-spark
CU Quota
Çalışma alanında işleri işlemek için kullanılabilen maksimum eşzamanlı hesaplama birimi (CU) sayısı.
NotBir çalışma alanı için maksimum CU kotası 1.000 CU'dur. Daha yüksek bir kota gerekiyorsa .
1000
Workspace Directory
İş günlükleri, çalışma zamanı olayları ve kaynaklar gibi veri dosyalarını depolamak için kullanılan dizin.
Yerel HDFS arabirimi uyumluluğu için OSS-HDFS özelliği etkinleştirilmiş bir paket seçin. Kullanım senaryonuz HDFS gerektirmiyorsa standart bir OSS paketi seçebilirsiniz.
NotGereksinimlerinize göre OSS yolu için üst dizin veya alt dizin belirtebilirsiniz. Spark, belirtilen OSS yolu altında çalışma alanı kimliğiyle adlandırılmış bir dizin otomatik olarak oluşturur ve aşağıdaki verileri burada depolar:
<workspace-ID>/spark/logs/: Spark iş günlükleri
<workspace-ID>/spark/eventlogs/: Spark olay günlükleri
<workspace-ID>/spark/snapshot/: Spark anlık görüntü verileri
emr-oss-hdfs
DLF for Metadata Storage
Meta verilerinizi depolar ve yönetir. Bir DLF veya DLF-Legacy katalog seçebilirsiniz.
DLF etkinleştirildiyse EMR varsayılan olarak bir DLF kataloğunu kullanır. Yalnızca DLF-Legacy yapılandırıldıysa EMR, UID'nizle aynı ada sahip DLF-Legacy kataloğunu varsayılan olarak kullanır. Farklı kümeler için farklı veri katalogları kullanmak üzere yeni bir katalog oluşturun:
Create Catalog seçeneğine tıklayın. Görüntülenen iletişim kutusunda bir Catalog Name girin ve Create Catalog seçeneğine tıklayın. Daha fazla bilgi için Katalog oluşturma konusuna bakın.
Açılır listeden oluşturduğunuz veri kataloğunu seçin.
emr-dlf
Create Catalog
Serverless Spark'in işleri çalıştırmak için üstlendiği rolü belirtir. Varsayılan rol AliyunEMRSparkJobRunDefaultRole değeridir.
Serverless Spark, OSS ve DLF gibi diğer hizmetlerdeki kaynaklarınıza erişmek için bu rolü kullanır. Yürütme rolünün izinlerini kontrol etmek istiyorsanız özel bir yürütme rolü kullanabilirsiniz. Daha fazla bilgi için Yürütme rolü konusuna bakın.
AliyunEMRSparkJobRunDefaultRole
(İsteğe bağlı) Advanced Settings
Tags: Etiketler, cloud kaynaklarınız için tanımlayıcılardır. Aynı özelliklere sahip kaynakları sınıflandırmak, aramak ve toplamak için etiketleri kullanabilir; bu sayede kaynak yönetimi verimliliğini artırabilirsiniz. Her çalışma alanına en fazla 20 etiket bağlayabilirsiniz. Her etiket, özel bir etiket anahtarı ve etiket değerinden oluşur. Etiketler ayrıca kullandıkça öde kaynakların maliyet tahsisi ve ayrıntılı yönetimini sağlar.
Çalışma alanı oluştururken etiket bağlayabilir veya çalışma alanı listesi sayfasında istediğiniz zaman etiket ekleyip değiştirebilirsiniz. Kaynaklara etiket bağlamak bunları sınıflandırmanıza ve işlemleri optimize etmenize yardımcı olur.
Etiketler hakkında daha fazla bilgi için Etiket nedir? konusuna bakın.
Özel bir etiket anahtarı ve etiket değeri girin
Catalog Name seçeneğine tıklayın.
-
Create Catalog seçeneğine tıklayın ve ödemeyi tamamlayın.
Ödeme tamamlandıktan sonra EMR Serverless > Spark sayfasında Workspace öğesinin oluşturulduğunu görebilirsiniz. Çalışma alanı genellikle 3 ila 5 dakika içinde oluşturulur.
Kullandıkça öde çalışma alanı oluşturma
-
EMR Serverless Spark sayfasına gidin.
EMR konsolu üzerinde oturum açın.
Sol gezinme bölmesinde EMR Serverless > Spark seçeneğini belirleyin.
-
Üst gezinme çubuğunda gereksinimlerinize uygun bir bölge seçin.
ÖnemliÇalışma alanını oluşturduktan sonra bölgesini değiştiremezsiniz.
Advanced Settings seçeneğine tıklayın.
-
Create Workspace sayfasında aşağıdaki parametreleri yapılandırın.
Parametre
Açıklama
Örnek
Tags
Verilerinizin bulunduğu bölgeyi seçin.
China (Hangzhou)
Create Workspace
Confirm Order seçeneğini belirleyin.
kullandıkça öde
Workspace Name
Ad 1 ile 64 karakter uzunluğunda olmalı ve yalnızca Çince karakterler, harfler, rakamlar, tire (-) ve alt çizgi (_) içerebilir.
NotZaten kullanılan bir ad girerseniz sistem sizden farklı bir ad belirtmenizi ister.
emr-serverless-spark
Create Workspace
Çalışma alanında eşzamanlı iş yürütme için kullanılabilen maksimum hesaplama birimi (CU) sayısı.
NotBir çalışma alanı için maksimum ani artış kotası 5.000 CU'dur. Daha yüksek bir kota gerekiyorsa .
1000
Region
İş günlükleri, çalışma zamanı olayları ve kaynaklar gibi veri dosyalarını depolamak için kullanılan dizin.
Yerel HDFS arabirimi uyumluluğu için OSS-HDFS özelliği etkinleştirilmiş bir paket seçin. Kullanım senaryonuz HDFS gerektirmiyorsa standart bir OSS paketi seçebilirsiniz.
NotGereksinimlerinize göre OSS yolu için üst dizin veya alt dizin belirtebilirsiniz. Spark, belirtilen OSS yolu altında çalışma alanı kimliğiyle adlandırılmış bir dizin otomatik olarak oluşturur ve aşağıdaki verileri burada depolar:
<workspace-ID>/spark/logs/: Spark iş günlükleri
<workspace-ID>/spark/eventlogs/: Spark olay günlükleri
<workspace-ID>/spark/snapshot/: Spark anlık görüntü verileri
emr-oss-hdfs
Billing Method
Meta verilerinizi depolar ve yönetir. Bir DLF veya DLF-Legacy katalog seçebilirsiniz.
DLF etkinleştirildiyse EMR varsayılan olarak bir DLF kataloğunu kullanır. Yalnızca DLF-Legacy yapılandırıldıysa EMR, UID'nizle aynı ada sahip DLF-Legacy kataloğunu varsayılan olarak kullanır. Farklı kümeler için farklı veri katalogları kullanmak üzere yeni bir katalog oluşturun:
Create Catalog seçeneğine tıklayın. Görüntülenen iletişim kutusunda bir Catalog Name girin ve Create Catalog seçeneğine tıklayın. Daha fazla bilgi için Katalog oluşturma konusuna bakın.
Açılır listeden oluşturduğunuz veri kataloğunu seçin.
emr-dlf
Execution Role
Serverless Spark'in işleri çalıştırmak için üstlendiği rolü belirtir. Varsayılan rol AliyunEMRSparkJobRunDefaultRole değeridir.
Serverless Spark, OSS ve DLF gibi diğer hizmetlerdeki kaynaklarınıza erişmek için bu rolü kullanır. Yürütme rolünün izinlerini kontrol etmek istiyorsanız özel bir yürütme rolü kullanabilirsiniz. Daha fazla bilgi için Yürütme rolü konusuna bakın.
AliyunEMRSparkJobRunDefaultRole
(İsteğe bağlı) Advanced Settings
Tags: Etiketler, cloud kaynaklarınız için tanımlayıcılardır. Aynı özelliklere sahip kaynakları sınıflandırmak, aramak ve toplamak için etiketleri kullanabilir; bu sayede kaynak yönetimi verimliliğini artırabilirsiniz. Her çalışma alanına en fazla 20 etiket bağlayabilirsiniz. Her etiket, özel bir etiket anahtarı ve etiket değerinden oluşur. Etiketler ayrıca kullandıkça öde kaynakların maliyet tahsisi ve ayrıntılı yönetimini sağlar.
Çalışma alanı oluştururken etiket bağlayabilir veya çalışma alanı listesi sayfasında istediğiniz zaman etiket ekleyip değiştirebilirsiniz. Kaynaklara etiket bağlamak bunları sınıflandırmanıza ve işlemleri optimize etmenize yardımcı olur.
Etiketler hakkında daha fazla bilgi için Etiket nedir? konusuna bakın.
Özel bir etiket anahtarı ve etiket değeri girin
Workspace Name seçeneğine tıklayın.
İlgili belgeler
Çalışma alanı oluşturduktan sonra SparkSQL işleri gibi iş geliştirmeye başlayabilirsiniz. Daha fazla bilgi için SparkSQL geliştirme hızlı başlangıcı konusuna bakın.