Component overview - E-MapReduce - Alibaba Cloud Dokümantasyon Merkezi

EMR; veri geliştirme, hesaplama motorları, veri hizmetleri, kaynak yönetimi, veri depolama ve veri entegrasyonu alanlarını kapsayan açık kaynak ve kendi geliştirdiğimiz bileşenler sunar. İhtiyaçlarınıza göre bileşenleri seçip yapılandırabilirsiniz.

Not

Küme oluştururken kullanmak istediğiniz bir bileşen kullanılamıyorsa veya bir açık kaynak bileşeni yalnızca mevcut kullanıcılar için sunuluyorsa, bu bileşeni kendiniz yükleyip yönetebilirsiniz.

EMR; açık kaynak bileşenlerden, kendi geliştirdiğimiz bileşenlerden, entegre Alibaba Cloud ürünlerinden ve küme yönetiminden oluşur. Büyük veri bileşenlerinin tam listesini ve kullanım senaryolarını görmek için hizmet mimarisi diyagramına bakın.

Veri geliştirme

Veri geliştirme katmanı; veri toplama, temizleme, modelleme, analiz ve görev zamanlama için görsel araçlar ile kod yönetimi sağlar. Bu sayede kuruluşlar veri varlıklarını verimli bir şekilde yönetip kullanabilir.

EMR'de veri geliştirme için Alibaba Cloud ürünleri DataWorks kullanabilirsiniz. Ayrıntılar aşağıda verilmiştir:

Ürün Adı	Açıklama	Genel Belgeler
DataWorks	DataWorks; uçtan uca veri entegrasyonu, geliştirme, yönetişim, kalite yönetimi, bakım ve işletme (O&M) ile güvenlik kontrolü sağlar. Karmaşık veri entegrasyonu ve yönetişimi gerektiren senaryolar için uygundur.	EMR üzerinde DataWorks Hızlı Başlangıç EMR üzerinde DataWorks Kullanma

Açık kaynak veri geliştirme bileşenlerini kullanmak için Hue ve Superset'i seçebilirsiniz:

Bileşen türü

Bileşen Adı

Açıklama

Ortak Belgeler

Açık kaynak

Hue

Hue yalnızca mevcut kullanıcılar için kullanılabilir.

Hue, Apache Hadoop ekosistemiyle etkileşim kurmak için kullanılan açık kaynaklı bir web arayüzüdür.

Hue

Superset

Superset yalnızca mevcut kullanıcılar için kullanılabilir.

Superset, zengin görselleştirme ve pano özellikleri sunan bir veri görselleştirme aracıdır.

Superset

Hesaplama motorları

EMR; toplu işleme, etkileşimli analiz, akış işleme ve makine öğrenimi için yaygın olarak kullanılan hesaplama motorlarını destekler. Bu motorlar, farklı büyük veri senaryolarının gereksinimlerini karşılamak amacıyla veri yapısını ve mantığını dönüştürür.

Bileşen türü	Bileşen adı	Açıklama	İlgili belgeler
Açık kaynak	Spark	Spark; bellek içi hesaplama sağlayan, toplu işlemeyi, gerçek zamanlı işlemeyi, makine öğrenimini ve grafik hesaplamayı destekleyen hızlı, genel amaçlı bir büyük veri işleme motorudur.	Spark Kabuğu ve temel RDD işlemleri Spark'ı OSS'e Bağlama SSS ve sorun giderme
	Hive	Hive; SQL benzeri bir sorgu dili olan HiveQL sağlayan, Hadoop tabanlı bir veri ambarı aracıdır. Hadoop üzerinde büyük ölçekli verileri depolamak, sorgulamak ve analiz etmek için kullanılır.	Hive bağlantı yöntemleri Kullanıcı tanımlı işlevler (UDF'ler) SSS ve sorun giderme
	StarRocks	StarRocks; Çevrimiçi Analitik İşleme (OLAP) çok boyutlu analizi, yüksek eşzamanlılıkta sorguları ve gerçek zamanlı analitiği destekleyen yeni nesil, yüksek hızda Kütle Paralel İşleme (MPP) veritabanıdır.	StarRocks'a genel bakış StarRocks kümesi oluşturma SSS
	Doris	Doris; rapor analizi, özel sorgular ve veri gölleri için birleşik sorgu hızlandırma gibi durumlar için son derece uygun, yüksek performanslı, gerçek zamanlı analitik bir veritabanıdır.	Doris'e genel bakış Doris kümesi oluşturma Hızlı Başlangıç
	ClickHouse	ClickHouse; verimli Çevrimiçi Analitik İşleme (OLAP) ve devasa veri kümeleri üzerinde hızlı sorgular için tasarlanmış, açık kaynaklı, sütun yönelimli bir veritabanı yönetim sistemidir.	ClickHouse'u Hızlı Kullanma OSS ve ClickHouse Arasında Veri Aktarma SSS
	Trino	Trino (eskiden PrestoSQL), etkileşimli analitik sorgular için uygun, açık kaynaklı, dağıtılmış bir SQL sorgu motorudur.	Trino Komut satırından Trino'ya Bağlanma SSS
	Flink	Flink; büyük ölçekli, gerçek zamanlı veri akışı işlemeyi destekleyen bir akış işleme motorudur.	Temel kullanım Flink ile Kafka verilerini Alibaba Cloud OSS'e akış olarak aktarma SSS
	Presto	PrestoDB olarak da bilinen Presto; esnek ve ölçeklenebilir, etkileşimli analitik sorgular için uygun dağıtılmış bir SQL sorgu motorudur.	Presto Komut satırından Presto'ya Erişme JDBC kullanarak Presto'ya Erişme
	Tez	Apache Tez; verimli ve esnek bir yönlendirilmiş döngüsüz graf (DAG) yürütme modeli sağlayan dağıtılmış bir büyük veri işleme çerçevesidir. Başlıca amacı, sorgu ve toplu işleme performansını optimize etmek için MapReduce'un yerini almaktır.	Tez
	Phoenix	Phoenix; HBase üzerine inşa edilmiş bir SQL ara katmandır. HBase'de depolanan verileri sorgulamanıza ve yönetmenize olanak tanır; bunun için standart SQL sözdizimini kullanabilirsiniz.	Phoenix
	Impala	Impala yalnızca mevcut kullanıcılar için kullanılabilir. Impala; Apache Hadoop'ta depolanan veriler için yüksek performanslı, düşük gecikme süreli SQL sorguları sağlar.	Impala'ya genel bakış Impala'ya Bağlanma SSS
	Kudu	Kudu yalnızca mevcut kullanıcılar için kullanılabilir. Kudu; düşük gecikme süresiyle rastgele okuma/yazma işlemleri ve verimli veri analitiği sağlayan dağıtılmış, ölçeklenebilir, sütun yönelimli bir depolama yöneticisidir.	Genel Bakış Impala'yı Kudu ile Entegre Etme SSS
	Druid	Druid yalnızca mevcut kullanıcılar için kullanılabilir. Druid; büyük ölçekli veri kümeleri üzerinde hızlı, etkileşimli sorgular için tasarlanmış dağıtılmış, bellek içi, gerçek zamanlı bir analitik sistemdir.	Druid

Veri hizmetleri

Veri hizmetleri katmanı; veri şifreleme, erişim kontrolü, veri sorgulama, veri erişimi ve API yetenekleri sunarak büyük veri ortamlarında veri güvenliğini, operasyonel performansı ve analiz verimliliğini artırır.

Bileşen türü	Bileşen Adı	Açıklama	İlgili belgeler
Açık kaynak	Ranger	Ranger; Hadoop ekosisteminde izin yönetimi ve denetim için merkezi bir güvenlik yönetimi çerçevesi sunar.	Ranger Erişim kontrolü için Ranger'ı etkinleştirecek şekilde Hive'ı yapılandırma SSS
	Kerberos	Kerberos; simetrik anahtar teknolojisini kullanan bir kimlik doğrulama protokolüdür. Diğer hizmetler için kimlik doğrulaması sağlar ve Tek Oturum Açma (SSO) desteği sunar.	Kerberos Kerberos'un temel kullanımı Alanlar arası karşılıklı güven
	OpenLDAP	OpenLDAP; kullanıcı ve kaynak bilgilerini yönetmek ve depolamak için LDAP protokolünün açık kaynak uygulamasıdır. Kullanıcı yönetimi ve kimlik doğrulama özellikleri sunar.	OpenLDAP
	Kyuubi	Kyuubi; veri gölü sorgu motorları için SQL ve diğer sorgu hizmetleri sunarak veri analizini ve sorgu işlemeyi basitleştiren, dağıtılmış, çok kiracılı bir SQL ağ geçididir.	Kyuubi'ye genel bakış Kyuubi'ye Bağlanma Kyuubi hesaplama motoru yönetimi
	Zookeeper	ZooKeeper; dağıtılmış uygulamalarda yapılandırma, senkronizasyon ve adlandırma gibi temel görevleri yönetmek için kullanılan dağıtılmış bir koordinasyon hizmetidir. Tutarlı, yüksek performanslı ve güvenilir bir küme yönetimi çözümü sunar.	Genel Bakış Temel kullanım SSS
	Knox	Knox; Hadoop ve ilgili bileşenlere güvenli erişimi basitleştiren, birleşik kimlik doğrulama ve erişim kontrolü sağlayan bir REST API ağ geçididir.	Knox
	Livy	Livy; Spark ile REST arabirimi veya RPC istemci kitaplığı aracılığıyla etkileşim kuran bir hizmettir.	Livy
	Kafka Manager	Kafka Manager yalnızca mevcut kullanıcılar için kullanılabilir. Kafka Manager; Kafka kümelerini yönetmek ve izlemek için web arayüzü sağlayan bir küme yönetimi aracıdır.	Kafka Manager
Kendi geliştirdiğimiz	DLF-Auth	DLF-Auth, Data Lake Formation (DLF) tarafından sağlanır ve DLF tarafından yönetilen veritabanları, tablolar, sütunlar ve işlevler üzerinde ayrıntılı erişim kontrolüne olanak tanır. Bu sayede veri gölünde birleşik veri izin yönetimi sağlanır.	DLF-Auth

Kaynak yönetimi

Kaynak yönetimi katmanı; verimli kaynak zamanlama ve yönetimi sağlayarak otomatik görev zamanlama, akıllı kaynak tahsisi ve kümelerin elastik ölçeklendirilmesi imkanı sunar. Bu sayede büyük veri işlemenin verimliliği ve güvenilirliği artar.

Bileşen türü	Bileşen Adı	Açıklama	İlgili belgeler
Açık kaynak	YARN	YARN; Hadoop için kaynak yönetim sistemidir ve küme kaynaklarını zamanlayıp yönetir. Farklı türlerdeki dağıtılmış hesaplama görevlerinin paylaşılan küme kaynakları üzerinde çalıştırılmasını destekler.	YARN kaynak yapılandırması YARN zamanlayıcı SSS

Veri depolama

Veri depolama katmanı; yapılandırılmış ve yapılandırılmamış veriler için dağıtılmış depolamayı destekler. Hesaplama motorunuzun gereksinimlerine uygun bir depolama yöntemi seçebilirsiniz.

Bileşen türü	Bileşen Adı	Açıklama	Ortak Belgeler
Kendi geliştirdiğimiz	OSS-HDFS	OSS-HDFS; Hadoop Dağıtılmış Dosya Sistemi (HDFS) arabirimiyle uyumlu bir nesne depolama çözümüdür. Büyük veri hesaplama görevlerinin, standart HDFS protokolünü kullanarak doğrudan Alibaba Cloud OSS'teki verilere erişmesine olanak tanır.	OSS/OSS-HDFS'ye genel bakış OSS/OSS-HDFS Hızlı Başlangıç OSS'e erişirken AccessDenied hatası
	JindoCache	JindoCache; veri bloklarını bellekte önbelleğe alarak okuma performansını iyileştiren ve alttaki depolama sistemindeki yükü azaltan, büyük ölçekli veri erişimini hızlandıran dağıtılmış bir önbellek çözümüdür.	JindoCache'e genel bakış OSS-HDFS için şeffaf önbelleğe almayı hızlandırmak üzere JindoCache kullanma OSS için şeffaf önbelleğe almayı hızlandırmak üzere JindoCache kullanma
	ESS	ESS yalnızca mevcut kullanıcılar için kullanılabilir. Yeni kullanıcıların Celeborn bileşenini kullanması önerilir. ESS; Shuffle temelli bir uzantı bileşenidir ve Shuffle okuma/yazma sorunlarını optimize eder.	ESS
	JindoData	JindoData yalnızca mevcut kullanıcılar için kullanılabilir. Yeni kullanıcıların JindoCache bileşenini kullanması önerilir. JindoData; büyük veri ve yapay zeka ekosistemleri için kendi geliştirdiğimiz bir veri gölü depolama hızlandırma paketidir. Alibaba Cloud ve sektördeki başlıca veri gölü depolama sistemleri için kapsamlı bir erişim hızlandırma çözümü sunar.	JindoData
	SmartData	SmartData yalnızca mevcut kullanıcılar için kullanılabilir. Yeni kullanıcıların OSS-HDFS bileşenini kullanması önerilir. SmartData; EMR hesaplama motorları için birleşik depolama optimizasyonu, önbellek optimizasyonu, hesaplama hızlandırma ve depolama özellik genişletmeleri sunan, kendi geliştirdiğimiz bir EMR bileşenidir. Veri erişimi, veri yönetişimi ve veri güvenliği alanlarını kapsar.	SmartData (yalnızca mevcut kullanıcılar için kullanılabilir)
Açık kaynak	Paimon	Paimon; yüksek throughput'lu yazma ve düşük gecikme süreli sorguları destekleyen, birleşik bir akış ve toplu iş gölü depolama biçimidir.	Paimon'a genel bakış Paimon'u Spark ile Entegre Etme Paimon'u Flink ile Entegre Etme
	Hudi	Hudi; Hadoop dosya sisteminde verilerin güncellenmesini ve silinmesini destekleyen, veri değişikliklerini tüketebilen bir veri gölü depolama biçimidir.	Hudi'ye genel bakış Hudi'yi Spark SQL ile Entegre Etme SSS
	Iceberg	Iceberg; yüksek performanslı okuma/yazma işlemleri ve meta veri yönetimi sağlayan açık bir veri gölü tablo biçimidir.	Iceberg Temel kullanım Spark ile Iceberg'i Toplu Okuma ve Yazma
	DeltaLake	DeltaLake; açık kaynaklı bir veri depolama katmanıdır. Atomluluk, tutarlılık, yalıtım ve dayanıklılık (ACID) işlemleri, ölçeklenebilir meta veri işleme ile birleşik akış ve toplu işleme sağlar.	DeltaLake Temel kullanım SSS
	HDFS	Hadoop Dağıtılmış Dosya Sistemi (HDFS); büyük ölçekli veri kümelerini depolamak için kullanılan dağıtılmış bir dosya sistemidir. Yüksek hata toleransı ve yüksek throughput özelliklerine sahiptir; verileri küme düğümlerinde yedekli olarak saklar.	HDFS'ye genel bakış Yaygın HDFS komutları JVM bellek ayarlama
	HBase	HBase; Hadoop dosya sistemi üzerine inşa edilmiş, dağıtılmış, sütun yönelimli açık kaynaklı bir veritabanıdır. Büyük ölçekli veri kümeleri için düşük gecikme süreli rastgele okuma/yazma erişimi ve son derece güvenilir depolama sağlar.	HBase anlık görüntülerini kullanma HBase Shell'i kullanma SSS ve sorun giderme
	Celeborn	Celeborn; büyük veri motorlarının kararlılığını, esnekliğini ve performansını artırmak için ara verileri işleyen bir hizmettir.	Celeborn
	HBASE-HDFS	HBASE-HDFS, HDFS'dir. Hesaplama-depolama ayrımı senaryolarında, Write-Ahead Logging (WAL) verilerini depolamak için yerel HBASE-HDFS kullanır.	HBASE-HDFS
	Alluxio	Alluxio yalnızca mevcut kullanıcılar için kullanılabilir. Alluxio; bulut tabanlı veri analitiği ve yapay zeka için kullanılan, birden fazla altta yatan depolama sistemini destekleyen birleşik bir veri erişim katmanı sağlayan açık kaynaklı bir veri düzenleme teknolojisidir.	Alluxio

Veri entegrasyonu

Veri entegrasyonu katmanı; toplu veri aktarımı, gerçek zamanlı mesaj akışı işleme ve dağıtılmış günlük toplama sağlayarak veri aktarım verimliliğini ve toplama güvenilirliğini artırır.

Bileşen türü	Bileşen adı	Açıklama	Genel Belgeler
Açık kaynak	Flume	Flume; büyük log veri akışlarını merkezi bir veri deposuna toplamak, birleştirmek ve taşımak için kullanılan dağıtılmış, güvenilir ve yüksek kullanılabilirliğe sahip bir sistemdir.	Yaygın parametre ayarlama HDFS denetim günlüklerini HDFS'e senkronize etme SSS
	Sqoop	Sqoop; Hadoop ile ilişkisel veritabanları arasında verileri verimli bir şekilde aktarmak için kullanılan bir araçtır. Büyük ölçekli veri içe ve dışa aktarma işlemlerini destekler.	Sqoop Kullanma Sqoop SSS
	Kafka	Kafka yalnızca mevcut kullanıcılar için kullanılabilir. Kafka; yüksek throughput, düşük gecikme süresi ve kalıcılık sunan, açık kaynaklı dağıtılmış bir olay akış platformudur. Gerçek zamanlı veri akışı işleme ve veri hattı uygulamalarında yaygın olarak kullanılır.	Kafka hizmetlerini kimlik doğrulamak için SASL kullanma Kafka bağlantılarını şifrelemek için SSL kullanma Kafka SSS

Referanslar

EMR'nin genel mimarisi için Hizmet mimarisi konusuna bakın.
Her bir EMR sürümünün desteklediği bileşenler ve bunların sürümleri için Her sürüm tarafından desteklenen bileşenler konusuna bakın.
EMR'nin desteklediği senaryolar ve her senaryo için kullanılacak bileşenler için Büyük veri kullanım senaryoları konusuna bakın.