EMR on ECS menjalankan komponen open-source data besar seperti Apache Hadoop, Spark, Flink, Hive, dan lainnya pada instans ECS Alibaba Cloud, dilengkapi komponen hasil pengembangan sendiri seperti OSS-HDFS dan JindoCache serta integrasi dengan DataWorks dan DLF. Metode penagihan langganan maupun pay-as-you-go didukung, memungkinkan Anda membuat kluster data besar yang elastis dalam hitungan menit.
EMR dibangun di atas layanan open-source komunitas seperti Apache Hadoop, Spark, Flink, dan StarRocks, serta menyediakan platform manajemen kluster di sekitarnya. EMR on ECS bersifat semi-managed: sumber daya kluster termasuk dalam Akun Alibaba Cloud Anda, dan Anda bertanggung jawab atas O&M rutin layanan open-source tersebut, termasuk perencanaan kapasitas, penyetelan parameter, dan troubleshooting. Pastikan Anda memiliki keahlian O&M data besar internal untuk menjaga workload tetap berjalan. Untuk batasan dukungan teknis lengkap, lihat Cakupan dan metode dukungan teknis.
Arsitektur
EMR mengintegrasikan layanan Alibaba Cloud dan komponen open-source bersama komponen hasil pengembangan sendiri, serta menyediakan kemampuan manajemen kluster. Untuk detail jenis komponen dan skenario penggunaan yang didukung, lihat Komponen dan Skenario penggunaan.
Layanan Alibaba Cloud
-
Kluster berjalan pada instans ECS.
-
Data dapat disimpan di Object Storage Service (OSS).
-
EMR terintegrasi dengan DataWorks, yang menggunakan EMR sebagai mesin komputasi pekerjaan dan penyimpanan data.
-
EMR Workflow adalah layanan fully managed untuk penjadwalan alur kerja dan tugas.
Komponen open-source
EMR mengemas komponen data besar open-source dalam enam kategori: integrasi data, penyimpanan data, manajemen sumber daya, mesin komputasi, pengembangan data, dan layanan data.
Komponen hasil pengembangan sendiri
EMR menyediakan tiga komponen hasil pengembangan sendiri yang memperluas kemampuan open-source pada infrastruktur Alibaba Cloud:
-
OSS-HDFS: Solusi penyimpanan objek yang kompatibel dengan API Hadoop Distributed File System (HDFS). Tugas komputasi data besar mengakses data OSS secara langsung melalui protokol HDFS standar.
-
JindoCache: Solusi cache terdistribusi yang menyimpan blok data di memori untuk meningkatkan performa baca dan mengurangi beban pada sistem penyimpanan dasar.
-
DLF-Auth: Komponen dari Data Lake Formation (DLF) yang mengaktifkan pengelolaan izin data DLF.
Manajemen kluster
-
Buat kluster, lakukan penskalaan horizontal, dan konfigurasikan aturan auto scaling.
-
Kelola konfigurasi kluster dan layanan; lakukan operasi dan pemeliharaan (O&M) pada node dan layanan.
-
Pantau kesehatan kluster dengan metrik multidimensi, analisis laporan kluster, dan alerting.
Manfaat
|
Kemampuan |
Deskripsi |
|
Komponen open-source yang stabil |
Setiap rilis EMR menyertakan versi terbaru komponen open-source dan menghilangkan masalah ketidakcocokan versi lintas komponen. Lingkungan deployment Alibaba Cloud memberikan performa jauh lebih tinggi dibandingkan build komunitas standar. Untuk informasi lebih lanjut tentang layanan yang didukung oleh kluster EMR versi berbeda, lihat Versi rilis. |
|
Kemudahan penggunaan |
Buat lingkungan komputasi data besar dalam hitungan menit tanpa perlu men-deploy atau menjalankan layanan secara manual. Sesuaikan ukuran kluster hanya dengan beberapa klik. Pemantauan dan peringatan bawaan dengan diagnosis cerdas mengurangi waktu troubleshooting. |
|
Efisiensi biaya |
Bayar hanya untuk sumber daya komputasi yang Anda gunakan. Data panas dan dingin ditiering di berbagai lapisan penyimpanan untuk menurunkan biaya penyimpanan per unit. Berbagai alat O&M, diagnosis cerdas, dan platform data besar lebih lanjut mengurangi beban operasional. |
|
Skalabilitas |
Skalakan sumber daya kluster naik atau turun berdasarkan beban atau sesuai jadwal. Auto scaling selesai dalam hitungan menit dan mendukung berbagai jenis sumber daya elastis. |
|
Integrasi mendalam |
Deploy kluster di ECS atau Container Service for Kubernetes (ACK). Berbagai tipe instans ECS didukung. Untuk informasi lebih lanjut, lihat Instans ECS. Terintegrasi dengan DataWorks untuk penjadwalan pekerjaan. Gunakan DLF untuk manajemen metadata terpusat lintas berbagai mesin dalam skenario data lake. |
|
O&M berbantuan AI |
EMR AI Assistant bawaan membaca status runtime dan data pemantauan kluster Anda untuk menjawab pertanyaan, mendiagnosis performa, menjalankan pemeriksaan kesehatan, dan mendorong peringatan. Bicaralah dengannya melalui konsol, atau tambahkan ke grup DingTalk atau Lark. Untuk informasi lebih lanjut, lihat Pengantar Fitur EMR AI Assistant. |
Untuk perbandingan mendetail dengan kluster Hadoop yang dikelola sendiri, lihat Perbandingan antara kluster EMR dan kluster Hadoop yang dikelola sendiri.
EMR AI Assistant
EMR AI Assistant adalah layanan O&M cerdas yang tertanam di EMR. Didukung oleh model bahasa besar, asisten ini terhubung ke kluster Anda dan membaca status runtime serta data pemantauan sebelum menarik kesimpulan, sehingga diagnosis dan rekomendasinya mencerminkan kondisi aktual kluster Anda, bukan saran umum.
Kemampuan
-
Diagnosis performa: Saat kueri timeout atau latensi melonjak, asisten melacak akar penyebab dan merekomendasikan solusi. Tanyakan kueri mana yang lambat baru-baru ini, dan asisten akan mengembalikan pernyataan SQL teratas beserta analisis bottleneck masing-masing.
-
Pemeriksaan kesehatan: Memeriksa konfigurasi dan status runtime kluster sesuai jadwal yang Anda tentukan, lalu melaporkan temuannya.
-
Peringatan proaktif: Setelah Anda mengaktifkan laporan harian dan alerting, asisten memantau kluster secara terus-menerus dan mendorong isu ke DingTalk atau Lark tanpa perlu pengawasan manual.
-
Tanya Jawab: Ajukan pertanyaan dalam bahasa alami. Percakapan multi-putaran memungkinkan Anda menggali lebih dalam suatu masalah dalam satu sesi.
Cara menggunakannya
Asisten tersedia dalam tiga cara: jendela chat di konsol, grup DingTalk atau Lark, serta API dan SDK.
-
Untuk memulai, lihat Memulai dengan EMR AI Assistant.
-
Untuk fitur lengkap dan skenario yang didukung, lihat Pengantar Fitur EMR AI Assistant.
-
Untuk edisi dan penagihan, lihat Detail Penagihan EMR AI Assistant.
Penagihan
Biaya kluster EMR on ECS terdiri dari biaya layanan EMR dan biaya instans ECS. Biaya layanan Alibaba Cloud lain yang digunakan oleh kluster (seperti OSS, DLF, dan EMR Workflow) mengikuti aturan penagihan masing-masing layanan: Ikhtisar penagihan, Penagihan.
EMR on ECS mendukung dua metode penagihan:
-
Langganan: Bayar di muka berdasarkan durasi tetap. Pesan kapasitas terlebih dahulu dengan tarif diskon. Lihat Langganan.
-
Pay-as-you-go: Bayar setelah penggunaan. Beli dan lepas sumber daya sesuai kebutuhan workload tanpa komitmen di muka. Lihat Pay-as-you-go.
Lalu lintas internet yang dihasilkan oleh node kluster selalu ditagih dengan tarif pay-as-you-go, terlepas dari metode penagihan kluster.
Untuk detail harga lengkap, lihat Penagihan.
Langkah berikutnya
-
Gunakan EMR dengan DataWorks: Kembangkan dan kelola data lake dari satu antarmuka. Lihat Memulai dengan DataWorks di EMR.
-
Jelajahi skenario penggunaan: Lihat Skenario penggunaan.
-
Periksa versi komponen: Lihat Layanan yang didukung oleh kluster EMR versi berbeda.
-
Pantau dan kelola kluster: Lihat O&M Kluster dan Pemantauan kluster.
FAQ
Apakah Alibaba Cloud menawarkan layanan Presto lain selain E-MapReduce?
Selain E-MapReduce (EMR on ECS), Alibaba Cloud saat ini tidak menawarkan produk lain yang menyediakan layanan Presto. Untuk menggunakan mesin Presto dalam kueri dan analisis data besar, gunakan kluster EMR on ECS dan pilih versi rilis yang mencakup komponen Presto.