Batasan dan FAQ tentang EMR - E-MapReduce

Saat menggunakan E-MapReduce (EMR), ketidakstabilan kluster atau kluster yang tidak tersedia dapat terjadi akibat operasi yang tidak terduga. Perhatikan informasi dalam topik ini untuk menghindari masalah tersebut. Topik ini menjelaskan batasan-batasan EMR.

Penting

Saat menggunakan EMR, lakukan semua operasi di konsol EMR. Hindari melakukan operasi di konsol Elastic Compute Service (ECS) karena dapat menyebabkan ketidakstabilan atau anomali kluster. Perhatikan informasi dalam topik ini. Jika Anda melakukan operasi yang dilarang, Anda bertanggung jawab atas konsekuensinya.

Operasi berisiko tinggi (dilarang)

Operasi	Hasil yang Mungkin	Saran
Menghapus atau mengubah file hosts yang disimpan di direktori etc/.	Anda tidak dapat menemukan layanan yang berjalan pada node kluster, yang menyebabkan pengecualian layanan.	Tambahkan informasi ke file hosts.
Mengubah parameter dalam file konfigurasi komponen di konsol ECS.	Setelah layanan tertentu di-restart, pengaturan parameter yang dimodifikasi akan ditimpa.	Ubah parameter di konsol EMR.
Redeploy instance ECS di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Layanan EMR terpengaruh.	Tidak ada.
Memasang disk ke node kluster EMR di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Disk tidak tersedia karena EMR tidak dapat mengenali dan menginisialisasi disk.	Tidak ada.
Melepas disk dari node kluster EMR di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Hal ini dapat menyebabkan kehilangan data karena EMR tidak mengetahui operasi pelepasan disk.	Tidak ada.
Menghapus node inti di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Hal ini menyebabkan kehilangan data dan kegagalan eksekusi tugas pada node yang dihapus.	Tidak ada.
Menghapus node master di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Untuk kluster high availability (HA), jika Anda menghapus node master, pergantian HDFS NameNode HA, YARN ResourceManager, atau HBase HMaster gagal. Dalam hal ini, Anda harus membeli kluster EMR baru untuk migrasi data atau tugas. Untuk kluster non-HA, jika Anda menghapus node master, kluster menjadi tidak tersedia, dan Anda tidak dapat memigrasi data atau tugas.	Tidak ada.
Menghapus node tugas di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Tugas yang Anda jalankan pada node yang dihapus gagal.	Tidak ada.
Menghentikan layanan MySQL dari node master. (Tipe diatur ke Built-in MySQL saat Anda membuat kluster EMR.)	Layanan MySQL yang diterapkan pada node master-1-1 terkait dengan Hive MetaStore, Oozie, dan Ranger. Jika Anda menghentikan layanan MySQL, komponen terkait tidak dapat mengakses database tertentu.	Tidak ada.
Mengubah kata sandi pengguna root yang digunakan untuk mengakses layanan MySQL yang diterapkan pada node master-1-1. (Tipe diatur ke Built-in MySQL saat Anda membuat kluster EMR.)	Komponen terkait seperti Hue atau Ranger gagal.	Tidak ada.
Mengubah grup keamanan tempat instance ECS berada, VPC tempat instance ECS diterapkan, dan vSwitch instance ECS di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Koneksi jaringan antar node tidak normal. Komponen menjadi tidak tersedia.	Tidak ada.
Mengubah metode penagihan di konsol ECS atau dengan memanggil Operasi API yang disediakan oleh ECS.	Setelah Anda mengubah metode penagihan, Anda tidak dapat lagi mengubah metode penagihan baru kembali ke yang asli.	Ubah metode penagihan di konsol EMR. Untuk informasi lebih lanjut, lihat Beralih dari bayar sesuai pemakaian ke langganan. Penting Anda tidak dapat mengubah metode penagihan dari langganan ke bayar sesuai pemakaian di konsol EMR.
Menghapus direktori terkait agen.	Kluster EMR tidak dapat berjalan sesuai harapan.	Tidak ada.

FAQ

Deskripsi Masalah	Solusi
Kapasitas disk tidak mencukupi	Tingkatkan kapasitas satu disk atau tambahkan node inti di konsol EMR. Kluster EMR tidak mendukung penambahan disk.
Kapasitas disk berlebih	Beli kluster baru dan lepaskan yang lama. Untuk informasi lebih lanjut, lihat Buat kluster. Kluster EMR tidak mendukung skala turun kapasitas disk.
Kemampuan komputasi tidak mencukupi	Tambahkan node tugas di konsol EMR. Untuk informasi lebih lanjut, lihat Perluas kluster.
Kemampuan komputasi berlebih	Selesaikan masalah ini berdasarkan metode penagihan kluster Anda. Untuk klaster bayar sesuai pemakaian, hapus satu atau lebih node tugas dari kluster di konsol EMR. Untuk klaster langganan, hentikan NodeManager YARN pada node tugas tertentu, ubah metode penagihan instance ECS yang berfungsi sebagai node tugas menjadi bayar sesuai pemakaian di konsol ECS, dan kemudian lepaskan instansinya.
Versi komponen sudah usang	Beli kluster versi terbaru. Anda tidak diizinkan untuk memperbarui komponen tertentu dari kluster yang ada. Untuk informasi lebih lanjut, lihat Buat kluster.
Konversi dari kluster non-HA ke kluster HA	Kluster non-HA tidak dapat dikonversi ke kluster HA. Kami menyarankan Anda membeli kluster HA.
Penyebaran perangkat lunak pihak ketiga atau layanan pada EMR	Gunakan tindakan bootstrap untuk menginstal perangkat lunak pihak ketiga atau layanan pihak ketiga saat Anda membuat kluster. Jika Anda secara manual menginstal perangkat lunak pihak ketiga atau layanan pihak ketiga setelah membuat kluster, Anda harus menginstal ulang perangkat lunak atau layanan tersebut saat menambahkan node.