E-MapReduce：Proses peningkatan dan rollback JindoSDK kluster EMR (X86)

Langkah 1: Siapkan paket perangkat lunak dan skrip peningkatan

1. Masuk ke node master kluster EMR. Untuk informasi selengkapnya, lihat Masuk ke kluster.

2. Unduh paket patch ke direktori home pengguna emr-user dan ekstrak paket tersebut.

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz

3. Unduh paket perangkat lunak jindosdk-{VERSION}.tar.gz JindoSDK ke direktori jindosdk-patches yang Anda peroleh pada langkah sebelumnya.

   Dalam contoh ini, JindoSDK ditingkatkan ke versi 6.8.2.

   cd jindosdk-patches
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   ls -l

   Contoh isi direktori jindosdk-patches:

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rw-r----- 1 emr-user emr-user xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

Langkah 1: Siapkan paket peningkatan bootstrap

1. Jalankan perintah berikut untuk mengunduh paket jindosdk-patches.tar.gz dan jindosdk-{VERSION}-{PLATFORM}.tar.gz serta skrip bootstrap_jindosdk.sh:

   Dalam contoh ini, JindoSDK ditingkatkan ke versi 6.8.2.

   mkdir jindo-patch
   
   cd jindo-patch
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/bootstrap_jindosdk.sh
   
   ls -l

   Informasi berikut dikembalikan:

   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 bootstrap_jindosdk.sh
   -rw-r----- 1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 jindosdk-patches.tar.gz

2. Jalankan perintah berikut untuk menyiapkan paket peningkatan:

   bash bootstrap_jindosdk.sh -gen $NEW_JINDOSDK_VERSION  # Jalankan skrip bootstrap_jindosdk.sh dengan $NEW_JINDOSDK_VERSION yang ditentukan untuk meningkatkan ke versi JindoSDK tersebut.

   Catatan

   • Untuk memperluas kluster yang sudah ada, gunakan opsi -gen untuk menghasilkan paket peningkatan ringan.

   • Untuk membuat kluster baru, gunakan opsi -gen-full untuk menghasilkan paket peningkatan dengan konten lengkap.

   Sebagai contoh, untuk meningkatkan JindoSDK ke versi 6.8.2:

   bash bootstrap_jindosdk.sh -gen 6.8.2

   Setelah Anda menyiapkan paket peningkatan, informasi berikut dikembalikan:

   Generated patch at /home/emr-user/jindo-patch/jindosdk-bootstrap-patches.tar.gz

   Persiapan selesai, dan paket patch jindosdk-bootstrap-patches.tar.gz telah dihasilkan.

Langkah 2: Unggah paket peningkatan bootstrap

Unggah paket patch dan skrip bootstrap ke Object Storage Service (OSS). Anda dapat mengunggah paket patch dan skrip untuk kluster EMR dengan menjalankan perintah Hadoop, menggunakan OSSUtils atau OSS Browser, atau di konsol OSS.

Sebagai contoh, unggah ke jalur OSS oss://<bucket-name>/path/to/bootstrap_jindosdk.sh dan oss://<bucket-name>/path/to/jindosdk-bootstrap-patches.tar.gz.

hadoop dfs -mkdir -p oss://<bucket-name>/path/to/patch/

cd /home/hadoop/patch/
hadoop dfs -put jindosdk-bootstrap-patches.tar.gz oss://<bucket-name>/path/to/patch/
hadoop dfs -put bootstrap_jindosdk.sh oss://<bucket-name>/path/to/patch/

hadoop dfs -ls oss://<bucket-name>/path/to/patch/

Informasi berikut dikembalikan:

Found 2 items
-rw-rw-rw-   1       2634 2022-05-13 14:07 oss://<bucket-name>/.../bootstrap_jindosdk.sh
-rw-rw-rw-   1  597342992 2022-05-13 13:41 oss://<bucket-name>/.../jindosdk-bootstrap-patches.tar.gz

Langkah 3: Tambahkan tindakan bootstrap

Tambahkan tindakan bootstrap di konsol EMR. Untuk informasi selengkapnya, lihat Kelola tindakan bootstrap.

Tabel berikut menjelaskan parameter yang dapat Anda konfigurasikan untuk menambahkan tindakan bootstrap.

Langkah 4: Penanganan node khusus

1. Tingkatkan node Gateway yang dibuat melalui CLI EMR.

   • Jika node Gateway dibuat melalui konsol EMR, langkah-langkah di atas telah mencakup konten terkait.

   • Jika node Gateway dibuat melalui CLI EMR, karena node-node ini dibuat secara independen, Anda perlu menjalankan skrip peningkatan secara manual untuk menyelesaikan peningkatan. Selain itu, saat node elastis diinisialisasi, Anda harus menyelesaikan peningkatan terlebih dahulu melalui skrip.

2. Ganti JindoSDK untuk layanan seperti Trino, Presto, dan Impala.

   Untuk versi yang lebih lama dari EMR-3.53.0 dan versi yang lebih lama dari EMR-5.19.0 (tidak termasuk), JindoSDK yang digunakan oleh layanan seperti Trino, Presto, dan Impala tidak akan ditingkatkan secara otomatis dalam langkah-langkah di atas. Anda perlu mengganti paket JAR JindoSDK secara manual di jalur plugins layanan-layanan tersebut dengan versi terbaru dan mulai ulang layanan agar perubahan berlaku.

Langkah 5: Mulai ulang layanan

Mulai ulang layanan terkait agar peningkatan berlaku.

• Setelah Anda membuat kluster, mulai ulang layanan terkait, seperti Hive, Presto, Impala, Flink, Ranger, Spark, dan Zeppelin.

• Setelah Anda memperluas kluster yang sudah ada, mulai ulang layanan terkait untuk node baru, seperti Hive, Presto, Impala, Flink, Ranger, Spark, dan Zeppelin.

Langkah 1: Siapkan skrip rollback

1. Masuk ke node master kluster EMR. Untuk informasi selengkapnya, lihat Masuk ke kluster.

2. Simpan paket patch yang diunduh di direktori HOME pengguna emr-user dan ekstrak paket tersebut.

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz
   cd jindosdk-patches
   ls -l

   Informasi berikut dikembalikan:

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

Langkah 2: Konfigurasikan informasi node untuk rollback

• Konfigurasi manual

  1. Edit file hosts dalam paket.

     vim hosts

  2. Tambahkan hostname, seperti master-1-1 dan core-1-1, dari semua node dalam kluster ke file hosts. Masukkan satu hostname per baris.

     Contoh isi file:

     master-1-1
     core-1-1
     core-1-2

• Konfigurasi otomatis

  Anda juga dapat menjalankan perintah berikut untuk mendapatkan informasi semua node. Jika file hosts gagal diperoleh, Anda perlu melengkapinya secara manual.

  cat  /usr/local/taihao-executor-all/data/cache/.cluster_context | jq --raw-output '.nodes[].hostname.alias[]' > hosts

Langkah 3: Lakukan rollback

Jalankan skrip berikut untuk membatalkan semua perubahan:

./revert_all.sh

Ketika ### DONE muncul dalam informasi yang dikembalikan, eksekusi skrip telah selesai.

>> updating ...  master-1-1
>>> updating ...  core-1-1
>>> updating ...  core-1-2
### DONE

Langkah 4: Verifikasi rollback

ls -l /opt/apps/JINDOSDK/jindosdk-current/lib

Jika Anda berhasil melakukan rollback JindoSDK ke versi 6.2.0, informasi berikut dikembalikan:

-rw-r--r-- 1 emr-user emr-user  1253740 Apr 24 17:40 jindo-core-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user 13110547 Apr 24 17:40 jindo-core-linux-el7-aarch64-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user  4432227 Apr 24 17:40 jindo-sdk-6.2.0.jar
drwxr-xr-x 2 emr-user emr-user     4096 Apr 24 17:40 native

Langkah 5: Penanganan node khusus

1. Tingkatkan node Gateway yang dibuat melalui CLI EMR.

   • Jika node Gateway dibuat melalui konsol EMR, langkah-langkah di atas telah mencakup konten terkait.

   • Jika node Gateway dibuat melalui CLI EMR, karena node-node ini dibuat secara independen, Anda perlu menjalankan skrip peningkatan secara manual untuk menyelesaikan peningkatan. Selain itu, saat node elastis diinisialisasi, Anda harus menyelesaikan peningkatan terlebih dahulu melalui skrip.

2. Ganti JindoSDK untuk layanan seperti Trino, Presto, dan Impala.

   Untuk versi yang lebih lama dari EMR-3.53.0 dan versi yang lebih lama dari EMR-5.19.0 (tidak termasuk), JindoSDK yang digunakan oleh layanan seperti Trino, Presto, dan Impala tidak akan ditingkatkan secara otomatis dalam langkah-langkah di atas. Anda perlu mengganti paket JAR JindoSDK secara manual di jalur plugins layanan-layanan tersebut dengan versi default dan mulai ulang layanan agar perubahan berlaku.

Langkah 6: Mulai ulang layanan

Mulai ulang layanan terkait, seperti Hive, Presto, Impala, Flink, Ranger, Spark, dan Zeppelin, agar rollback berlaku.

Sebagai contoh, pada halaman layanan Hive kluster EMR, pilih More> > Restart di pojok kanan atas.