E-MapReduce:Upgrade dan rollback JindoSDK pada kluster EMR (x86)

Langkah 1: Siapkan paket dan skrip upgrade

1. Login ke node master kluster EMR. Untuk informasi selengkapnya, lihat Log on to a cluster.

2. Unduh paket patch ke direktori home emr-user dan ekstrak paket tersebut.

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz

3. Unduh paket JindoSDK jindosdk-{VERSION}.tar.gz dan letakkan di direktori hasil ekstraksi.

   Contoh ini melakukan upgrade JindoSDK di kluster ke versi 6.8.2.

   cd jindosdk-patches
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   ls -l

   Direktori jindosdk-patches berisi file-file berikut:

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rw-r----- 1 emr-user emr-user xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

Langkah 1: Buat paket upgrade bootstrap

1. Jalankan perintah berikut untuk mengunduh jindosdk-patches.tar.gz, jindosdk-{VERSION}-{PLATFORM}.tar.gz, dan bootstrap_jindosdk.sh.

   Contoh ini melakukan upgrade JindoSDK di kluster ke versi 6.8.2.

   mkdir jindo-patch
   
   cd jindo-patch
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/bootstrap_jindosdk.sh
   
   ls -l

   Output berikut dikembalikan:

   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 bootstrap_jindosdk.sh
   -rw-r----- 1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 jindosdk-patches.tar.gz

2. Jalankan perintah berikut untuk membuat paket upgrade.

   bash bootstrap_jindosdk.sh -gen $NEW_JINDOSDK_VERSION  # Jalankan skrip bootstrap_jindosdk.sh dengan $NEW_JINDOSDK_VERSION yang ditentukan untuk meng-upgrade JindoSDK ke versi tersebut.

   Catatan

   • Untuk melakukan scale out kluster yang sudah ada, gunakan opsi -gen untuk menghasilkan paket upgrade ringan.

   • Untuk membuat kluster baru, gunakan opsi -gen-full untuk menghasilkan paket upgrade yang berisi semua konten yang diperlukan.

   Sebagai contoh, untuk meng-upgrade JindoSDK ke versi 6.8.2:

   bash bootstrap_jindosdk.sh -gen 6.8.2

   Setelah paket upgrade dibuat, pesan berikut ditampilkan.

   Generated patch at /home/emr-user/jindo-patch/jindosdk-bootstrap-patches.tar.gz

   Saat pembuatan selesai, paket patch jindosdk-bootstrap-patches.tar.gz dihasilkan.

Langkah 2: Unggah paket bootstrap

Unggah paket patch dan skrip bootstrap ke OSS. Anda dapat menggunakan perintah Hadoop dari dalam kluster EMR, atau menggunakan alat seperti konsol OSS Alibaba Cloud, ossutil, atau OSS Browser.

Sebagai contoh, path OSS adalah oss://<bucket-name>/path/to/bootstrap_jindosdk.sh dan oss://<bucket-name>/path/to/jindosdk-bootstrap-patches.tar.gz.

hadoop dfs -mkdir -p oss://<bucket-name>/path/to/patch/

cd /home/hadoop/patch/
hadoop dfs -put jindosdk-bootstrap-patches.tar.gz oss://<bucket-name>/path/to/patch/
hadoop dfs -put bootstrap_jindosdk.sh oss://<bucket-name>/path/to/patch/

hadoop dfs -ls oss://<bucket-name>/path/to/patch/

Output berikut dikembalikan:

Found 2 items
-rw-rw-rw-   1       2634 2022-05-13 14:07 oss://<bucket-name>/.../bootstrap_jindosdk.sh
-rw-rw-rw-   1  597342992 2022-05-13 13:41 oss://<bucket-name>/.../jindosdk-bootstrap-patches.tar.gz

Langkah 3: Tambahkan tindakan bootstrap

Tambahkan tindakan bootstrap di konsol EMR. Untuk informasi selengkapnya, lihat Manage bootstrap actions.

Konfigurasikan tindakan bootstrap dengan pengaturan pada tabel berikut.

Langkah 4: Atasi node khusus

1. Upgrade node Gateway yang dibuat menggunakan CLI EMR.

   • Jika node Gateway dibuat di konsol EMR, langkah-langkah sebelumnya sudah mencakupnya.

   • Jika Anda membuat node Gateway menggunakan CLI EMR, node tersebut berdiri sendiri dan Anda harus menjalankan skrip upgrade secara manual. Selain itu, Anda harus melakukan upgrade node elastis terlebih dahulu saat menginisialisasinya.

2. Ganti JindoSDK untuk layanan seperti Trino, Presto, dan Impala.

   Untuk kluster EMR yang menjalankan versi sebelum EMR v3.53.0 atau v5.19.0, JindoSDK untuk layanan seperti Trino, Presto, dan Impala tidak di-upgrade secara otomatis. Anda harus mengganti file JAR JindoSDK secara manual di path plugins layanan tersebut dengan versi target dan restart layanan agar perubahan diterapkan.

Langkah 5: Restart layanan

Restart layanan yang relevan untuk memastikan mereka memuat perbaikan terbaru.

• Jika Anda membuat kluster baru, restart layanan seperti Hive, Presto, Impala, Flink, Ranger, Spark, dan Zeppelin.

• Jika Anda melakukan scale out dengan menambahkan node baru, restart layanan pada node tersebut.

Langkah 1: Siapkan skrip rollback

1. Login ke node master kluster EMR. Untuk informasi selengkapnya, lihat Log on to a cluster.

2. Unduh paket patch ke direktori home emr-user dan ekstrak paket tersebut.

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz
   cd jindosdk-patches
   ls -l

   Output berikut dikembalikan:

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

Langkah 2: Konfigurasikan informasi node

• Konfigurasi informasi node secara manual

  1. Edit file hosts dalam paket patch.

     vim hosts

  2. Tambahkan hostname semua node dalam kluster, seperti master-1-1 atau core-1-1, dengan satu hostname per baris.

     Sebagai contoh, file hosts berisi konten berikut:

     master-1-1
     core-1-1
     core-1-2

• Isi informasi node secara otomatis

  Anda juga dapat menjalankan perintah berikut untuk mengambil semua informasi node. Jika perintah gagal mengisi file hosts, Anda harus menambahkan informasi node secara manual.

  cat  /usr/local/taihao-executor-all/data/cache/.cluster_context | jq --raw-output '.nodes[].hostname.alias[]' > hosts

Langkah 3: Jalankan rollback

Jalankan perintah berikut untuk membatalkan semua perubahan.

./revert_all.sh

Skrip selesai ketika output berisi ### DONE.

>>> updating ...  master-1-1
>>> updating ...  core-1-1
>>> updating ...  core-1-2
### DONE

Langkah 4: Verifikasi rollback

ls -l /opt/apps/JINDOSDK/jindosdk-current/lib

Contoh berikut menunjukkan output setelah melakukan rollback ke versi 6.2.0.

-rw-r--r-- 1 emr-user emr-user  1253740 Apr 24 17:40 jindo-core-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user 13110547 Apr 24 17:40 jindo-core-linux-el7-aarch64-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user  4432227 Apr 24 17:40 jindo-sdk-6.2.0.jar
drwxr-xr-x 2 emr-user emr-user     4096 Apr 24 17:40 native

Langkah 5: Atasi node khusus

1. Upgrade node Gateway yang dibuat menggunakan CLI EMR.

   • Jika node Gateway dibuat di konsol EMR, langkah-langkah sebelumnya sudah mencakupnya.

   • Jika Anda membuat node Gateway menggunakan CLI EMR, node tersebut berdiri sendiri dan Anda harus menjalankan skrip upgrade secara manual. Selain itu, Anda harus melakukan upgrade node elastis terlebih dahulu saat menginisialisasinya.

2. Ganti JindoSDK untuk layanan seperti Trino, Presto, dan Impala.

   Untuk kluster EMR yang menjalankan versi sebelum EMR v3.53.0 atau v5.19.0, JindoSDK untuk layanan seperti Trino, Presto, dan Impala tidak di-rollback secara otomatis. Ganti secara manual file JAR JindoSDK di path plugins layanan tersebut dengan versi default, lalu restart layanan agar perubahan diterapkan.

Langkah 6: Restart layanan

Untuk menerapkan rollback, restart layanan seperti Hive, Presto, Impala, Flink, Ranger, Spark, dan Zeppelin.

Sebagai contoh, untuk merestart layanan Hive, buka halaman layanan Hive di kluster EMR Anda dan pilih More > Restart di pojok kanan atas.