E-MapReduce:EMR クラスター (X86) の JindoSDK のアップグレードおよびロールバックプロセス

ステップ 1: ソフトウェアパッケージとアップグレードスクリプトの準備

1. EMR クラスターのマスターノードにログインします。詳細については、「クラスターへのログイン」をご参照ください。

2. パッチパッケージを emr-user ユーザーのホームディレクトリにダウンロードし、パッケージを解凍します。

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz

3. JindoSDK のソフトウェアパッケージ jindosdk-{VERSION}.tar.gz を、前のステップで取得した jindosdk-patches ディレクトリにダウンロードします。

   この例では、JindoSDK はバージョン 6.8.2 にアップグレードされます。

   cd jindosdk-patches
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   ls -l

   jindosdk-patches ディレクトリのサンプルコンテンツ:

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rw-r----- 1 emr-user emr-user xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

ステップ 1: ブートストラップアップグレードパッケージの準備

1. 次のコマンドを実行して、jindosdk-patches.tar.gz および jindosdk-{VERSION}-{PLATFORM}.tar.gz パッケージと bootstrap_jindosdk.sh スクリプトをダウンロードします。

   この例では、JindoSDK はバージョン 6.8.2 にアップグレードされます。

   mkdir jindo-patch
   
   cd jindo-patch
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/release/6.8.2/jindosdk-6.8.2-linux.tar.gz
   
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/bootstrap_jindosdk.sh
   
   ls -l

   次の情報が返されます。

   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 bootstrap_jindosdk.sh
   -rw-r----- 1 hadoop hadoop xxxxxxxxx May 01 00:00 jindosdk-6.8.2-linux.tar.gz
   -rw-r----- 1 hadoop hadoop      xxxx May 01 00:00 jindosdk-patches.tar.gz

2. 次のコマンドを実行して、アップグレードパッケージを準備します。

   bash bootstrap_jindosdk.sh -gen $NEW_JINDOSDK_VERSION  # 指定した $NEW_JINDOSDK_VERSION で bootstrap_jindosdk.sh スクリプトを実行し、そのバージョンの JindoSDK にアップグレードします。

   説明

   • 既存のクラスターをスケールアウトするには、-gen オプションを使用して軽量のアップグレードパッケージを生成します。

   • 新しいクラスターを作成するには、-gen-full オプションを使用して完全なコンテンツを含むアップグレードパッケージを生成します。

   たとえば、JindoSDK をバージョン 6.8.2 にアップグレードするには、次のようにします。

   bash bootstrap_jindosdk.sh -gen 6.8.2

   アップグレードパッケージを準備すると、次の情報が返されます。

   Generated patch at /home/emr-user/jindo-patch/jindosdk-bootstrap-patches.tar.gz

   準備が完了し、パッチパッケージ jindosdk-bootstrap-patches.tar.gz が生成されます。

ステップ 2: ブートストラップアップグレードパッケージのアップロード

パッチパッケージとブートストラップスクリプトを Object Storage Service (OSS) にアップロードします。Hadoop コマンドを実行するか、OSSUtils または OSS Browser を使用するか、OSS コンソールで、EMR クラスターのパッチパッケージとスクリプトをアップロードできます。

たとえば、OSS パス oss://<bucket-name>/path/to/bootstrap_jindosdk.sh および oss://<bucket-name>/path/to/jindosdk-bootstrap-patches.tar.gz にアップロードします。

hadoop dfs -mkdir -p oss://<bucket-name>/path/to/patch/

cd /home/hadoop/patch/
hadoop dfs -put jindosdk-bootstrap-patches.tar.gz oss://<bucket-name>/path/to/patch/
hadoop dfs -put bootstrap_jindosdk.sh oss://<bucket-name>/path/to/patch/

hadoop dfs -ls oss://<bucket-name>/path/to/patch/

次の情報が返されます。

Found 2 items
-rw-rw-rw-   1       2634 2022-05-13 14:07 oss://<bucket-name>/.../bootstrap_jindosdk.sh
-rw-rw-rw-   1  597342992 2022-05-13 13:41 oss://<bucket-name>/.../jindosdk-bootstrap-patches.tar.gz

ステップ 3: ブートストラップアクションの追加

EMR コンソールでブートストラップアクションを追加します。詳細については、「ブートストラップアクションの管理」をご参照ください。

次の表に、ブートストラップアクションを追加するために設定できるパラメーターを示します。

ステップ 4: 特別なノードの処理

1. EMR CLI で作成されたゲートウェイノードのアップグレード。

   • ゲートウェイノードが EMR コンソールで作成された場合、前述の手順で関連する内容がすでにカバーされています。

   • ゲートウェイノードが EMR CLI で作成された場合、これらのノードは独立して作成されるため、手動でアップグレードスクリプトを実行してアップグレードを完了する必要があります。さらに、エラスティックノードが初期化されるときに、スクリプトを使用して事前にアップグレードを完了する必要があります。

2. Trino、Presto、Impala などのサービスの JindoSDK の置き換え。

   EMR-3.53.0 より前のバージョンおよび EMR-5.19.0 より前のバージョン (含まない) では、Trino、Presto、Impala などのサービスで使用される JindoSDK は、前述の手順では自動的にアップグレードされません。これらのサービスの plugins パスにある JindoSDK JAR パッケージを最新バージョンに手動で置き換え、変更を有効にするためにサービスを再起動する必要があります。

ステップ 5: サービスの再起動

アップグレードを有効にするには、関連サービスを再起動します。

• クラスターを作成した後、Hive、Presto、Impala、Flink、Ranger、Spark、Zeppelin などの関連サービスを再起動します。

• 既存のクラスターをスケールアウトした後、Hive、Presto、Impala、Flink、Ranger、Spark、Zeppelin などの新しいノードの関連サービスを再起動します。

ステップ 1: ロールバックスクリプトの準備

1. EMR クラスターのマスターノードにログインします。詳細については、「クラスターへのログイン」をご参照ください。

2. ダウンロードしたパッチパッケージを emr-user ユーザーの HOME ディレクトリに保存し、パッケージを解凍します。

   su - emr-user
   cd /home/emr-user/
   wget https://jindodata-binary.oss-cn-shanghai.aliyuncs.com/resources/emr-taihao/jindosdk-patches.tar.gz
   tar zxf jindosdk-patches.tar.gz
   cd jindosdk-patches
   ls -l

   次の情報が返されます。

   -rwxrwxr-x 1 emr-user emr-user      2439 May 01 00:00 apply_all.sh
   -rwxrwxr-x 1 emr-user emr-user      7315 May 01 00:00 apply.sh
   -rw-rw-r-- 1 emr-user emr-user        40 May 01 00:00 hosts
   -rwxrwxr-x 1 emr-user emr-user      1112 May 01 00:00 revert_all.sh
   -rwxrwxr-x 1 emr-user emr-user      2042 May 01 00:00 revert.sh

ステップ 2: ロールバックのためのノード情報の設定

• 手動設定

  1. パッケージ内の hosts ファイルを編集します。

     vim hosts

  2. master-1-1 や core-1-1 など、クラスター内のすべてのノードのホスト名を hosts ファイルに追加します。各行に 1 つのホスト名を入力します。

     サンプルファイルの内容:

     master-1-1
     core-1-1
     core-1-2

• 自動設定

  次のコマンドを実行して、すべてのノードに関する情報を取得することもできます。hosts ファイルの取得に失敗した場合は、手動で入力する必要があります。

  cat  /usr/local/taihao-executor-all/data/cache/.cluster_context | jq --raw-output '.nodes[].hostname.alias[]' > hosts

ステップ 3: ロールバックの実行

次のスクリプトを実行して、すべての変更をロールバックします。

./revert_all.sh

返された情報に ### DONE が表示されたら、スクリプトの実行は完了です。

>> updating ...  master-1-1
>>> updating ...  core-1-1
>>> updating ...  core-1-2
### DONE

ステップ 4: ロールバックの確認

ls -l /opt/apps/JINDOSDK/jindosdk-current/lib

JindoSDK を 6.2.0 に正常にロールバックすると、次の情報が返されます。

-rw-r--r-- 1 emr-user emr-user  1253740 Apr 24 17:40 jindo-core-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user 13110547 Apr 24 17:40 jindo-core-linux-el7-aarch64-6.2.0.jar
-rw-r--r-- 1 emr-user emr-user  4432227 Apr 24 17:40 jindo-sdk-6.2.0.jar
drwxr-xr-x 2 emr-user emr-user     4096 Apr 24 17:40 native

ステップ 5: 特別なノードの処理

1. EMR CLI で作成されたゲートウェイノードのアップグレード。

   • ゲートウェイノードが EMR コンソールで作成された場合、前述の手順で関連する内容がすでにカバーされています。

   • ゲートウェイノードが EMR CLI で作成された場合、これらのノードは独立して作成されるため、手動でアップグレードスクリプトを実行してアップグレードを完了する必要があります。さらに、エラスティックノードが初期化されるときに、スクリプトを使用して事前にアップグレードを完了する必要があります。

2. Trino、Presto、Impala などのサービスの JindoSDK の置き換え。

   EMR-3.53.0 より前のバージョンおよび EMR-5.19.0 より前のバージョン (含まない) では、Trino、Presto、Impala などのサービスで使用される JindoSDK は、前述の手順では自動的にアップグレードされません。これらのサービスの plugins パスにある JindoSDK JAR パッケージをデフォルトバージョンに手動で置き換え、変更を有効にするためにサービスを再起動する必要があります。

ステップ 6: サービスの再起動

ロールバックを有効にするには、Hive、Presto、Impala、Flink、Ranger、Spark、Zeppelin などの関連サービスを再起動します。

たとえば、EMR クラスターの Hive サービスページで、右上の [その他>] > [再起動] を選択します。