E-MapReduce (EMR) クラスターは、常に EMR コンソール を通じて管理してください。Elastic Compute Service (ECS) コンソールで直接、または ECS API を介して実行された操作は、クラスターの不安定性、データ損失を引き起こしたり、クラスターを回復不能にしたりする可能性があります。
以下に記載されている禁止されている操作を実行した場合、結果として生じる結果についてはお客様が責任を負うものとします。
ECS コンソールで避けるべきこと
以下の操作は、EMR の内部状態管理をバイパスします。これらの操作を実行すると、記載されている結果につながります。
データ損失のリスクがある操作は、永続的で回復不能なデータ損失につながる可能性があります。これらの操作を実行する必要がないように、事前にクラスタアーキテクチャを計画してください。
| 操作 | 問題点 | 代替策 |
|---|---|---|
etc/hosts ファイルの削除または変更 | EMR はクラスターノード上のサービスエンドポイントを解決できず、サービス例外を引き起こします。 | 既存のエントリを変更または削除する代わりに、hosts ファイルにエントリを追加します。 |
| ECS コンソールでのコンポーネント構成ファイルの変更 | 影響を受けるサービスが再起動すると、EMR は変更を上書きします。 | EMR コンソールでコンポーネントパラメーターを変更します。 |
| ECS コンソールまたは ECS API を介した ECS インスタンスの再デプロイ | EMR サービスが中断されます。 | なし |
| ECS コンソールまたは ECS API を介したクラスターノードへのディスクのアタッチ | EMR はアタッチされたディスクを認識または初期化できず、利用不可になります。 | クラスターの作成時にディスク容量を計画します。 |
| ECS コンソールまたは ECS API を介したクラスターノードからのディスクのデタッチ | データ損失のリスク。 EMR はデタッチ操作を認識せず、ディスク上のデータが失われる可能性があります。 | クラスターの作成時にディスク容量を計画します。 |
| ECS コンソールまたは ECS API を介したコアノードの削除 | データ損失のリスク。 削除されたノードで実行中のジョブは失敗し、それらのノードに保存されているデータは失われます。 | EMR コンソールを通じてクラスターをスケールします。 |
| ECS コンソールまたは ECS API を介したマスターノードの削除 | データ損失のリスク。 高可用性 (HA) クラスターの場合: HDFS NameNode HA、YARN ResourceManager、または HBase HMaster スイッチオーバーが失敗します。回復するには新しいクラスターを購入する必要があります。非 HA クラスターの場合: クラスターは永続的に利用不可になり、移行パスはありません。 | マスターノードを削除しないでください。再構成が必要な場合は、新しいクラスターを購入してください。 |
| ECS コンソールまたは ECS API を介したタスクノードの削除 | 削除されたノードで実行中のジョブはすぐに失敗します。 | EMR コンソールを通じてタスクノードを削除します。 |
| マスターノード上の MySQL サービスの停止 (組み込み MySQL タイプ) | master-1-1 上の MySQL インスタンスは、Hive MetaStore、Oozie、Ranger のバックエンドです。これを停止すると、これらのコンポーネントがメタデータデータベースから切断されます。 | 組み込み MySQL サービスを停止しないでください。 |
master-1-1 上の MySQL ルートパスワードの変更 (組み込み MySQL タイプ) | Hue や Ranger などのコンポーネントは MySQL へのアクセスを失い、動作を停止します。 | 組み込み MySQL インスタンスの MySQL ルートパスワードを変更しないでください。 |
| ECS コンソールまたは ECS API を介した ECS インスタンスのセキュリティグループ、VPC、または vSwitch の変更 | ノード間のネットワーク接続が中断され、クラスターコンポーネントが利用不可になります。 | クラスターを作成する前にネットワークを構成します。作成後に変更が必要な場合は、サポートに連絡してください。 |
| ECS コンソールまたは ECS API を介した課金方法の変更 | 課金方法の変更は復元できません。 | 代わりに EMR コンソールで課金方法を変更します。従量課金からサブスクリプションへの切り替えはサポートされていますが、サブスクリプションから従量課金への切り替えはサポートされていません。詳細については、「従量課金からサブスクリプションへの切り替え」をご参照ください。 |
| EMR エージェント関連ディレクトリの削除 | クラスターが期待どおりに機能しなくなります。 | エージェントディレクトリを削除しないでください。エージェントの問題をトラブルシューティングする必要がある場合は、サポートに連絡してください。 |
一般的な容量と構成に関する質問
クラスターのディスク領域が不足しています。
既存のディスクの容量を増やすか、EMR コンソールを通じてコアノードを追加します。EMR クラスターはディスクの追加をサポートしていません。
ディスク容量が多すぎるため、削減したいです。
実際のニーズに合わせてサイズ設定された新しいクラスターを購入し、元のクラスターをリリースします。詳細については、「クラスターを作成」をご参照ください。EMR クラスターはディスクのスケールダウンをサポートしていません。
クラスターの計算容量が不足しています。
EMR コンソールを通じてタスクノードを追加します。詳細については、「クラスターをスケールアウト」をご参照ください。
計算容量が過剰なため、スケールダウンしたいです。
アプローチは、ご利用の課金方法によって異なります。
従量課金: EMR コンソールを通じてタスクノードを削除します。
サブスクリプション: ターゲットタスクノード上の YARN NodeManager を停止し、ECS コンソールでその ECS インスタンスの課金方法を従量課金に切り替えてから、インスタンスをリリースします。
クラスターが古いコンポーネントバージョンで実行されています。
必要なバージョンで新しいクラスターを購入します。詳細については、「クラスターを作成」をご参照ください。実行中のクラスターで個々のコンポーネントをアップグレードすることはサポートされていません。
非 HA クラスターを HA クラスターに変換したいです。
非 HA クラスターは HA クラスターに変換できません。高可用性が必要な場合は、最初から HA クラスターを購入してください。
EMR でサードパーティソフトウェアまたはサービスを実行する必要があります。
クラスターの作成時にブートストラップアクションを使用してサードパーティソフトウェアをインストールします。クラスター作成後にソフトウェアを手動でインストールした場合、ノードを追加するたびに再インストールする必要があります。