Elasticsearch:Hot-warm architecture with index lifecycle management

操作手順

1. ステップ 1： ホット/ウォームクラスターの作成と属性の確認

   クラスターを作成する際に、ノードにホットとウォームの属性を設定します。

2. ステップ 2： ILM ポリシーの設定

   ILM ポリシーを定義し、エイリアスがカバーするすべてのインデックスに適用します。

3. ステップ 3： データ分散の確認

   コールドフェーズのインデックスのシャードがウォームノードに分散されていることを確認します。

4. ステップ 4： ILM ポリシーの更新

   既存のポリシーを更新します。

5. ステップ 5： ILM ポリシーの切り替え

   新しいインデックスに対して異なるポリシーを切り替えます。

ステップ 1： ホット/ウォームクラスターの作成と属性の確認

ホット/ウォームクラスターには、ホット属性とウォーム属性を持つノードが含まれます。ホットノードはリアルタイムの書き込みを処理し、ウォームノードは履歴データを保存します。次の表にその違いを示します。

Alibaba Cloud Elasticsearch では、ウォームノードの box_type の値は warm であり、cold ではありません。これは、このノードタイプがネイティブの Elasticsearch アーキテクチャにおけるウォーム層に対応するためです。

1. Alibaba Cloud Elasticsearch インスタンスを作成する際に、ウォームノードを有効にして、ホット/ウォームクラスターを作成します。

2. ウォームノードを有効にして購入すると、システムのノード起動設定に -Enode.attr.box_type パラメーターが追加されます。

   • ホットノード：-Enode.attr.box_type=hot

   • ウォームノード：-Enode.attr.box_type=warm

   ウォームノードを有効にすると、既存のデータノードは自動的にホットノードとして設定されます。

3. クラスターの Kibana コンソールにログインします。

4. 左側のナビゲーションウィンドウで、[Dev Tools] をクリックします。

5. [Console] で、次のコマンドを実行してホットノードとウォームノードの属性を表示します。

   GET _cat/nodeattrs?v&h=host,attr,value

   応答にホットノードとウォームノードの両方が含まれている場合、クラスターはホット/ウォームアーキテクチャをサポートしていることを示します。

ステップ 2： ILM ポリシーの設定

1. Kibana コンソールで、次のコマンドを実行して ILM ポリシーを定義します。

   PUT /_ilm/policy/game-policy
   {
     "policy": {
       "phases": {
         "hot": {
           "actions": {
             "rollover": {
               "max_size": "1GB",
               "max_age": "1d",
               "max_docs": 1000
             }
           }
         },
         "warm": {
           "min_age": "30m",
           "actions": {
             "forcemerge": {
                   "max_num_segments":1
                 },
             "shrink": {
                   "number_of_shards":1
                 }
           }
         },
         "cold": {
           "min_age": "1h",
           "actions": {
             "allocate": {
               "require": {
                 "box_type": "warm"
               }
             }
           }
         },
         "delete": {
           "min_age": "2h",
           "actions": {
             "delete": {}
           }
         }
       }
     }
   }

   パラメーター	説明
   hot	インデックスが 1 GB に達するか、期間が 1 日を超えるか、またはドキュメント数が 1,000 になると、rollover が発生します。その後、以前のインデックスは 30 分待機してからウォームフェーズに移行します。
   warm	システムはインデックスを 1 つのシャードにシュリンクし、1 つのセグメントに強制マージします。これらのアクションが完了した後、インデックスは rollover から 1 時間後にコールドフェーズに移行します。
   cold	システムはインデックスをホットノードからウォームノードに移行します。その後、インデックスは rollover から 2 時間後に削除フェーズに移行します。
   delete	システムはインデックスを完全に削除します。

   ポリシー名は作成後に変更できません。Kibana コンソールでもポリシーを作成できますが、Kibana での max_age の最小単位は時間であるのに対し、API を使用する場合の最小単位は秒です。

2. インデックステンプレートを作成し、設定で box_type 属性を指定して、新しくインデックスされたデータがホットノードに保存されるようにします。

   PUT _template/gamestabes_template
   {
     "index_patterns" : ["gamestabes-*"],
     "settings": {
       "index.number_of_shards": 5,
       "index.number_of_replicas": 1,
       "index.routing.allocation.require.box_type":"hot",
       "index.lifecycle.name": "game-policy",
       "index.lifecycle.rollover_alias": "gamestabes"
     }
   }

   パラメーター	説明
   index.routing.allocation.require.box_type	インデックス作成時に割り当てられるノードタイプを指定します。
   index.lifecycle.name	ライフサイクルポリシーの名前を指定します。
   index.lifecycle.rollover_alias	rollover エイリアスを指定します。

3. シーケンス番号付きの初期インデックスを作成します。

   PUT gamestabes-000001
   {
   "aliases": {
       "gamestabes":{
          "is_write_index": true
           }
         }
   }

   時間に基づいてインデックスを作成することもできます。詳細については、「日付計算の使用」をご参照ください。

4. エイリアスにデータを書き込みます。rollover 条件が満たされ、ILM チェックがトリガーされると、インデックスは rollover します。

   PUT gamestabes/_doc/1
   {
       "EU_Sales" : 3.58,
       "Genre" : "Platform",
       "Global_Sales" : 40.24,
       "JP_Sales" : 6.81,
       "Name" : "Super Mario Bros.",
       "Other_Sales" : 0.77,
       "Platform" : "NES",
       "Publisher" : "Nintendo",
       "Year_of_Release" : "1985",
       "na_Sales" : 29.08
   }

   デフォルトでは、ILM は 10 分ごとにポリシー基準を満たすインデックスをチェックします。indices.lifecycle.poll_interval パラメーターを使用してポーリング間隔を変更できます。

5. (オプション) Kibana でインデックスのライフサイクルステータスを表示します。

   1. 左側のナビゲーションウィンドウで、[管理] をクリックします。

   2. [Elasticsearch] エリアで、[インデックス管理] をクリックします。

   3. [ライフサイクルフェーズ] ドロップダウンリストをクリックし、ライフサイクルフェーズを選択してインデックスをフィルタリングします。

   4. フィルタリングされたインデックスの名前をクリックして、その詳細な設定を表示します。

ステップ 3： データ分散の確認

インデックスがコールドフェーズに入った後、そのシャードがウォームノードに分散されていることを確認します。

1. Kibana コンソールで、コールドフェーズに入ったインデックスの名前を特定します。

2. 次のコマンドを実行して、インデックスのシャード分散をクエリします。shrink-gamestables-000012 を実際のインデックス名に置き換えてください。

   GET _cat/shards/shrink-gamestables-000012

   返された結果で、シャードを保持するノードの box_type が warm である場合、コールドフェーズのインデックスデータがウォームノードに分散されたことを示します。

ステップ 4： ILM ポリシーの更新

1. 次のコマンドを実行して、既存の ILM ポリシーを更新します。次の例では、game-policy の削除フェーズの min_age を変更します。

   PUT /_ilm/policy/game-policy
   {
     "policy": {
       "phases": {
         "hot": {
           "actions": {
             "rollover": {
               "max_size": "1GB",
               "max_age": "1d",
               "max_docs": 1000
             }
           }
         },
         "warm": {
           "min_age": "30m",
           "actions": {
             "forcemerge": {
                   "max_num_segments":1
                 },
             "shrink": {
                   "number_of_shards":1
                 }
           }
         },
         "cold": {
           "min_age": "1h",
           "actions": {
             "allocate": {
               "require": {
                 "box_type": "warm"
               }
             }
           }
         },
         "delete": {
           "min_age": "3h",
           "actions": {
             "delete": {}
           }
         }
       }
     }
   }

2. 更新されたポリシーのバージョンを表示します。

   1. 左側のナビゲーションウィンドウで、[管理] をクリックします。

   2. 「Elasticsearch」エリアで、[Index Lifecycle Policies] をクリックします。

   3. ポリシーのバージョン番号を表示します。更新後、バージョン番号は 1 ずつ増加します。現在の書き込みインデックスは古いバージョンのポリシーを引き続き使用します。新しいポリシーは、次の rollover 時に有効になります。

ステップ 5： ILM ポリシーの切り替え

1. 新しいポリシーを作成します。

   PUT /_ilm/policy/game-new
   {
     "policy": {
       "phases": {
         "hot": {
           "actions": {
             "rollover": {
               "max_size": "3GB",
               "max_age": "1d",
               "max_docs": 1000
             }
           }
         },
         "warm": {
           "min_age": "30m",
           "actions": {
             "forcemerge": {
                   "max_num_segments":1
                 },
             "shrink": {
                   "number_of_shards":1
                 }
           }
         },
         "cold": {
           "min_age": "1h",
           "actions": {
             "allocate": {
               "require": {
                 "box_type": "warm"
               }
             }
           }
         },
         "delete": {
           "min_age": "2h",
           "actions": {
             "delete": {}
           }
         }
       }
     }
   }

2. 新しいポリシーをテンプレートにバインドします。

   PUT _template/gamestabes_template
   {
     "index_patterns" : ["gamestabes-*"],
     "settings": {
       "index.number_of_shards": 5,
       "index.number_of_replicas": 1,
       "index.routing.allocation.require.box_type":"hot",
       "index.lifecycle.name": "game-new",
       "index.lifecycle.rollover_alias": "gamestabes"
     }
   }

よくある質問

ILM のチェック間隔を調整するにはどうすればよいですか？

デフォルトでは、ILM は 10 分ごとにポリシー基準を満たすインデックスをチェックします。この間隔中に、インデックスが指定されたしきい値を超えて増加する可能性があります。たとえば、max_docs を 1,000 に設定した場合、実際のドキュメント数が 1,000 を超えた後に rollover がトリガーされることがあります。

indices.lifecycle.poll_interval パラメーターを変更することで、ポーリング間隔を制御できます。

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"1m"
  }
}