Elasticsearch 移行方法の選択 - Elasticsearch - Alibaba Cloud ドキュメントセンター

Alibaba Cloud Elasticsearch は、Logstash、reindex、Object Storage Service (OSS)、データオンライン移行など、複数のデータ移行方法をサポートしています。Alibaba Cloud Elasticsearch インスタンス間のデータ移行、セルフマネージド Elasticsearch クラスターからのデータ移行、またはサードパーティ Elasticsearch サービスからのデータ移行を実行できます。このトピックでは、各方法の適用シナリオと制限を比較し、最適なオプションを選択するのに役立ちます。

重要

Alibaba Cloud Elasticsearch は 2020 年 10 月にネットワークアーキテクチャをアップグレードしました。この日付より前に作成されたインスタンスはレガシーネットワークアーキテクチャを使用し、2020 年 10 月以降に作成されたインスタンスは新しいネットワークアーキテクチャを使用します。リモート reindex、クラスター間検索、クラスター間レプリケーションなどのクラスター間操作は、新しいネットワークアーキテクチャのインスタンスとレガシーネットワークアーキテクチャのインスタンスの間ではサポートされません。これらの操作を実行するには、両方のインスタンスが同じネットワークアーキテクチャを使用していることを確認してください。中国 (張家口) リージョンおよび海外リージョンのインスタンスでは、ネットワークアーキテクチャのアップグレード時期が異なります。クラスター間操作のネットワーク接続を確認するには、チケットを送信して Alibaba Cloud Elasticsearch テクニカルサポートにお問い合わせください。インスタンスのネットワークアーキテクチャを確認するには、Alibaba Cloud Elasticsearch コンソールにログインし、デプロイコントロールモード ページの 基本情報 セクションを確認してください。[クラウドネイティブの新しいコントロール (v3)] は新しいネットワークアーキテクチャを、[基本コントロール (v2)] はレガシーネットワークアーキテクチャを示します。
システムインデックスは移行しないでください。これらのインデックスは、先頭にピリオド (.) が付きます (例：.monitoring、.kibana、.security)。これらのインデックスを移行すると、Kibana が正常に動作しなくなる可能性があります。
Data Transmission Service (DTS) は、2つのElasticsearchインスタンス間のデータ同期をサポートしていません。
移行時間は、移行するデータ量、インデックス数、ソースクラスターおよびターゲットクラスターの負荷に左右されます。正確な所要時間を事前に見積もることはできません。同じデータ量であれば、通常、OSS スナップショットは他の移行方法よりも高速です。実際の移行を実行する前に、少数のインデックスで試行移行を実施して、全体の移行時間を見積もってください。

Alibaba Cloud Elasticsearch インスタンス間の移行

移行方法	適用シナリオ	制限事項	例
OSS スナップショット	大規模データセット (GB、TB、PB 規模) を移行する場合。同一または異なる Alibaba Cloud アカウントのインスタンス間で、同一リージョン内またはリージョン間でスナップショットデータを移行する場合。説明クロスリージョンデータ移行には、OSS のクロスリージョンレプリケーション (CRR) 機能と組み合わせて、Elasticsearch のスナップショットおよび復元コマンドを使用できます。	OSS スナップショットを使用した完全データの移行では、サービス停止は不要です。増分データの移行では、ソースインスタンスでの書き込み操作を停止する必要がある場合があります。新しいクラスターで増分データをリストアする際は、インデックスをクローズする必要があります。 Alibaba Cloud Elasticsearch のクラスター間 OSS リポジトリ機能を使用するには、ソースインスタンスとターゲットインスタンスが次の要件を満たしている必要があります：同一リージョンに存在すること。同一の Alibaba Cloud アカウントまたは RAM ユーザーに属していること。ソースインスタンスのバージョンは、ターゲットインスタンスのバージョン以下である必要があります。バージョン互換性の詳細については、「互換性マトリックス」をご参照ください。 API を使用してアカウント間でスナップショットデータを移行する場合、ソースとターゲットの両方で同じ AccessKey を使用する必要があります。具体的には、リポジトリを追加する際に、Object Storage Service (OSS) バケットを所有するアカウントの AccessKey を使用します。 OSS スナップショット方式を使用できるかどうかは、インスタンスの所有アカウントではなく、主に OSS バケットのリージョンに依存します。前述の同一リージョンおよび同一アカウントの要件は、コンソールのクラスター間 OSS リポジトリ機能にのみ適用されます。アカウント間のシナリオでは、API とバケット所有アカウントの AccessKey を使用してリポジトリを追加できます。インスタンスが同一リージョンに存在し、データ量が大きい場合は、OSS スナップショットを使用してください。リージョン間のシナリオでは、最初に OSS のクロスリージョンレプリケーション (CRR) 機能を使用して、スナップショットを宛先リージョンのバケットにレプリケートし、その後、ターゲットインスタンスでデータをリストアします。たとえば、中国 (上海) リージョンのインスタンスのスナップショットを中国 (上海) リージョンのバケットに取得し、CRR を使用して中国 (北京) リージョンのバケットにスナップショットをレプリケートした後、中国 (北京) リージョンのインスタンスにデータをリストアできます。	クラスター間OSSリポジトリを使用したデータのバックアップと復元 (自動スナップショットの場合) 手動スナップショットの作成とデータ復元 (手動スナップショットの場合)
Logstash	リアルタイム性が重要ではない場合に、完全データを移行する、または増分データを同期する場合。重要 Elasticsearch インスタンスと Logstash インスタンスが同じ VPC に存在しないアカウント間およびリージョン間の移行では、パブリックネットワーク経由でデータを転送するために、Logstash インスタンスに NAT ゲートウェイを設定する必要がありますクエリ結果のみを移行する場合。移行前にデータをフィルタリングする場合。 5.x から 6.x または 7.x など、メジャーバージョンをまたいでデータを移行する場合。バージョン互換性の詳細については、「互換性マトリックス」をご参照ください。	ソース Elasticsearch インスタンス、Logstash インスタンス、およびターゲット Elasticsearch インスタンスは同じ VPC に存在する必要があります。同じ VPC に存在しない場合は、パブリックネットワーク接続を有効にするために NAT ゲートウェイを設定する必要があります。詳細については、「NATゲートウェイを設定してインターネット経由でデータを転送する」をご参照ください。ソース Elasticsearch、Logstash、およびターゲット Elasticsearch インスタンスのバージョンに互換性がある必要があります。詳細については、「互換性マトリックス」をご参照ください。増分データを同期するには、ソースとターゲットでデータ ID が一致していることを確認し、スケジュール済みタスクを設定する必要があります。	Alibaba Cloud Elasticsearchクラスター間でデータを移行する reindex API を使用して、以前のバージョンのマルチタイプインデックスのデータを移行する
reindex	移行速度が最優先ではない小規模データセットを移行する場合。クエリ結果のみ (Kibana で実行したクエリステートメントの結果) を移行する場合。	2つの Elasticsearch クラスターは同じネットワークアーキテクチャを使用する必要があります。詳細については、このトピック冒頭の「注記」をご参照ください。	reindex APIを使用したデータ移行
elasticsearch-dump ツール	インデックス数が限られている小規模データセットを移行する場合。	ソースクラスター、ターゲットクラスター、および elasticsearch-dump ツールがインストールされているサーバーは、相互にネットワーク接続できる必要があります。	elasticsearch-dumpを使用したデータ移行
OSS スナップショットと reindex	完全データと増分データの両方を移行する場合。ファイル形式に互換性がなく、スナップショットの直接リストアがサポートされない可能性があるメジャーバージョン間で移行する場合。たとえば、6.x から 8.x に移行するには、最初にスナップショットを 7.x インスタンスにリストアし、7.x インスタンスでデータを reindex してから、7.x インスタンスのスナップショットを 8.x インスタンスにリストアします。	中間バージョンは、ソースバージョンとターゲットバージョンの両方と互換性がある必要があります。詳細については、「Elastic のバージョン変更と互換性」をご参照ください。	手動スナップショットの作成とデータ復元 (手動スナップショットの場合) reindex APIを使用したデータ移行
データオンライン移行	Alibaba Cloud Elasticsearch V2 から V3 への無停止アップグレード。データ移行とエンドポイントの維持にも対応しています。		インスタンスアーキテクチャのアップグレード

セルフマネージドから Alibaba Cloud Elasticsearch への移行

移行方法	適用シナリオ	制限事項	例
データオンライン移行	IDC 内の ECS インスタンスにデプロイされたセルフマネージド Elasticsearch クラスターからデータを移行する場合。セルフマネージド Elasticsearch クラスターから、スムーズで高可用性かつ無停止の移行を実行する場合。	リージョン間および VPC 間のデータ移行はサポートされていません。メジャーバージョンをまたぐ移行はサポートされていません (例：7.x から 8.x)。セルフマネージド Elasticsearch クラスター内のインデックスには、少なくとも1つのレプリカが必要です。	セルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch にデータを移行する
OSS スナップショット	大規模データセット (GB、TB、PB 規模) を移行する場合。同一または異なる Alibaba Cloud アカウントで、同一リージョン内またはリージョン間でスナップショットデータを移行する場合。	ソース Elasticsearch のバージョンに一致する elasticsearch-repository-oss プラグインを取得する必要があります。 OSS スナップショットを使用した増分データの移行では、サービス停止が必要になる場合があります。新しいクラスターで増分データをリストアする際は、インデックスをクローズする必要があります。	OSS を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行する
Logstash	リアルタイム性が重要ではないデータ移行の場合。クエリ結果のみを移行する場合。移行前にデータをフィルタリングする場合。 5.x から 6.x または 7.x など、メジャーバージョンをまたいでデータを移行する場合。バージョン互換性の詳細については、「互換性マトリックス」をご参照ください。	ソース Elasticsearch インスタンス、Logstash インスタンス、およびターゲット Elasticsearch インスタンスは同じ VPC に存在する必要があります。同じ VPC に存在しない場合は、パブリックネットワーク接続を有効にするために NAT ゲートウェイを設定する必要があります。詳細については、「NATゲートウェイを設定してインターネット経由でデータを転送する」をご参照ください。ソース Elasticsearch、Logstash、およびターゲット Elasticsearch インスタンスのバージョンに互換性がある必要があります。詳細については、「互換性マトリックス」をご参照ください。増分データを同期するには、ソースとターゲットでデータ ID が一致していることを確認し、スケジュール済みタスクを設定する必要があります。	Alibaba Cloud Logstash を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行する reindex API を使用して以前のバージョンのマルチタイプインデックスのデータを移行する
reindex	移行速度が最優先ではない小規模データセットを移行する場合。クエリ結果のみ (Kibana で実行したクエリステートメントの結果) を移行する場合。 6.x から 8.x など、旧バージョンのセルフマネージド Elasticsearch クラスターから、より新しいバージョンの Alibaba Cloud Elasticsearch クラスターに移行する場合。この場合は、PrivateLink を使用してリモート reindex のネットワーク接続を確立する必要があります。	2つの Elasticsearch クラスターは同じネットワークアーキテクチャを使用する必要があります。詳細については、このトピック冒頭の「注記」をご参照ください。	reindex API を使用してセルフマネージド Elasticsearch クラスターから Alibaba Cloud Elasticsearch クラスターにデータを移行する
elasticsearch-dump ツール	インデックス数が限られている小規模データセットを移行する場合。	ソースクラスター、ターゲットクラスター、および elasticsearch-dump ツールがインストールされているサーバーは、相互にネットワーク接続できる必要があります。	elasticsearch-dumpを使用したデータ移行

サードパーティから Alibaba Cloud Elasticsearch への移行

移行方法	適用シナリオ	制限事項	例
OSS スナップショット	大規模データセット (GB、TB、PB 規模) を移行する場合。	OSS スナップショットを使用した増分データの移行では、サービス停止が必要になる場合があります。新しいクラスターで増分データをリストアする際は、インデックスをクローズする必要があります。	Amazon OpenSearch Service から Alibaba Cloud Elasticsearch に Elasticsearch インデックスデータを移行する説明この方法は特定のクラウドベンダーに限定されず、Elasticsearch のスナップショットメカニズムに依存します。たとえば、Alibaba Cloud のデータオンライン移行 (データ移行) を使用して、Tencent Cloud COS から Alibaba Cloud OSS に Elasticsearch スナップショットデータを移行し、その後 OSS リポジトリからデータをリストアできます。詳細については、「手動スナップショットの作成とデータ復元」をご参照ください。 Elasticsearch のスナップショット移行では、同一バージョンまたはそれ以降のバージョンにのみデータをリストアできます。詳細については、「スナップショットからのデータ復元のバージョン互換性」をご参照ください。
elasticsearch-dump ツール	インデックス数が限られている小規模データセットを移行する場合。	ソースクラスター、ターゲットクラスター、および elasticsearch-dump ツールがインストールされているサーバーは、相互にネットワーク接続できる必要があります。	elasticsearch-dumpを使用したデータ移行