ほとんどのビッグデータインスタンスファミリーは、1:4 の CPU 対メモリ比を提供します。これらは、Hadoop MapReduce、Hadoop 分散ファイルシステム (HDFS)、Hive、HBase などのサービスが使用されるビッグデータコンピューティングおよびストレージシナリオや、Elasticsearch や Kafka などのソリューションが使用される検索およびログデータ処理シナリオに適しています。
各リージョンで利用可能なインスタンスタイプを表示。購入可能なインスタンスタイプはリージョンによって異なります。続行する前に、お使いのリージョンでの可用性を確認することを推奨します。
インスタンスタイプの選択手順を表示。このトピックを使用して特定のインスタンスタイプを決定する前に、ビジネスシナリオに適したインスタンスファミリーを選択する方法を学びます。
インスタンスタイプのメトリックを表示。このトピックを読んで、インスタンスタイプのメトリックを理解してください。
ECS 料金計算ツールを使用。料金計算ツールを使用して、インスタンス料金を見積もることができます。
推奨インスタンスファミリー | 非推奨 (これらのインスタンスファミリーが売り切れている場合は、推奨のものを使用できます。) |
概要
ローカルディスクに保存されているデータの耐久性は、関連付けられている物理マシンの信頼性によって決まります。単一障害点のリスクが存在します。関連付けられている物理マシンでハードウェア障害が発生すると、ローカルディスクに保存されているデータが失われる可能性があります。ローカルディスクには一時的なデータのみを保存することを推奨します。詳細については、「ローカルディスク」をご参照ください。
ビッグデータインスタンスファミリーは、ビッグデータ指向の企業のニーズをサポートするために、クラウドコンピューティングとビッグデータストレージを提供するように設計されています。これらのインスタンスファミリーは、Hadoop 分散コンピューティング、広範なログ処理、大規模なデータウェアハウジングなど、オフラインコンピューティングとビッグデータストレージを必要とするシナリオに適しています。ビッグデータインスタンスファミリーは、分散ネットワークを使用し、ストレージ、容量、および内部帯域幅に対する高い要件を持つビジネスに最適です。
これらのインスタンスファミリーは、ビッグデータの計算、保存、分析を必要とするインターネットや金融などの業界のお客様に適しています。ビッグデータインスタンスファミリーは、ローカルストレージを使用して、大量のストレージスペースと高いストレージパフォーマンスを確保します。
ビッグデータインスタンスには、次の利点があります。
エンタープライズレベルの計算能力により、効率的で安定したデータ処理が保証されます。
インスタンスあたりの最大内部帯域幅と最大パケット転送速度が向上し、ネットワークパフォーマンスが強化され、ピーク時の Hadoop MapReduce でのシャッフルなどのデータ転送要求を満たします。
ビッグデータインスタンスを使用する場合は、次の項目に注意してください。
ローカル SSD を搭載したインスタンスは、インスタンス構成の変更をサポートしていません。
ローカルディスクは、特定のインスタンスタイプにのみ関連付けることができます。インスタンスにアタッチされるローカルディスクの数と容量は、インスタンスタイプによって異なります。ローカルディスクを個別に購入したり、インスタンスからローカルディスクをデタッチして他のインスタンスにアタッチしたりすることはできません。
ローカルディスクのスナップショットは作成できません。ローカル SSD を搭載したインスタンスのシステムディスクとデータディスクからイメージを作成する場合は、システムディスクとデータディスクの両方のスナップショットを組み合わせてイメージを作成することを推奨します。この場合、データディスクはクラウドディスクである必要があります。
ローカル SSD を搭載したインスタンスに基づいて、システムディスクスナップショットとデータディスクスナップショットで構成されるイメージを作成することはできません。
ローカル SSD を搭載したインスタンスに標準 SSD をアタッチして、標準 SSD の容量を拡張できます。
ローカル SSD を搭載したインスタンスでの操作は、ローカル SSD に保存されているデータに影響を与える可能性があります。詳細については、「ローカルディスク」トピックの「インスタンス操作がローカルディスクに保存されているデータに与える影響」セクションをご参照ください。
ビッグデータインスタンスへのファイルシステムのマウントに関するベストプラクティス
ext4 などのファイルシステムを初めてマウントするときは、inode テーブルを初期化する必要があります。デフォルトでは、lazyinit 機能は Linux カーネル v2.6.37 以降で有効になっており、ファイルシステムがマウントされるまで inode テーブルは初期化されません。さらに、ローカルディスクは、30 個のローカルディスクで 600 MB/s など、初期化中に大量のスループットを消費します。これは、サービスの安定性に影響を与える可能性があります。Linux カーネル v4.x の遅延初期化における同時オブジェクト数が増加し、この問題が解決されました。詳細については、「index: kernel/git/stable/linux.git」をご参照ください。できるだけ早い機会に inode テーブルを初期化するために、次のベストプラクティスを使用することを推奨します。
すべてのローカル Serial Advanced Technology Attachment (SATA) HDD のリストを取得します。
次のコマンドを実行して、各ローカルディスクを個別に初期化します。
この例では、デバイス名が /dev/vdb のローカルディスクに ext4 ファイルシステムが作成されます。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &すべてのローカルディスクが初期化された後、すべてのローカルディスクの I/O アクティビティが 0 と表示されるまで iostat -x 5 コマンドを実行します。
mount コマンドをバッチ実行します。
d3s、ストレージ集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーは、12 TB の大容量、高スループットのローカル SATA HDD を搭載しており、インスタンス間で最大 64 Gbit/s のネットワーク帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBase などのサービスが使用されるビッグデータコンピューティングおよびストレージビジネスシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearch や Kafka などのソリューションが使用される検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、損傷したディスクのオンライン交換と活性交換をサポートしています。
ローカルディスクに障害が発生した場合、システムイベントを受信します。損傷したディスクの修復プロセスを開始することで、システムイベントを処理できます。詳細については、「ローカルディスクを搭載したインスタンスの O&M シナリオとシステムイベント」をご参照ください。
重要損傷したディスクの修復プロセスを開始すると、損傷したディスクに保存されているデータは復元できません。
計算:
2.7 GHz Intel® Xeon® Scalable (Ice Lake) プロセッサを使用し、3.5 GHz の全コアターボ周波数を実現して、一貫したコンピューティングパフォーマンスを提供します。
ストレージ:
すべてのインスタンスが I/O 最適化されているインスタンスファミリーです。
ESSD および ESSD AutoPL ディスクのみをサポートします。
ネットワーク:
IPv4 と IPv6 をサポートします。IPv6 通信の詳細については、「IPv6 通信」をご参照ください。
インスタンスのネットワークパフォーマンスは、その仕様に比例します。仕様が高いインスタンスほど、ネットワークパフォーマンスが向上します。
d3s
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ | ネットワークベースライン/バースト帯域幅 (Gbit/s) | パケット転送速度 (pps) | ディスクベースライン/バースト帯域幅 (Gbit/s) |
ecs.d3s.2xlarge | 8 | 32 | 4 * 11,918 GB (4 * 11,100 GiB) | 10/最大 15 までバースト可能 | 2,000,000 | 3/最大 5 までバースト可能 |
ecs.d3s.4xlarge | 16 | 64 | 8 * 11,918 GB (8 * 11,100 GiB) | 25/なし | 3,000,000 | 5/なし |
ecs.d3s.8xlarge | 32 | 128 | 16 * 11,918 GB (16 * 11,100 GiB) | 40/なし | 6,000,000 | 8/なし |
ecs.d3s.12xlarge | 48 | 192 | 24 * 11,918 GB (24 * 11,100 GiB) | 60/なし | 9,000,000 | 12/なし |
ecs.d3s.16xlarge | 64 | 256 | 32 * 11,918 GB (32 * 11,100 GiB) | 80/なし | 12,000,000 | 16/なし |
d3c、計算集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーは、大容量で高スループットのローカルディスクを搭載しており、インスタンス間で最大 40 Gbit/s の帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBase などのサービスが使用されるビッグデータコンピューティングおよびストレージビジネスシナリオ
EMR JindoFS と Object Storage Service (OSS) を組み合わせて使用し、ホットデータとコールドデータを個別に保存し、ストレージとコンピューティングを分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearch や Kafka などのソリューションが使用される検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、損傷したディスクのオンライン交換と活性交換をサポートしています。
ローカルディスクに障害が発生した場合、システムイベントを受信します。損傷したディスクの修復プロセスを開始することで、システムイベントを処理できます。詳細については、「ローカルディスクを搭載したインスタンスの O&M シナリオとシステムイベント」をご参照ください。
重要損傷したディスクの修復プロセスを開始すると、損傷したディスクに保存されているデータは復元できません。
計算:
第 3 世代 2.9 GHz Intel® Xeon® Scalable (Ice Lake) プロセッサを使用し、3.5 GHz の全コアターボ周波数を実現して、一貫したコンピューティングパフォーマンスを提供します。
ストレージ:
すべてのインスタンスが I/O 最適化されているインスタンスファミリーです。
ESSD および ESSD AutoPL ディスクのみをサポートします。
ネットワーク:
IPv4 と IPv6 をサポートします。IPv6 通信の詳細については、「IPv6 通信」をご参照ください。
インスタンスのネットワークパフォーマンスは、その仕様に比例します。仕様が高いインスタンスほど、ネットワークパフォーマンスが向上します。
d3c
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ | ネットワークベースライン/バースト帯域幅 (Gbit/s) | パケット転送速度 (pps) | ディスクベースライン/バースト IOPS | ディスクベースライン/バースト帯域幅 (Gbit/s) |
ecs.d3c.3xlarge | 14 | 56.0 | 1 * 13,743 GB (1 * 12,800 GiB) | 8/最大 10 までバースト可能 | 1,600,000 | 40,000/なし | 3/なし |
ecs.d3c.7xlarge | 28 | 112.0 | 2 * 13,743 GB (2 * 12,800 GiB) | 16/最大 25 までバースト可能 | 2,500,000 | 50,000/なし | 4/なし |
ecs.d3c.14xlarge | 56 | 224.0 | 4 * 13,743 GB (4 * 12,800 GiB) | 40/なし | 5,000,000 | 100,000/なし | 8/なし |
このインスタンスファミリーは Linux イメージのみをサポートします。このインスタンスファミリーのインスタンスを作成するときは、Linux イメージを選択してください。
d2c、計算集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーは、大容量で高スループットのローカル SATA HDD を搭載しており、インスタンス間で最大 35 Gbit/s の帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBase などのサービスが使用されるビッグデータコンピューティングおよびストレージビジネスシナリオ
EMR JindoFS と OSS を組み合わせて使用し、ホットデータとコールドデータを個別に保存し、ストレージとコンピューティングを分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearch や Kafka などのソリューションが使用される検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、損傷したディスクのオンライン交換と活性交換をサポートしています。
ローカルディスクに障害が発生した場合、システムイベントを受信します。損傷したディスクの修復プロセスを開始することで、システムイベントを処理できます。詳細については、「ローカルディスクを搭載したインスタンスの O&M シナリオとシステムイベント」をご参照ください。
重要損傷したディスクの修復プロセスを開始すると、損傷したディスクに保存されているデータは復元できません。
計算:
2.5 GHz Intel® Xeon® Platinum 8269CY (Cascade Lake) プロセッサを使用します。
ストレージ:
すべてのインスタンスが I/O 最適化されているインスタンスファミリーです。
拡張 SSD (ESSD)、ESSD AutoPL ディスク、標準 SSD、および Ultra ディスクをサポートします。
ネットワーク:
IPv4 と IPv6 をサポートします。IPv6 通信の詳細については、「IPv6 通信」をご参照ください。
インスタンスのネットワークパフォーマンスは、その仕様に比例します。仕様が高いインスタンスほど、ネットワークパフォーマンスが向上します。
d2c
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送速度 (pps) |
ecs.d2c.6xlarge | 24 | 88.0 | 3 * 3,972 GB (3 * 3,700 GiB) | 12.0 | 1,600,000 |
ecs.d2c.12xlarge | 48 | 176.0 | 6 * 3,972 GB (6 * 3,700 GiB) | 20.0 | 2,000,000 |
ecs.d2c.24xlarge | 96 | 352.0 | 12 * 3,972 GB (12 * 3,700 GiB) | 35.0 | 4,500,000 |
d2s、ストレージ集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーは、大容量で高スループットのローカル SATA HDD を搭載しており、インスタンス間で最大 35 Gbit/s の帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBase などのサービスが使用されるビッグデータコンピューティングおよびストレージビジネスシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearch や Kafka などのソリューションが使用される検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、損傷したディスクのオンライン交換と活性交換をサポートしています。
ローカルディスクに障害が発生した場合、システムイベントを受信します。損傷したディスクの修復プロセスを開始することで、システムイベントを処理できます。詳細については、「ローカルディスクを搭載したインスタンスの O&M シナリオとシステムイベント」をご参照ください。
重要損傷したディスクの修復プロセスを開始すると、損傷したディスクに保存されているデータは復元できません。
計算:
2.5 GHz Intel® Xeon® Platinum 8163 (Skylake) プロセッサを使用します。
ストレージ:
すべてのインスタンスが I/O 最適化されているインスタンスファミリーです。
ESSD、ESSD AutoPL ディスク、標準 SSD、および Ultra ディスクをサポートします。
ネットワーク:
IPv4 と IPv6 をサポートします。IPv6 通信の詳細については、「IPv6 通信」をご参照ください。
インスタンスのネットワークパフォーマンスは、その仕様に比例します。仕様が高いインスタンスほど、ネットワークパフォーマンスが向上します。
d2s
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送速度 (pps) |
ecs.d2s.5xlarge | 20 | 88.0 | 8 * 7,838 GB (8 * 7,300 GiB) | 12.0 | 1,600,000 |
ecs.d2s.10xlarge | 40 | 176.0 | 15 * 7,838 GB (15 * 7,300 GiB) | 20.0 | 2,000,000 |
ecs.d2s.20xlarge | 80 | 352.0 | 30 * 7,838 GB (30 * 7,300 GiB) | 35.0 | 4,500,000 |
d1ne、ネットワーク拡張型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーは、大容量で高スループットのローカル SATA HDD を搭載しており、インスタンス間で最大 35 Gbit/s の帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBase などのサービスが使用されるシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearch などのソリューションが使用される検索およびログデータ処理シナリオ
計算:
ビッグデータシナリオ向けに設計された 1:4 の CPU 対メモリ比を提供します。
2.5 GHz Intel® Xeon® E5-2682 v4 (Broadwell) または Intel® Xeon® Platinum 8163 (Skylake) プロセッサを使用し、安定したコンピューティングパフォーマンスを提供します。
ストレージ:
すべてのインスタンスが I/O 最適化されているインスタンスファミリーです。
標準 SSD と Ultra ディスクのみをサポートします。
ネットワーク:
IPv4 と IPv6 をサポートします。IPv6 通信の詳細については、「IPv6 通信」をご参照ください。
インスタンスのネットワークパフォーマンスは、その仕様に比例します。仕様が高いインスタンスほど、ネットワークパフォーマンスが向上します。
d1ne
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送速度 (pps) |
ecs.d1ne.2xlarge | 8 | 32.0 | 4 * 5,905 GB (4 * 5,500 GiB) | 6.0 | 1,000,000 |
ecs.d1ne.4xlarge | 16 | 64.0 | 8 * 5,905 GB (8 * 5,500 GiB) | 12.0 | 1,600,000 |
ecs.d1ne.6xlarge | 24 | 96.0 | 12 * 5,905 GB (12 * 5,500 GiB) | 16.0 | 2,000,000 |
ecs.d1ne-c8d3.8xlarge | 32 | 128.0 | 12 * 5,905 GB (12 * 5,500 GiB) | 20.0 | 2,000,000 |
ecs.d1ne.8xlarge | 32 | 128.0 | 16 * 5,905 GB (16 * 5,500 GiB) | 20.0 | 2,500,000 |
ecs.d1ne-c14d3.14xlarge | 56 | 160.0 | 12 * 5,905 GB (12 * 5,500 GiB) | 35.0 | 4,500,000 |
ecs.d1ne.14xlarge | 56 | 224.0 | 28 * 5,905 GB (28 * 5,500 GiB) | 35.0 | 4,500,000 |