このトピックでは、Elastic Compute Service (ECS) のビッグデータインスタンスファミリーの機能について説明し、各インスタンスファミリーのインスタンスタイプを一覧表示します。
推奨インスタンスファミリー
その他の利用可能なインスタンスファミリー (これらのインスタンスファミリーが売り切れの場合は、推奨されるインスタンスファミリーを使用できます) 。
概要
ビッグデータインスタンスファミリーは、クラウドコンピューティングとビッグデータストレージを提供し、ビッグデータ指向企業のニーズをサポートするように設計されています。 これらのインスタンスファミリーは、Hadoop分散コンピューティング、大規模なログ処理、大規模なデータウェアハウジングなど、オフラインコンピューティングとビッグデータストレージを必要とするシナリオに適しています。 ビッグデータインスタンスファミリーは、分散ネットワークを使用し、ストレージ、容量、内部帯域幅に対する要件が高いビジネスに最適です。
具体的には、ビッグデータの計算、保存、分析を必要とするインターネットや金融などの業界のお客様に適しています。 ビッグデータインスタンスファミリーでは、ローカルストレージの使用により、大量のストレージスペースおよび高いストレージパフォーマンスが確保されます。
ビッグデータインスタンスには、次の利点があります。
エンタープライズレベルのコンピューティングパワーによる、効率的かつ安定したデータ処理。
インスタンスあたりの最大内部帯域幅が高くなり、最大パケット転送速度が高くなり、ピーク時のHadoop MapReduceでのシャッフルなどのデータ転送要求を満たすことで、ネットワークパフォーマンスが向上します。
インスタンスを初めて作成または起動するときは、最適なパフォーマンスを実現する前に、ディスクをウォームアップする必要があります。 各ディスクは、最大190メガバイト/秒のシーケンシャル読み書きパフォーマンスを実現でき、各インスタンスは最大5ギガバイト/秒のストレージスループットを提供できます。 これにより、HDFS (Hadoop Distributed File System) ファイルからデータを読み書きするのに必要な時間が短縮されます。
ローカルストレージのコストは、標準 SSD に比較して 97% 低いため、 これにより、Hadoopクラスターの構築コストが大幅に削減されます。
ビッグデータインスタンスを作成する際の注意事項は以下のとおりです。
ローカルSSDを備えたインスタンスは、インスタンス構成の変更やフェイルオーバーをサポートしていません。
ローカルディスクは、特定のインスタンスタイプにのみ関連付けることができます。 インスタンスにアタッチされているローカルディスクの数と容量は、インスタンスタイプによって異なります。 ローカルディスクを個別に購入したり、インスタンスからローカルディスクをデタッチして他のインスタンスに接続することはできません。
ローカルディスクのスナップショットは作成できません。 ローカルSSDを搭載したインスタンスのシステムディスクとデータディスクからイメージを作成する場合は、システムディスクとデータディスクの両方のスナップショットを組み合わせてイメージを作成することをお勧めします。 この場合、データディスクはクラウドディスクでなければなりません。
ローカルSSDを搭載したインスタンスに基づいて、システムディスクスナップショットとデータディスクスナップショットで構成されるイメージを作成することはできません。
ローカルSSDを搭載したインスタンスに標準SSDをアタッチし、標準SSDの容量を拡張できます。
ローカルSSDを備えたインスタンスでの操作は、ローカルSSDに格納されたデータに影響を与える可能性があります。 詳細については、「ローカルディスク」の「ローカルディスクに格納されたデータに対するインスタンス操作の影響」セクションをご参照ください。
ファイルシステムをビッグデータインスタンスにマウントする際のベストプラクティス
ext4などのファイルシステムを初めてマウントするときは、inodeテーブルを初期化する必要があります。 デフォルトでは、Linuxカーネルv2.6.37以降でlazyinit機能が有効になっているため、ファイルシステムがマウントされるまでinodeテーブルは初期化されません。 さらに、ローカルディスクは、初期化時に、ローカルディスクに対して600メガバイト/秒など、大量のスループットを消費する。 これは、サービスの安定性に影響する。 この問題を解決するために、Linuxカーネルv4.xでのlazyinitの同時実行性が改善されました。 詳細については、「index: kernel/git/stable/linux.git」をご参照ください。 できるだけ早い機会にinodeテーブルを初期化するには、次のベストプラクティスを使用することをお勧めします。
すべてのローカルシリアル高度技術アタッチメント (SATA) HDDのリストを取得します。
以下のコマンドを実行して、各ローカルディスクを個別に初期化します。
この例では、デバイス名が /dev/vdbのローカルディスク上にext4ファイルシステムが作成されます。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
すべてのローカルディスクを初期化後、すべてのローカルディスクの I/O 動作が 0 と表示されるまで iostat -x 5 コマンドを実行します。
mountコマンドを一括実行します。
d3c、コンピューティング集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量および高スループットのローカルディスクが搭載されており、インスタンス間で最大40 Gbit/sの帯域幅を提供できます。
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。
コンピューティング
第3世代2.9 GHzインテルを使用®Xeon ®一貫したコンピューティングパフォーマンスのために3.5 GHzのオールコアターボ周波数を提供するスケーラブル (Ice Lake) プロセッサ。
ストレージ
I/O 最適化インスタンス。
ESSDおよびESSD AutoPLディスクがサポートされています。
ネットワーク
IPv6をサポート
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
EMR JindoFSとObject Storage Service (OSS) を組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
インスタンスタイプ
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ (GB) | ネットワークベースライン /バースト帯域幅 (Gbit/s) | パケット転送レート (pps) | NICキュー | ENIs | ENIごとのプライベートIPアドレス |
ecs.d3c.3xlarge | 14 | 56.0 | 1*13740 | 8 /10までburstable | 1,600,000 | 8 | 8 | 30 |
ecs.d3c.7xlarge | 28 | 112.0 | 2*13740 | 16/burstable 25まで | 2,500,000 | 16 | 8 | 30 |
ecs.d3c.14xlarge | 56 | 224.0 | 4*13740 | 40 /なし | 5,000,000 | 28 | 8 | 30 |
[各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。
これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。
このインスタンスファミリーはLinuxイメージのみをサポートします。 このインスタンスファミリーのインスタンスを作成するときは、Linuxイメージを選択する必要があります。
d2c、コンピューティング集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。
コンピューティング
2.5 GHzインテルを使用®Xeon ®プラチナ8269CY (カスケード湖) プロセッサ。
ストレージ
I/O 最適化インスタンス。
拡張SSD (ESSD) 、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。
ネットワーク
IPv6をサポート
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
EMR JindoFSとOSSを組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
インスタンスタイプ
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ (GB) | ネットワーク帯域幅 (Gbit/s) | パケット転送レート (pps) | NICキュー | ENIs | ENIごとのプライベートIPアドレス |
ecs.d2c.6xlarge | 24 | 88.0 | 3 * 4000 | 12.0 | 1,600,000 | 8 | 8 | 20 |
ecs.d2c.12xlarge | 48 | 176.0 | 6 * 4000 | 20.0 | 2,000,000 | 16 | 8 | 20 |
ecs.d2c.24xlarge | 96 | 352.0 | 12 * 4000 | 35.0 | 4,500,000 | 16 | 8 | 20 |
[各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。
これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。
d2s、ストレージ集約型のビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。
コンピューティング
2.5 GHzインテルを使用®Xeon ®プラチナ8163 (Skylake) プロセッサ。
ストレージ
I/O 最適化インスタンス。
ESSD、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。
ネットワーク
IPv6をサポート
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
インスタンスタイプ
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ (GB) | ネットワーク帯域幅 (Gbit/s) | パケット転送レート (pps) | NICキュー | ENIs | ENIごとのプライベートIPアドレス |
ecs.d2s.5xlarge | 20 | 88.0 | 8*8000 | 12.0 | 1,600,000 | 8 | 8 | 20 |
ecs.d2s.10xlarge | 40 | 176.0 | 15*8000 | 20.0 | 2,000,000 | 16 | 8 | 20 |
ecs.d2s.20xlarge | 80 | 352.0 | 30*8000 | 35.0 | 4,500,000 | 32 | 8 | 20 |
[各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。
これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。
d1ne、ネットワークで強化されたビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
コンピューティング
CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。
2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。
ストレージ
I/O 最適化インスタンス。
標準 SSD および Ultra ディスクをサポート。
ネットワーク
IPv6をサポート
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ
インスタンスタイプ
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ (GB) | ネットワーク帯域幅 (Gbit/s) | パケット転送レート (pps) | NICキュー | ENIs | ENIごとのプライベートIPアドレス |
ecs.d1ne.2xlarge | 8 | 32.0 | 4*6000 | 6.0 | 1,000,000 | 4 | 4 | 10 |
ecs.d1ne.4xlarge | 16 | 64.0 | 8*6000 | 12.0 | 1,600,000 | 4 | 8 | 20 |
ecs.d1ne.6xlarge | 24 | 96.0 | 12*6000 | 16.0 | 2,000,000 | 6 | 8 | 20 |
ecs.d1ne-c8d3.8xlarge | 32 | 128.0 | 12*6000 | 20.0 | 2,000,000 | 6 | 8 | 20 |
ecs.d1ne.8xlarge | 32 | 128.0 | 16*6000 | 20.0 | 2,500,000 | 8 | 8 | 20 |
ecs.d1ne-c14d3.14xlarge | 56 | 160.0 | 12*6000 | 35.0 | 4,500,000 | 14 | 8 | 20 |
ecs.d1ne.14xlarge | 56 | 224.0 | 28*6000 | 35.0 | 4,500,000 | 14 | 8 | 20 |
[各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。
これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。
d1:ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大17 Gbit/sの帯域幅を提供できます。
コンピューティング
CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。
2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。
ストレージ
I/O 最適化インスタンス。
標準 SSD および Ultra ディスクをサポート。
ネットワーク
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
インターネットや金融などの業界の顧客がビッグデータを計算、保存、分析する必要があるシナリオ
Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ
インスタンスタイプ
インスタンスタイプ | vCPU | メモリ (GiB) | ローカルストレージ (GB) | ネットワーク帯域幅 (Gbit/s) | パケット転送レート (pps) | NICキュー | ENIs | ENIごとのプライベートIPアドレス |
ecs.d1.2xlarge | 8 | 32.0 | 4*6000 | 3.0 | 300,000 | 1 | 4 | 10 |
ecs.d1.3xlarge | 12 | 48.0 | 6*6000 | 4.0 | 400,000 | 1 | 6 | 10 |
ecs.d1.4xlarge | 16 | 64.0 | 8*6000 | 6.0 | 600,000 | 2 | 8 | 20 |
ecs.d1.6xlarge | 24 | 96.0 | 12*6000 | 8.0 | 800,000 | 2 | 8 | 20 |
ecs.d1-c8d3.8xlarge | 32 | 128.0 | 12*6000 | 10.0 | 1,000,000 | 4 | 8 | 20 |
ecs.d1.8xlarge | 32 | 128.0 | 16*6000 | 10.0 | 1,000,000 | 4 | 8 | 20 |
ecs.d1-c14d3.14xlarge | 56 | 160.0 | 12*6000 | 17.0 | 1,800,000 | 6 | 8 | 20 |
ecs.d1.14xlarge | 56 | 224.0 | 28*6000 | 17.0 | 1,800,000 | 6 | 8 | 20 |
[各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。
これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。