すべてのプロダクト
Search
ドキュメントセンター

Elastic Compute Service:ビッグデータインスタンスファミリー

最終更新日:Dec 27, 2023

このトピックでは、Elastic Compute Service (ECS) のビッグデータインスタンスファミリーの機能について説明し、各インスタンスファミリーのインスタンスタイプを一覧表示します。

概要

ビッグデータインスタンスファミリーは、クラウドコンピューティングとビッグデータストレージを提供し、ビッグデータ指向企業のニーズをサポートするように設計されています。 これらのインスタンスファミリーは、Hadoop分散コンピューティング、大規模なログ処理、大規模なデータウェアハウジングなど、オフラインコンピューティングとビッグデータストレージを必要とするシナリオに適しています。 ビッグデータインスタンスファミリーは、分散ネットワークを使用し、ストレージ、容量、内部帯域幅に対する要件が高いビジネスに最適です。

具体的には、ビッグデータの計算、保存、分析を必要とするインターネットや金融などの業界のお客様に適しています。 ビッグデータインスタンスファミリーでは、ローカルストレージの使用により、大量のストレージスペースおよび高いストレージパフォーマンスが確保されます。

ビッグデータインスタンスには、次の利点があります。

  • エンタープライズレベルのコンピューティングパワーによる、効率的かつ安定したデータ処理。

  • インスタンスあたりの最大内部帯域幅が高くなり、最大パケット転送速度が高くなり、ピーク時のHadoop MapReduceでのシャッフルなどのデータ転送要求を満たすことで、ネットワークパフォーマンスが向上します。

  • インスタンスを初めて作成または起動するときは、最適なパフォーマンスを実現する前に、ディスクをウォームアップする必要があります。 各ディスクは、最大190メガバイト/秒のシーケンシャル読み書きパフォーマンスを実現でき、各インスタンスは最大5ギガバイト/秒のストレージスループットを提供できます。 これにより、HDFS (Hadoop Distributed File System) ファイルからデータを読み書きするのに必要な時間が短縮されます。

  • ローカルストレージのコストは、標準 SSD に比較して 97% 低いため、 これにより、Hadoopクラスターの構築コストが大幅に削減されます。

ビッグデータインスタンスを作成する際の注意事項は以下のとおりです。

  • ローカルSSDを備えたインスタンスは、インスタンス構成の変更やフェイルオーバーをサポートしていません。

  • ローカルディスクは、特定のインスタンスタイプにのみ関連付けることができます。 インスタンスにアタッチされているローカルディスクの数と容量は、インスタンスタイプによって異なります。 ローカルディスクを個別に購入したり、インスタンスからローカルディスクをデタッチして他のインスタンスに接続することはできません。

  • ローカルディスクのスナップショットは作成できません。 ローカルSSDを搭載したインスタンスのシステムディスクとデータディスクからイメージを作成する場合は、システムディスクとデータディスクの両方のスナップショットを組み合わせてイメージを作成することをお勧めします。 この場合、データディスクはクラウドディスクでなければなりません。

  • ローカルSSDを搭載したインスタンスに基づいて、システムディスクスナップショットとデータディスクスナップショットで構成されるイメージを作成することはできません。

  • ローカルSSDを搭載したインスタンスに標準SSDをアタッチし、標準SSDの容量を拡張できます。

  • ローカルSSDを備えたインスタンスでの操作は、ローカルSSDに格納されたデータに影響を与える可能性があります。 詳細については、「ローカルディスク」の「ローカルディスクに格納されたデータに対するインスタンス操作の影響」セクションをご参照ください。

ファイルシステムをビッグデータインスタンスにマウントする際のベストプラクティス

ext4などのファイルシステムを初めてマウントするときは、inodeテーブルを初期化する必要があります。 デフォルトでは、Linuxカーネルv2.6.37以降でlazyinit機能が有効になっているため、ファイルシステムがマウントされるまでinodeテーブルは初期化されません。 さらに、ローカルディスクは、初期化時に、ローカルディスクに対して600メガバイト/秒など、大量のスループットを消費する。 これは、サービスの安定性に影響する。 この問題を解決するために、Linuxカーネルv4.xでのlazyinitの同時実行性が改善されました。 詳細については、「index: kernel/git/stable/linux.git」をご参照ください。 できるだけ早い機会にinodeテーブルを初期化するには、次のベストプラクティスを使用することをお勧めします。

  1. すべてのローカルシリアル高度技術アタッチメント (SATA) HDDのリストを取得します。

  2. 以下のコマンドを実行して、各ローカルディスクを個別に初期化します。

    この例では、デバイス名が /dev/vdbのローカルディスク上にext4ファイルシステムが作成されます。

    mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
  3. すべてのローカルディスクを初期化後、すべてのローカルディスクの I/O 動作が 0 と表示されるまで iostat -x 5 コマンドを実行します。

  4. mountコマンドを一括実行します。

d3c、コンピューティング集約型ビッグデータインスタンスファミリー

特徴:

  • このインスタンスファミリーには、大容量および高スループットのローカルディスクが搭載されており、インスタンス間で最大40 Gbit/sの帯域幅を提供できます。

  • このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

    ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

    重要

    破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。

  • コンピューティング

    • 第3世代2.9 GHzインテルを使用®Xeon ®一貫したコンピューティングパフォーマンスのために3.5 GHzのオールコアターボ周波数を提供するスケーラブル (Ice Lake) プロセッサ。

  • ストレージ

    • I/O 最適化インスタンス。

    • ESSDおよびESSD AutoPLディスクがサポートされています。

  • ネットワーク

    • IPv6をサポート

    • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

  • サポートされるシナリオ:

    • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

    • EMR JindoFSとObject Storage Service (OSS) を組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ

    • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

    • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

インスタンスタイプ

インスタンスタイプ

vCPU

メモリ (GiB)

ローカルストレージ (GB)

ネットワークベースライン /バースト帯域幅 (Gbit/s)

パケット転送レート (pps)

NICキュー

ENIs

ENIごとのプライベートIPアドレス

ecs.d3c.3xlarge

14

56.0

1*13740

8 /10までburstable

1,600,000

8

8

30

ecs.d3c.7xlarge

28

112.0

2*13740

16/burstable 25まで

2,500,000

16

8

30

ecs.d3c.14xlarge

56

224.0

4*13740

40 /なし

5,000,000

28

8

30

説明
  • [各リージョンで利用可能なECSインスタンスタイプ] に移動して、各リージョンで利用可能なインスタンスタイプを表示できます。

  • これらの仕様の詳細については、「インスタンスファミリーの概要」の「インスタンスタイプの仕様」セクションをご参照ください。

  • このインスタンスファミリーはLinuxイメージのみをサポートします。 このインスタンスファミリーのインスタンスを作成するときは、Linuxイメージを選択する必要があります。

d2c、コンピューティング集約型ビッグデータインスタンスファミリー

特徴:

  • このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

  • このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

    ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

    重要

    破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。

  • コンピューティング

    • 2.5 GHzインテルを使用®Xeon ®プラチナ8269CY (カスケード湖) プロセッサ。

  • ストレージ

    • I/O 最適化インスタンス。

    • 拡張SSD (ESSD) 、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。

  • ネットワーク

    • IPv6をサポート

    • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

  • サポートされるシナリオ:

    • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

    • EMR JindoFSとOSSを組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ

    • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

    • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

インスタンスタイプ

インスタンスタイプ

vCPU

メモリ (GiB)

ローカルストレージ (GB)

ネットワーク帯域幅 (Gbit/s)

パケット転送レート (pps)

NICキュー

ENIs

ENIごとのプライベートIPアドレス

ecs.d2c.6xlarge

24

88.0

3 * 4000

12.0

1,600,000

8

8

20

ecs.d2c.12xlarge

48

176.0

6 * 4000

20.0

2,000,000

16

8

20

ecs.d2c.24xlarge

96

352.0

12 * 4000

35.0

4,500,000

16

8

20

説明

d2s、ストレージ集約型のビッグデータインスタンスファミリー

特徴:

  • このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

  • このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。

    ローカルディスクに障害が発生した場合、システムイベントが通知されます。 破損したディスクを修正するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。

    重要

    破損したディスクを修正するプロセスを開始すると、破損したディスクのデータは復元できません。

  • コンピューティング

    • 2.5 GHzインテルを使用®Xeon ®プラチナ8163 (Skylake) プロセッサ。

  • ストレージ

    • I/O 最適化インスタンス。

    • ESSD、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。

  • ネットワーク

    • IPv6をサポート

    • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

  • サポートされるシナリオ:

    • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ

    • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

    • ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ

インスタンスタイプ

インスタンスタイプ

vCPU

メモリ (GiB)

ローカルストレージ (GB)

ネットワーク帯域幅 (Gbit/s)

パケット転送レート (pps)

NICキュー

ENIs

ENIごとのプライベートIPアドレス

ecs.d2s.5xlarge

20

88.0

8*8000

12.0

1,600,000

8

8

20

ecs.d2s.10xlarge

40

176.0

15*8000

20.0

2,000,000

16

8

20

ecs.d2s.20xlarge

80

352.0

30*8000

35.0

4,500,000

32

8

20

説明

d1ne、ネットワークで強化されたビッグデータインスタンスファミリー

特徴:

  • このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。

  • コンピューティング

    • CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。

    • 2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。

  • ストレージ

    • I/O 最適化インスタンス。

    • 標準 SSD および Ultra ディスクをサポート。

  • ネットワーク

    • IPv6をサポート

    • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

  • サポートされるシナリオ:

    • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ

    • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

    • Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ

インスタンスタイプ

インスタンスタイプ

vCPU

メモリ (GiB)

ローカルストレージ (GB)

ネットワーク帯域幅 (Gbit/s)

パケット転送レート (pps)

NICキュー

ENIs

ENIごとのプライベートIPアドレス

ecs.d1ne.2xlarge

8

32.0

4*6000

6.0

1,000,000

4

4

10

ecs.d1ne.4xlarge

16

64.0

8*6000

12.0

1,600,000

4

8

20

ecs.d1ne.6xlarge

24

96.0

12*6000

16.0

2,000,000

6

8

20

ecs.d1ne-c8d3.8xlarge

32

128.0

12*6000

20.0

2,000,000

6

8

20

ecs.d1ne.8xlarge

32

128.0

16*6000

20.0

2,500,000

8

8

20

ecs.d1ne-c14d3.14xlarge

56

160.0

12*6000

35.0

4,500,000

14

8

20

ecs.d1ne.14xlarge

56

224.0

28*6000

35.0

4,500,000

14

8

20

説明

d1:ビッグデータインスタンスファミリー

特徴:

  • このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大17 Gbit/sの帯域幅を提供できます。

  • コンピューティング

    • CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。

    • 2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。

  • ストレージ

    • I/O 最適化インスタンス。

    • 標準 SSD および Ultra ディスクをサポート。

  • ネットワーク

    • 大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。

  • サポートされるシナリオ:

    • Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ

    • Spark インメモリコンピューティングや MLlib などの機械学習シナリオ

    • インターネットや金融などの業界の顧客がビッグデータを計算、保存、分析する必要があるシナリオ

    • Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ

インスタンスタイプ

インスタンスタイプ

vCPU

メモリ (GiB)

ローカルストレージ (GB)

ネットワーク帯域幅 (Gbit/s)

パケット転送レート (pps)

NICキュー

ENIs

ENIごとのプライベートIPアドレス

ecs.d1.2xlarge

8

32.0

4*6000

3.0

300,000

1

4

10

ecs.d1.3xlarge

12

48.0

6*6000

4.0

400,000

1

6

10

ecs.d1.4xlarge

16

64.0

8*6000

6.0

600,000

2

8

20

ecs.d1.6xlarge

24

96.0

12*6000

8.0

800,000

2

8

20

ecs.d1-c8d3.8xlarge

32

128.0

12*6000

10.0

1,000,000

4

8

20

ecs.d1.8xlarge

32

128.0

16*6000

10.0

1,000,000

4

8

20

ecs.d1-c14d3.14xlarge

56

160.0

12*6000

17.0

1,800,000

6

8

20

ecs.d1.14xlarge

56

224.0

28*6000

17.0

1,800,000

6

8

20

説明