ビッグデータインスタンスファミリーのほとんどは、CPUとメモリの比率が1:4です。 Hadoop MapReduce、Hadoop Distributed File System (HDFS) 、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングおよびストレージシナリオや、ElasticsearchやKafkaなどのソリューションが使用される検索およびログデータ処理シナリオに適しています。
背景情報
このトピックをさらに読む前に、次の情報に精通している必要があります。
インスタンスタイプの分類と命名 インスタンスファミリーカテゴリ、インスタンスタイプの命名規則、およびインスタンスファミリー間の違いをよく理解してください。 詳細については、「インスタンスタイプの分類と命名」をご参照ください。
インスタンスタイプのメトリック インスタンスタイプのメトリックの詳細については、「インスタンスタイプメトリック」をご参照ください。 DescribeInstanceTypeFamiliesおよびDescribeInstanceTypes操作を呼び出して、ECSが提供するインスタンスファミリーおよびすべてのインスタンスタイプの詳細を照会することもできます。
ビジネスシナリオに基づいてインスタンスタイプを選択する手順 詳細については、「インスタンスタイプの選択」をご参照ください。
ユースケースのインスタンスタイプを決定した後、次の情報について学ぶ必要があります。
インスタンスタイプが購入可能なリージョン 購入可能なインスタンスタイプは、リージョンによって異なります。 [各リージョンで利用可能なインスタンスタイプ] ページに移動して、各リージョンで購入可能なインスタンスタイプを表示できます。 または、DescribeRegionsおよびDescribeZones操作を呼び出して、サポートされているリージョンと特定のリージョンのゾーンを照会することもできます。
推定インスタンスコスト。 さまざまな課金方法を使用するインスタンスの料金を計算できます。
価格計算機。 DescribePriceを呼び出して、ECSリソースの最新の価格に関する情報を照会することもできます。インスタンスの購入手順 ECSインスタンス購入ページに移動して、インスタンスの購入注文を行うことができます。
あなたは以下の情報について心配しているかもしれません:
退職したインスタンスファミリー このトピックでインスタンスタイプが見つからない場合、そのインスタンスタイプは退職したインスタンスファミリーである可能性があります。 退職したインスタンスファミリーの詳細については、「退職したインスタンスファミリー」をご参照ください。
サポートされているインスタンスタイプの変更。 インスタンスのインスタンスタイプを変更する前に、インスタンスタイプを変更できるかどうかを確認し、互換性のあるインスタンスタイプを識別します。 詳細については、「インスタンスタイプの変更をサポートするインスタンスタイプとファミリー」をご参照ください。
推奨インスタンスファミリー | 推奨なし (これらのインスタンスファミリーが完売した場合は、推奨されるインスタンスファミリーを使用できます) 。 |
概要
ローカルディスクに格納されたデータの耐久性は、関連する物理マシンの信頼性によって決まります。 単一障害点のリスクが存在する。 ローカルディスクに保存されたデータは、関連する物理マシンでハードウェア障害が発生すると失われる可能性があります。 一時データのみをローカルディスクに保存することを推奨します。 詳細については、「ローカルディスク」をご参照ください。
ビッグデータインスタンスファミリーは、クラウドコンピューティングとビッグデータストレージを提供し、ビッグデータ指向企業のニーズをサポートするように設計されています。 これらのインスタンスファミリーは、Hadoop分散コンピューティング、大規模なログ処理、大規模なデータウェアハウジングなど、オフラインコンピューティングとビッグデータストレージを必要とするシナリオに適しています。 ビッグデータインスタンスファミリーは、分散ネットワークを使用し、ストレージ、容量、内部帯域幅に対する要件が高いビジネスに最適です。
具体的には、ビッグデータの計算、保存、分析を必要とするインターネットや金融などの業界のお客様に適しています。 ビッグデータインスタンスファミリーでは、ローカルストレージの使用により、大量のストレージスペースおよび高いストレージパフォーマンスが確保されます。
ビッグデータインスタンスには、次の利点があります。
エンタープライズレベルのコンピューティングパワーによる、効率的かつ安定したデータ処理。
インスタンスあたりの最大内部帯域幅が高くなり、最大パケット転送速度が高くなり、ピーク時のHadoop MapReduceでのシャッフルなどのデータ転送要求を満たすことで、ネットワークパフォーマンスが向上します。
ビッグデータインスタンスを作成する際の注意事項は以下のとおりです。
ローカルSSDを備えたインスタンスは、インスタンス構成の変更をサポートしていません。
ローカルディスクは、特定のインスタンスタイプにのみ関連付けることができます。 インスタンスにアタッチされているローカルディスクの数と容量は、インスタンスタイプによって異なります。 ローカルディスクを個別に購入したり、インスタンスからローカルディスクをデタッチして他のインスタンスに接続することはできません。
ローカルディスクのスナップショットは作成できません。 ローカルSSDを搭載したインスタンスのシステムディスクとデータディスクからイメージを作成する場合は、システムディスクとデータディスクの両方のスナップショットを組み合わせてイメージを作成することをお勧めします。 この場合、データディスクはクラウドディスクでなければなりません。
ローカルSSDを搭載したインスタンスに基づいて、システムディスクスナップショットとデータディスクスナップショットで構成されるイメージを作成することはできません。
ローカルSSDを搭載したインスタンスに標準SSDをアタッチし、標準SSDの容量を拡張できます。
ローカルSSDを備えたインスタンスでの操作は、ローカルSSDに格納されているデータに影響を与える可能性があります。 詳細については、「ローカルディスク」トピックの「ローカルディスクに格納されたデータに対するインスタンス操作の影響」セクションをご参照ください。
ファイルシステムをビッグデータインスタンスにマウントする際のベストプラクティス
ext4などのファイルシステムを初めてマウントするときは、inodeテーブルを初期化する必要があります。 デフォルトでは、Linuxカーネルv2.6.37以降でlazyinit機能が有効になっているため、ファイルシステムがマウントされるまでinodeテーブルは初期化されません。 さらに、ローカルディスクは、初期化時に、ローカルディスクに対して600メガバイト/秒など、大量のスループットを消費する。 これは、サービスの安定性に影響する。 この問題を解決するために、Linuxカーネルv4.xの遅延初期化のオブジェクトの同時数を増やしました。 詳細については、「index: kernel/git/stable/linux.git」をご参照ください。 できるだけ早い機会にinodeテーブルを初期化するには、次のベストプラクティスを使用することをお勧めします。
すべてのローカルシリアル高度技術アタッチメント (SATA) HDDのリストを取得します。
以下のコマンドを実行して、各ローカルディスクを個別に初期化します。
この例では、デバイス名が /dev/vdbのローカルディスク上にext4ファイルシステムが作成されます。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &すべてのローカルディスクを初期化後、すべてのローカルディスクの I/O 動作が 0 と表示されるまで iostat -x 5 コマンドを実行します。
mountコマンドを一括実行します。
d3s、ストレージ集約型のビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、12 TB、大容量、高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大64 Gbit/sのネットワーク帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。
コンピューティング
2.7 GHzインテルを使用®Xeon ®スケーラブル (Ice Lake) プロセッサは、3.5 GHzのオールコアターボ周波数を提供し、一貫したコンピューティングパフォーマンスを提供します。
ストレージ
I/O 最適化インスタンス。
ESSDおよびESSD AutoPLディスクのみをサポートします。
ネットワーク
IPv4およびIPv6をサポート。 IPv6通信の詳細については、「IPv6通信」をご参照ください。
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d3sインスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン /バースト帯域幅 (Gbit/s) | パケット転送レート (pps) | ディスクベースライン /バースト帯域幅 (Gbit/s) |
ecs.d3s.2xlarge | 8 | 32 | 4*11,918 GB (4*11,100 GiB) | 10/burstable 15まで | 2,000,000 | 3/burstable 5まで |
ecs.d3s.4xlarge | 16 | 64 | 8*11,918 GB (8*11,100 GiB) | 25/none | 3,000,000 | 5 /なし |
ecs.d3s.8xlarge | 32 | 128 | 16*11,918 GB (16*11,100 GiB) | 40 /なし | 6,000,000 | 8 /なし |
ecs.d3s.12xlarge | 48 | 192 | 24*11,918 GB (24*11,100 GiB) | 60/none | 9,000,000 | 12 /なし |
ecs.d3s.16xlarge | 64 | 256 | 32*11,918 GB (32*11,100 GiB) | 80/none | 12,000,000 | 16 /なし |
d3c、コンピューティング集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量および高スループットのローカルディスクが搭載されており、インスタンス間で最大40 Gbit/sの帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
EMR JindoFSとObject Storage Service (OSS) を組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。
コンピューティング
第3世代2.9 GHzインテルを使用®Xeon ®スケーラブル (Ice Lake) プロセッサは、3.5 GHzのオールコアターボ周波数を提供し、一貫したコンピューティングパフォーマンスを提供します。
ストレージ
I/O 最適化インスタンス。
ESSDおよびESSD AutoPLディスクのみをサポートします。
ネットワーク
IPv4およびIPv6をサポート。 IPv6通信の詳細については、「IPv6通信」をご参照ください。
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d3cインスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン /バースト帯域幅 (Gbit/s) | パケット転送レート (pps) | ディスクベースライン /バーストIOPS | ディスクベースライン /バースト帯域幅 (Gbit/s) |
ecs.d3c.3xlarge | 14 | 56.0 | 1*13,743 GB (1*12,800 GiB) | 8 /10までburstable | 1,600,000 | 40,000 /なし | 3/none |
ecs.d3c.7xlarge | 28 | 112.0 | 2*13,743 GB (2*12,800 GiB) | 16/burstable 25まで | 2,500,000 | 50,000 /なし | 4 /なし |
ecs.d3c.14xlarge | 56 | 224.0 | 4*13,743 GB (4*12,800 GiB) | 40 /なし | 5,000,000 | 100,000 /なし | 8 /なし |
このインスタンスファミリーはLinuxイメージのみをサポートします。 このインスタンスファミリーのインスタンスを作成するときに、Linuxイメージを選択します。
d2c、コンピューティング集約型ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
EMR JindoFSとOSSを組み合わせて使用して、ホットデータとコールドデータを別々に保存し、ストレージをコンピューティングから分離するシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。
コンピューティング
2.5 GHzインテルを使用®Xeon ®プラチナ8269CY (カスケード湖) プロセッサ。
ストレージ
I/O 最適化インスタンス。
拡張SSD (ESSD) 、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。
ネットワーク
IPv4およびIPv6をサポート。 IPv6通信の詳細については、「IPv6通信」をご参照ください。
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d2cインスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送レート (pps) |
ecs.d2c.6xlarge | 24 | 88.0 | 3*3,972 GB (3*3,700 GiB) | 12.0 | 1,600,000 |
ecs.d2c.12xlarge | 48 | 176.0 | 6*3,972 GB (6*3,700 GiB) | 20.0 | 2,000,000 |
ecs.d2c.24xlarge | 96 | 352.0 | 12*3,972 GB (12*3,700 GiB) | 35.0 | 4,500,000 |
d2s、ストレージ集約型のビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるビッグデータコンピューティングとストレージのビジネスシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
ElasticsearchやKafkaなどのソリューションが使用されている検索およびログデータ処理シナリオ
このインスタンスファミリーは、インスタンスのシャットダウンを防ぐために、破損したディスクのオンライン交換とホットスワップをサポートします。
ローカルディスクに障害が発生すると、システムイベントが発生します。 破損したディスクを修復するプロセスを開始することで、システムイベントを処理できます。 詳細については、「ローカルディスクを搭載したインスタンスのO&Mシナリオとシステムイベント」をご参照ください。
重要破損したディスクの修復プロセスを開始すると、破損したディスクに保存されているデータは復元できません。
コンピューティング
2.5 GHzインテルを使用®Xeon ®プラチナ8163 (Skylake) プロセッサ。
ストレージ
I/O 最適化インスタンス。
ESSD、ESSD AutoPLディスク、標準SSD、およびウルトラディスクをサポートします。
ネットワーク
IPv4およびIPv6をサポート。 IPv6通信の詳細については、「IPv6通信」をご参照ください。
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d2sインスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送レート (pps) |
ecs.d2s.5xlarge | 20 | 88.0 | 8*7,838 GB (8*7,300 GiB) | 12.0 | 1,600,000 |
ecs.d2s.10xlarge | 40 | 176.0 | 15*7,838 GB (15*7,300 GiB) | 20.0 | 2,000,000 |
ecs.d2s.20xlarge | 80 | 352.0 | 30*7,838 GB (30*7,300 GiB) | 35.0 | 4,500,000 |
d1ne、ネットワークで強化されたビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大35 Gbit/sの帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ
コンピューティング
CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。
2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。
ストレージ
I/O 最適化インスタンス。
標準SSDとウルトラディスクのみをサポートします。
ネットワーク
IPv4およびIPv6をサポート。 IPv6通信の詳細については、「IPv6通信」をご参照ください。
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d1neインスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送レート (pps) |
ecs.d1ne.2xlarge | 8 | 32.0 | 4*5,905 GB (4*5,500 GiB) | 6.0 | 1,000,000 |
ecs.d1ne.4xlarge | 16 | 64.0 | 8*5,905 GB (8*5,500 GiB) | 12.0 | 1,600,000 |
ecs.d1ne.6xlarge | 24 | 96.0 | 12*5,905 GB (12*5,500 GiB) | 16.0 | 2,000,000 |
ecs.d1ne-c8d3.8xlarge | 32 | 128.0 | 12*5,905 GB (12*5,500 GiB) | 20.0 | 2,000,000 |
ecs.d1ne.8xlarge | 32 | 128.0 | 16*5,905 GB (16*5,500 GiB) | 20.0 | 2,500,000 |
ecs.d1ne-c14d3.14xlarge | 56 | 160.0 | 12*5,905 GB (12*5,500 GiB) | 35.0 | 4,500,000 |
ecs.d1ne.14xlarge | 56 | 224.0 | 28*5,905 GB (28*5,500 GiB) | 35.0 | 4,500,000 |
d1：ビッグデータインスタンスファミリー
特徴:
このインスタンスファミリーには、大容量で高スループットのローカルSATA HDDが搭載されており、インスタンス間で最大17 Gbit/sの帯域幅を提供できます。
サポートされるシナリオ:
Hadoop MapReduce、HDFS、Hive、HBaseなどのサービスが使用されるシナリオ
Spark インメモリコンピューティングや MLlib などの機械学習シナリオ
インターネットや金融などの業界の顧客がビッグデータを計算、保存、分析する必要があるシナリオ
Elasticsearchなどのソリューションが使用される検索およびログデータ処理シナリオ
コンピューティング
CPU 対メモリ比率は、ビッグデータシナリオ向けの 1:4。
2.5 GHzインテルを使用®Xeon ®E5-2682 v4 (Broadwell) プロセッサ。
ストレージ
I/O 最適化インスタンス。
標準 SSD および Ultra ディスクをサポート。
ネットワーク
IPv4をサポート
大規模コンピューティング能力で、高いネットワークパフォーマンスを提供します。
d1インスタンスタイプ
インスタンスタイプ | vCPU | メモリサイズ (GiB) | ローカルストレージ | ネットワークベースライン帯域幅 (Gbit/s) | パケット転送レート (pps) |
ecs.d1.2xlarge | 8 | 32.0 | 4*5,905 GB (4*5,500 GiB) | 3.0 | 300,000 |
ecs.d1.3xlarge | 12 | 48.0 | 6*5,905 GB (6*5,500 GiB) | 4.0 | 400,000 |
ecs.d1.4xlarge | 16 | 64.0 | 8*5,905 GB (8*5,500 GiB) | 6.0 | 600,000 |
ecs.d1.6xlarge | 24 | 96.0 | 12*5,905 GB (12*5,500 GiB) | 8.0 | 800,000 |
ecs.d1-c8d3.8xlarge | 32 | 128.0 | 12*5,905 GB (12*5,500 GiB) | 10.0 | 1,000,000 |
ecs.d1.8xlarge | 32 | 128.0 | 16*5,905 GB (16*5,500 GiB) | 10.0 | 1,000,000 |
ecs.d1-c14d3.14xlarge | 56 | 160.0 | 12*5,905 GB (12*5,500 GiB) | 17.0 | 1,800,000 |
ecs.d1.14xlarge | 56 | 224.0 | 28*5,905 GB (28*5,500 GiB) | 17.0 | 1,800,000 |