Elastic Compute Service:Big data instance families (d series)

Les instances Big Data présentent les avantages suivants :

• Une puissance de calcul de niveau entreprise garantit un traitement des données efficace et stable.

• Les performances réseau sont améliorées grâce à une bande passante interne maximale par instance plus élevée et à des taux de transfert de paquets maximum accrus, répondant ainsi aux exigences de transfert de données, telles que le brassage (shuffling) dans Hadoop MapReduce lors des pics d'activité.

Lorsque vous utilisez des instances Big Data, tenez compte des points suivants :

• Les instances équipées de SSD locaux ne prennent pas en charge la modification de leur configuration.

• Les disques locaux ne peuvent être associés qu'à des types d'instances spécifiques. Le nombre et la capacité des disques locaux attachés à une instance varient selon le type d'instance. Vous ne pouvez pas acheter séparément des disques locaux, ni les détacher d'une instance pour les attacher à une autre.

• Vous ne pouvez pas créer de snapshots pour les disques locaux. Si vous souhaitez créer une image à partir du disque système et des disques de données d'une instance équipée de SSD locaux, nous vous recommandons de créer une image en combinant les snapshots du disque système et des disques de données. Dans ce cas, les disques de données doivent être des disques cloud.

• Vous ne pouvez pas créer d'images composées de snapshots de disque système et de snapshots de disques de données à partir d'instances équipées de SSD locaux.

• Vous pouvez attacher un SSD standard à une instance équipée de SSD locaux et étendre la capacité du SSD standard.

• Les opérations effectuées sur une instance équipée de SSD locaux peuvent affecter les données stockées sur ces disques. Pour plus d'informations, consultez la section Impacts des opérations sur les instances sur les données stockées sur les disques locaux de la rubrique « Disques locaux ».

Lors du premier montage d'un système de fichiers tel qu'ext4, vous devez initialiser la table des inodes. Par défaut, la fonctionnalité lazyinit est activée dans les noyaux Linux v2.6.37 et versions ultérieures, ce qui entraîne une initialisation de la table des inodes uniquement au moment du montage des systèmes de fichiers. De plus, les disques locaux consomment une quantité importante de débit pendant leur initialisation, par exemple 600 Mo/s pour 30 disques locaux. Cela peut affecter la stabilité des services. Le nombre d'objets traités simultanément lors de l'initialisation différée (lazy initialization) dans le noyau Linux v4.x a été augmenté pour résoudre ce problème. Pour plus d'informations, consultez index: kernel/git/stable/linux.git. Nous vous recommandons d'appliquer les bonnes pratiques suivantes pour initialiser la table des inodes dès que possible :

1. Obtenez la liste de tous les disques durs SATA locaux.

2. Exécutez la commande suivante pour initialiser chaque disque local individuellement.

   Dans cet exemple, un système de fichiers ext4 est créé sur un disque local dont le nom de périphérique est /dev/vdb.

   mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &

3. Une fois tous les disques locaux initialisés, exécutez la commande iostat -x 5 jusqu'à ce que les activités d'E/S de tous les disques locaux soient affichées comme 0.

4. Exécutez la commande mount par lots.

Caractéristiques :

• Cette famille d'instances est équipée de disques durs SATA locaux haute capacité (12 To) et haut débit, et offre une bande passante réseau maximale de 64 Gbit/s entre les instances.

• Scénarios pris en charge :

  • Scénarios métier de calcul et de stockage Big Data utilisant des services tels que Hadoop MapReduce, HDFS, Hive et HBase

  • Scénarios d'apprentissage automatique tels que le calcul en mémoire Spark et MLlib

  • Scénarios de traitement des données de recherche et des journaux exploitant des solutions comme Elasticsearch et Kafka

• Cette famille d'instances prend en charge le remplacement en ligne et le remplacement à chaud des disques endommagés pour éviter l'arrêt des instances.

  En cas de panne d'un disque local, vous recevez un événement système. Gérez cet événement en lançant le processus de réparation du disque endommagé. Pour plus d'informations, consultez la rubrique Maintenance et événements système pour les instances à disque local.

  Important

  Après avoir lancé le processus de réparation du disque endommagé, les données stockées sur ce disque ne peuvent pas être restaurées.

• Calcul :

  • Utilise des processeurs Intel^® Xeon^® Scalable (Ice Lake) à 2,7 GHz offrant une fréquence turbo tous cœurs de 3,5 GHz pour garantir des performances de calcul constantes.

• Stockage :

  • Il s'agit d'une famille d'instances dont toutes les instances sont optimisées pour les E/S.

  • Prend uniquement en charge les disques ESSD et les disques ESSD AutoPL.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Les performances réseau d'une instance correspondent à son type d'instance. Un type d'instance plus grand offre des performances réseau supérieures.

d3s comprend les types d'instances et les données de métriques répertoriés dans le tableau suivant.

Caractéristiques :

• Cette famille d'instances est équipée de disques locaux haute capacité et haut débit, et offre une bande passante maximale de 40 Gbit/s entre les instances.

• Scénarios pris en charge :

  • Scénarios métier de calcul et de stockage Big Data utilisant des services tels que Hadoop MapReduce, HDFS, Hive et HBase

  • Scénarios combinant EMR JindoFS et Object Storage Service (OSS) pour stocker séparément les données chaudes et froides, et découpler le stockage du calcul

  • Scénarios d'apprentissage automatique tels que le calcul en mémoire Spark et MLlib

  • Scénarios de traitement des données de recherche et des journaux exploitant des solutions comme Elasticsearch et Kafka

• Cette famille d'instances prend en charge le remplacement en ligne et le remplacement à chaud des disques endommagés pour éviter l'arrêt des instances.

  En cas de panne d'un disque local, vous recevez un événement système. Gérez cet événement en lançant le processus de réparation du disque endommagé. Pour plus d'informations, consultez la rubrique Maintenance et événements système pour les instances à disque local.

  Important

  Après avoir lancé le processus de réparation du disque endommagé, les données stockées sur ce disque ne peuvent pas être restaurées.

• Calcul :

  • Utilise des processeurs Intel^® Xeon^® Scalable (Ice Lake) de troisième génération à 2,9 GHz offrant une fréquence turbo tous cœurs de 3,5 GHz pour garantir des performances de calcul constantes.

• Stockage :

  • Il s'agit d'une famille d'instances dont toutes les instances sont optimisées pour les E/S.

  • Prend uniquement en charge les disques ESSD et les disques ESSD AutoPL.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Les performances réseau d'une instance correspondent à son type d'instance. Un type d'instance plus grand offre des performances réseau supérieures.

d3c comprend les types d'instances et les données de métriques répertoriés dans le tableau suivant.

Caractéristiques :

• Cette famille d'instances est équipée de disques durs SATA locaux haute capacité et haut débit, et offre une bande passante maximale de 35 Gbit/s entre les instances.

• Scénarios pris en charge :

  • Scénarios métier de calcul et de stockage Big Data utilisant des services tels que Hadoop MapReduce, HDFS, Hive et HBase

  • Scénarios combinant EMR JindoFS et OSS pour stocker séparément les données chaudes et froides, et découpler le stockage du calcul

  • Scénarios d'apprentissage automatique tels que le calcul en mémoire Spark et MLlib

  • Scénarios de traitement des données de recherche et des journaux exploitant des solutions comme Elasticsearch et Kafka

• Cette famille d'instances prend en charge le remplacement en ligne et le remplacement à chaud des disques endommagés pour éviter l'arrêt des instances.

  En cas de panne d'un disque local, vous recevez un événement système. Gérez cet événement en lançant le processus de réparation du disque endommagé. Pour plus d'informations, consultez la rubrique Maintenance et événements système pour les instances à disque local.

  Important

  Après avoir lancé le processus de réparation du disque endommagé, les données stockées sur ce disque ne peuvent pas être restaurées.

• Calcul :

  • Utilise des processeurs Intel^® Xeon^® Platinum 8269CY (Cascade Lake) à 2,5 GHz.

• Stockage :

  • Il s'agit d'une famille d'instances dont toutes les instances sont optimisées pour les E/S.

  • Prend en charge les disques SSD améliorés (ESSD), les disques ESSD AutoPL, les SSD standards et les disques ultra.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Les performances réseau d'une instance correspondent à son type d'instance. Un type d'instance plus grand offre des performances réseau supérieures.

d2c comprend les types d'instances et les données de métriques répertoriés dans le tableau suivant.

Caractéristiques :

• Cette famille d'instances est équipée de disques durs SATA locaux haute capacité et haut débit, et offre une bande passante maximale de 35 Gbit/s entre les instances.

• Scénarios pris en charge :

  • Scénarios métier de calcul et de stockage Big Data utilisant des services tels que Hadoop MapReduce, HDFS, Hive et HBase

  • Scénarios d'apprentissage automatique tels que le calcul en mémoire Spark et MLlib

  • Scénarios de traitement des données de recherche et des journaux exploitant des solutions comme Elasticsearch et Kafka

• Cette famille d'instances prend en charge le remplacement en ligne et le remplacement à chaud des disques endommagés pour éviter l'arrêt des instances.

  En cas de panne d'un disque local, vous recevez un événement système. Gérez cet événement en lançant le processus de réparation du disque endommagé. Pour plus d'informations, consultez la rubrique Maintenance et événements système pour les instances à disque local.

  Important

  Après avoir lancé le processus de réparation du disque endommagé, les données stockées sur ce disque ne peuvent pas être restaurées.

• Calcul :

  • Utilise des processeurs Intel^® Xeon^® Platinum 8163 (Skylake) à 2,5 GHz.

• Stockage :

  • Il s'agit d'une famille d'instances dont toutes les instances sont optimisées pour les E/S.

  • Prend en charge les disques ESSD, les disques ESSD AutoPL, les SSD standards et les disques ultra.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Les performances réseau d'une instance correspondent à son type d'instance. Un type d'instance plus grand offre des performances réseau supérieures.

d2s comprend les types d'instances et les données de métriques répertoriés dans le tableau suivant.

Caractéristiques :

• Cette famille d'instances est équipée de disques durs SATA locaux haute capacité et haut débit, et offre une bande passante maximale de 35 Gbit/s entre les instances.

• Scénarios pris en charge :

  • Scénarios utilisant des services tels que Hadoop MapReduce, HDFS, Hive et HBase

  • Scénarios d'apprentissage automatique tels que le calcul en mémoire Spark et MLlib

  • Scénarios de traitement des données de recherche et des journaux exploitant des solutions comme Elasticsearch

• Calcul :

  • Offre un ratio processeur/mémoire de 1:4, conçu pour les scénarios Big Data.

  • Utilise des processeurs Intel^® Xeon^® E5-2682 v4 (Broadwell) ou Intel^® Xeon^® Platinum 8163 (Skylake) à 2,5 GHz, garantissant des performances de calcul stables.

• Stockage :

  • Il s'agit d'une famille d'instances dont toutes les instances sont optimisées pour les E/S.

  • Prend uniquement en charge les SSD standards et les disques ultra.

• Réseau :

  • Ces instances prennent en charge IPv4 et IPv6. Pour plus d'informations sur la communication IPv6, consultez la rubrique Communication IPv6.

  • Les performances réseau d'une instance correspondent à son type d'instance. Un type d'instance plus grand offre des performances réseau supérieures.

d1ne comprend les types d'instances et les données de métriques répertoriés dans le tableau suivant.