Elastic High Performance Computing:Buat kluster Edisi Standar untuk cloud publik

Untuk informasi selengkapnya mengenai kluster E-HPC, lihat Ikhtisar kluster.

Langkah 1: Buka halaman Buat Kluster

Buka halaman Buat Kluster.

Langkah 2: Konfigurasikan kluster

Di halaman Cluster Configuration, konfigurasikan jaringan, tipe, penjadwal, dan pengaturan lainnya untuk kluster.

• Pengaturan dasar

  Parameter	Deskripsi
  Region	Pilih wilayah tempat kluster berada.
  Network and Zone	Pilih VPC dan vSwitch untuk kluster. Catatan Node dalam kluster menggunakan alamat IP dari vSwitch yang dipilih. Pastikan jumlah alamat IP yang tersedia di vSwitch lebih besar daripada jumlah node yang diperlukan.
  Security Group	Security group mengontrol lalu lintas inbound dan outbound kluster beserta nodenya. Security group yang dibuat otomatis oleh sistem telah memiliki aturan yang ditambahkan untuk memastikan komunikasi antar node dalam kluster. Pilih tipe security group yang akan dibuat secara otomatis sesuai kebutuhan. Untuk informasi mengenai perbedaan antara security group dasar dan tingkat lanjut, lihat Security group dasar dan security group tingkat lanjut.

• Tipe kluster

  Tipe kluster ini terdiri dari satu node bidang kontrol dan beberapa node komputasi. Anda dapat memilih tipe penjadwal untuk penerapan kluster dan mengonfigurasi node bidang kontrol.

  Item Konfigurasi	Deskripsi
  Series	Pilih Standard Edition.
  Deployment mode	Pilih Public Cloud Cluster.
  Cluster Type	Pilih tipe penjadwal untuk kluster. Penjadwal yang umum digunakan dalam skenario HPC didukung, termasuk Slurm dan OpenPBS.
  Control Plane Node	Node bidang kontrol adalah instans ECS yang telah menerapkan penjadwal dan layanan akun domain. Pilih konfigurasi yang sesuai untuk node bidang kontrol berdasarkan skenario bisnis dan ukuran kluster Anda. Billing method Pilih cara pembayaran untuk node bidang kontrol. Untuk informasi selengkapnya tentang penagihan, lihat Penagihan tipe instans. Pay-as-you-go: Metode pasca bayar. Anda ditagih berdasarkan durasi penggunaan aktual. Spot instans tidak didukung. Subscription: Metode prabayar. Anda ditagih secara bulanan, atau tahunan. Instance type Pilih tipe instans yang sesuai untuk node bidang kontrol. Tipe instans yang direkomendasikan untuk node bidang kontrol bervariasi berdasarkan ukuran kluster: Jika jumlah node komputasi kurang dari atau sama dengan 100, kami merekomendasikan tipe instans dengan minimal 16 vCPU dan memori 64 GiB. Jika jumlah node komputasi lebih dari 100 dan kur kurang dari atau sama dengan 500, kami merekomendasikan tipe instans dengan minimal 32 vCPU dan memori 128 GiB. Jika jumlah node komputasi lebih dari 500, kami merekomendasikan tipe instans dengan minimal 64 vCPU dan memori 256 GiB. Image Setelah memilih tipe image, Anda dapat memilih image tersebut. Image yang berbeda sesuai dengan sistem operasi yang berbeda. Sistem menerapkan node kluster berdasarkan image yang Anda pilih. Catatan Image kustom memiliki batasan berikut: Didukung image kustom yang dibuat dari image resmi Alibaba Cloud dan image CentOS yang diimpor. Saat mengimpor image, pilih Run Detection After Import. Jika tidak, image tidak dapat terdeteksi di Konsol E-HPC. Anda tidak dapat menggunakan image kustom yang dibuat dari node kluster E-HPC yang sudah ada. Jika dilakukan, akan terjadi error saat membuat node komputasi untuk kluster. Jangan mengubah konfigurasi sumber yum sistem operasi dalam image kustom. Jika dilakukan, Anda tidak dapat membuat atau memperluas kapasitas kluster. Jalur pemasangan (mount path) dalam image kustom (jalur tempat sistem file NAS dipasang menggunakan perintah mount) tidak boleh mencakup direktori /home dan /opt. Storage Pilih spesifikasi disk sistem untuk node bidang kontrol dan apakah akan menyambungkan disk data. Untuk informasi selengkapnya tentang tipe dan performa disk, lihat Ikhtisar disk cloud. Hyper-threading Hyper-threading CPU diaktifkan secara default. Jika skenario bisnis Anda memerlukan performa yang lebih baik, Anda dapat menonaktifkan hyper-threading CPU. Catatan Setelah kluster dibuat, node bidang kontrol secara otomatis disambungkan ke peran RAM instans AliyunECSInstanceForEHPCRole. Peran ini mendukung fitur inti seperti skalabilitas otomatis. Jangan melepas atau mengganti peran ini di Konsol ECS. Untuk memberikan izin panggilan API tambahan, lihat Peran layanan E-HPC.

• Opsi kustom

  Parameter	Deskripsi
  Scheduler	Pilih perangkat lunak penjadwal yang akan diterapkan berdasarkan tipe kluster yang dipilih dan image yang dikonfigurasi untuk node bidang kontrol.
  Domain account	Pilih layanan akun domain yang akan diterapkan untuk kluster.
  Domain name resolution	Pertahankan nilai default.
  Cluster post-processing script	Skrip ini digunakan untuk memproses data hasil atau melakukan operasi lanjutan lainnya setelah pekerjaan komputasi kluster selesai.
  Maximum number of nodes	Jumlah maksimum node yang dapat dimiliki kluster. Parameter ini dan jumlah maksimum core mengontrol ukuran kluster.
  Maximum number of cores	Jumlah maksimum core yang dapat dimiliki kluster. Parameter ini dan jumlah maksimum node mengontrol ukuran kluster.
  Cluster deletion protection	Tentukan apakah akan mengaktifkan perlindungan penghapusan untuk kluster. Jika Anda mengaktifkan fitur ini, Anda harus menonaktifkannya terlebih dahulu sebelum dapat merilis kluster. Ini mencegah pelepasan kluster secara tidak sengaja.

• Resource group

  Resource group digunakan untuk mengelola resource secara berkelompok. Untuk informasi selengkapnya, lihat Resource group. Secara default, kluster termasuk dalam resource group default. Anda dapat mengubahnya sesuai kebutuhan.

Langkah 3: Konfigurasikan node komputasi dan antrian

Di halaman Compute Nodes and Queues, konfigurasikan antrian.

Antrian digunakan untuk mengelola node komputasi secara berkelompok. Anda dapat menentukan antrian saat menjalankan pekerjaan. Secara default, kluster memiliki satu antrian (antrian comp). Anda dapat mengklik Add More Queues untuk menambahkan lebih banyak antrian. Konfigurasikan informasi berikut untuk satu antrian:

• Pengaturan dasar

  Item Konfigurasi	Deskripsi
  Queue auto scaling	Pilih apakah akan mengaktifkan Auto Scaling. Jika diaktifkan, Anda kemudian dapat memilih apakah akan mengaktifkan Auto Scale-out dan Auto Scale-in sesuai kebutuhan. Setelah skalabilitas otomatis diaktifkan, sistem secara otomatis menambah atau menghapus node komputasi berdasarkan konfigurasi dan beban kerja real-time.
  Number of nodes in queue	Tentukan jumlah node dalam antrian. Jika queue auto scaling dinonaktifkan, konfigurasikan jumlah awal node komputasi untuk antrian tersebut. Jika queue auto scaling diaktifkan, konfigurasikan jumlah minimum dan maksimum node yang diizinkan dalam antrian. Penting Jika Anda mengubah jumlah minimum node menjadi nilai bukan nol, antrian akan mempertahankan jumlah minimum node tersebut selama proses scale-in, bahkan jika node tersebut menganggur. Tetapkan jumlah minimum node dengan hati-hati untuk menghindari pemborosan resource dan biaya tidak perlu akibat node menganggur yang tetap ada setelah scale-in.

• Select queue node configuration

  Jika queue auto scaling diaktifkan, atau jika dinonaktifkan tetapi jumlah awal node bukan 0, Anda harus mengonfigurasi informasi berikut agar sistem dapat membuat node komputasi.

  Item konfigurasi	Deskripsi
  Node interconnect	Pilih metode koneksi jaringan antar node. VPC Network: Node berkomunikasi satu sama lain melalui jaringan VPC. eRDMA Network: Jika node menggunakan tipe instans yang mendukung Elastic RDMA Interface (ERI), node dapat berkomunikasi melalui jaringan elastic Remote Direct Memory Access (eRDMA). Catatan Hanya beberapa tipe instans node yang mendukung ERI. Untuk informasi selengkapnya, lihat Ikhtisar eRDMA dan Aktifkan eRDMA pada instans enterprise-level.
  Use preset node pool	Pilih kelompok node preset yang telah dibuat. Sistem secara otomatis memilih alamat IP dan hostname dari node preset yang belum ditugaskan dalam kelompok tersebut untuk membuat node komputasi. Catatan Menggunakan kelompok node preset untuk scale-out memungkinkan penggunaan ulang cepat resource yang telah dialokasikan sebelumnya. Untuk informasi selengkapnya, lihat Gunakan kelompok node preset dalam kluster.
  vSwitch	Pilih vSwitch tempat node berada. Sistem secara otomatis menetapkan alamat IP ke node dari blok CIDR vSwitch yang tersedia.
  Instance type group	Klik Add Instance Type untuk memilih tipe instans untuk node. Jika skalabilitas otomatis dinonaktifkan, Anda hanya dapat menambahkan satu tipe instans. Jika skalabilitas otomatis diaktifkan, Anda dapat menambahkan beberapa tipe instans.

  Penting

  Anda dapat memilih beberapa vSwitch dan beberapa tipe instans sebagai cadangan untuk menghindari kegagalan pembuatan instans akibat masalah inventaris. Saat membuat node komputasi, sistem mulai dari zona vSwitch pertama dan mencoba membuat instans sesuai urutan tipe instans yang ditentukan hingga jumlah node yang diperlukan terpenuhi. Tipe instans dari instans yang berhasil dibuat dapat bervariasi tergantung pada perubahan inventaris.

• Auto scaling

  Item konfigurasi	Deskripsi
  Scaling policy	Pilih kebijakan penskalaan. Saat ini, hanya Supply-prioritized Policy yang didukung. Artinya, sistem akan mencoba membuat node komputasi yang memenuhi persyaratan spesifikasi secara berurutan dari zona yang sesuai, mengikuti urutan vSwitch yang dikonfigurasi.
  Maximum number of nodes per scaling activity	Jumlah maksimum node yang ditambahkan atau dihapus dalam setiap siklus scale-out atau scale-in. Nilai default adalah 0, yang berarti tidak ada batasan. Jika Anda memiliki persyaratan biaya, Anda dapat menetapkan nilai ini untuk memastikan jumlah node yang diperluas tidak melebihi ekspektasi Anda.
  Hostname prefix	Karakter awal dari hostname node, digunakan untuk menandai dan membedakan node.
  Hostname suffix	Karakter akhir dari hostname node, digunakan untuk menandai dan membedakan node.
  Host RAM role	Sambungkan peran RAM ke node agar dapat memperoleh izin untuk mengakses layanan Alibaba Cloud. Kami menyarankan Anda memilih peran default AliyunECSInstanceForEHPCRole yang dibuat oleh sistem.

Langkah 4: Konfigurasikan penyimpanan file bersama

Di halaman Shared File Storage, lengkapi konfigurasi penyimpanan.

Secara default, direktori /home dan /opt pada node bidang kontrol telah memiliki sistem file yang dipasang sebagai direktori penyimpanan bersama. Jika ingin memasang sistem file untuk direktori lain, klik Add More Storage dan lengkapi konfigurasi terkait. Informasi sistem file berikut perlu dikonfigurasi untuk satu direktori:

Langkah 5: Konfigurasikan komponen perangkat lunak dan layanan

Di halaman Software and Service Components, konfigurasikan komponen perangkat lunak dan layanan.

• Klik Add Software. Di kotak dialog yang muncul, pilih perangkat lunak yang akan diinstal. E-HPC menyediakan perangkat lunak yang umum digunakan di industri HPC. Anda dapat memilih sesuai kebutuhan.

• Klik Add Service Component. Di kotak dialog yang muncul, pilih komponen layanan dan konfigurasikan parameternya.

  Catatan

  Saat ini, hanya komponen Login yang didukung.

  Kluster cloud publik dikonfigurasi dengan komponen Login secara default untuk koneksi jarak jauh ke kluster melalui jaringan publik. Parameter komponen dijelaskan sebagai berikut:

  Konfigurasi	Item Konfigurasi	Deskripsi
  Parameter kustom untuk komponen Login	SSH	Tentukan nomor port, protokol, dan blok CIDR IP yang diizinkan untuk menghubungkan ke kluster melalui Secure Shell (SSH).
  	VNC	Tentukan nomor port, protokol, dan blok CIDR IP yang diizinkan untuk menghubungkan ke kluster melalui VNC.
  	CLIENT	Tentukan nomor port, protokol, dan blok CIDR IP yang diizinkan untuk menghubungkan ke kluster melalui klien.
  Resource penerapan komponen	EIP Instance	Ikat EIP ke instans ECS tempat komponen Login diterapkan agar Anda dapat menghubungkan ke kluster melalui jaringan publik. Anda dapat membuat EIP secara otomatis atau memilih EIP yang sudah ada.
  	ECS Instance	Tentukan tipe instans untuk instans ECS yang digunakan untuk menerapkan komponen Login.

  Catatan

  Setelah node logon dibuat, secara otomatis disambungkan ke peran RAM instans AliyunECSInstanceForEHPCRole. Peran ini memungkinkan fitur seperti Web Portal berfungsi dengan benar. Jangan melepas atau mengganti peran ini di Konsol ECS. Untuk memberikan izin panggilan API tambahan, lihat Peran layanan E-HPC.

Langkah 6: Konfirmasi konfigurasi

Gunakan templat publik untuk membuat kluster

1. Buka halaman Cluster List.

   1. Login ke Konsol E-HPC.

   2. Di bagian kiri bilah navigasi atas, pilih wilayah.

   3. Di panel navigasi sebelah kiri, klik Cluster.

2. Di halaman Cluster List, klik Cluster Template.

3. Di kotak dialog yang muncul, pilih templat yang akan digunakan dan klik Create Cluster untuk templat tersebut.

   

4. Konfirmasi informasi konfigurasi dan masukkan nama kluster serta detail lainnya.

   • Di bagian Configuration Summary, konfigurasi default yang disediakan oleh templat ditampilkan. Jika ingin mengubah konfigurasi, klik Edit dan ubah item konfigurasi yang sesuai.

   • Di bagian Management Settings, lengkapi konfigurasi sesuai petunjuk di halaman.

5. Baca ketentuan layanan, konfirmasi informasi biaya, lalu klik Create Cluster.

Gunakan templat kustom untuk membuat kluster

1. Tulis templat kustom secara lokal.

   Topik ini menggunakan templat berikut sebagai contoh. Ubah parameter sesuai kebutuhan.

   ### Basic cluster settings
   Region: cn-hangzhou                            # The region of the cluster. Optional. If left empty, the console automatically fills in the current region.
   ClusterName: "TestClusterName"                 # The name of the cluster. Optional. If left empty, a name is automatically generated based on the cluster type, such as SLURM-Region-DATESTAMP.
   ClusterDescription: "XXXXX"                    # The description of the cluster. Optional.
   ClusterCategory: "Standard"                    # The cluster edition. Required. Valid values: ['Standard', 'Serverless', 'SuperComputing'].
   ClusterVpcId: ""                               # The VPC ID of the cluster. Optional. If left empty, the console automatically selects a valid value in the region.
   ClusterVSwitchId: ""                           # The vSwitch ID of the cluster's head node. Optional. If left empty, the console automatically selects a valid value for the VPC ID.
   IsEnterpriseSecurityGroup: true                # Specifies whether to use an advanced security group. This parameter takes effect only when SecurityGroupId is empty. Optional. Default value: false, which indicates that a basic security group is used.
   SecurityGroupId: sg-bp1gje9ip78z7v6zy203       # If left empty, a security group is automatically created. Optional. Default value: empty, which indicates that a security group is automatically created.
   ClusterCustomConfiguration:                    # The custom post-installation script for the cluster. Optional.
     Script: oss://                               # The OSS path of the script file.
     Args: arg1 arg2                              # The parameters to pass to the script.
   MaxCount: 1000                                 # The maximum number of nodes in the cluster. Optional. Default value: 1000.
   MaxCoreCount: 100000                           # The maximum number of vCPUs in the cluster. Optional. Default value: 10000.
   DeletionProtection: true                       # Deletion protection for the cluster. Optional. Default value: true, which enables deletion protection.
   ResourceGroupId: rg-acfm2xumdifd3ri            # The resource group of the cluster. Optional. If left empty, the console automatically selects a valid value under the account.
   Tags:                                          # The tags of the cluster. Optional.
     - Key: String
       Value: String
   
   ### Cluster control service settings
   Manager:                                     # Head node module
     Scheduler:                                 # Scheduler service module
       Type: "SLURM"                            # Optional. The scheduler type. Default value: SLURM.
       Version: "22"                            # Optional. The scheduler version. Default value: 22.
     DirectoryService:                          # Account service module
       Type: "NIS"                              # Optional. The account module type. Default value: NIS.
       Version: "x.x.x"                         # Optional. The domain account version.
     DNS:                                       # DNS service module
       Type: "NIS"                              # Optional. The DNS service type. Default value: NIS.
       Version: "x.x.x"                         # Optional. The DNS service version.
     ManagerNode:                               # Head node instance
       InstanceType: "ecs.c7.xlarge"            # The instance type. Optional. Required for unmanaged clusters.
       ImageId: "m-xxxxxx"                      # The instance image. Optional. Required for unmanaged clusters.
       InstanceChargeType: "PostPaid"           # The billing method for the instance. Optional. The head node supports only PostPaid and Subscription. Default value: PostPaid.
       PeriodUnit: "Month"                      # The unit of the subscription duration. Optional. Required only if the billing method is Subscription.
       Period: 1                                # The subscription duration. Optional. Required only if the billing method is Subscription.
       AutoRenew: false                         # Specifies whether to enable auto-renewal. Optional. Required only if the billing method is Subscription.
       AutoRenewPeriod: 1                       # The auto-renewal duration. Optional. Required only if the billing method is Subscription.
       SpotStrategy: "SpotWithPriceGo"          # The bidding policy for the instance. Optional. The spot instance type. This parameter is invalid for the head node.
       SpotPriceLimit: 0.5                      # The maximum price for the spot instance. This parameter is invalid for the head node.
       Duration: 1                              # The retention period of the spot instance. This parameter is invalid for the head node.
       SystemDisk:                              # Optional. System disk parameters.
         Category: "cloud_essd"                 # Optional. Default value: cloud_essd.
         Size: 40                               # Optional. Default value: 40.
         Level: "PL0"                           # Optional. Default value: PL0.
       DataDisks:                               # Optional. Data disk parameters.
         - Category: "cloud_essd"               # Optional. Default value: cloud_essd.
           Size: 40                             # Optional. Default value: 40.
           Level: "PL0"                         # Optional. Default value: PL0.
           DeleteWithInstance: false            # Optional. Default value: false.
       EnableHT: false                          # Optional. Default value: true.
   
   ### Cluster compute queue and node configurations                      # Optional. Queue configurations.
   Queues:                                      # 
     - Name: workq                              # Optional. Queue 1.
       EnableScaleOut: false                    # Optional. Specifies whether to enable scale-out. Default value: false.
       EnableScaleIn: false                     # Optional. Specifies whether to enable scale-in. Default value: false.
       MinCount: 0                              # Optional. The minimum number of nodes in the queue.
       MaxCount: 500                            # Optional. The maximum number of nodes in the queue.
       InitialCount: 0                          # Optional. The initial number of nodes in the queue.
       InterConnect: erdma                      # Optional. The network interconnect type for nodes in the queue. VPC and eRDMA are supported.
       VSwitchIds:                              # Optional. The list of vSwitches for the queue.
         - "vsw-xxxxxxx"
         - "vsw-xxxxxxx"        
       ComputeNodes:                            # Optional. The configurations of compute nodes in the queue.
         - InstanceType: "ecs.c7.xlarge"            # The instance type. Optional. Required for unmanaged clusters.
           ImageId: "m-xxxxxx"                      # The instance image. Optional. Required for unmanaged clusters.
           InstanceChargeType: "PostPaid"           # The billing method for the instance. Optional. The head node supports only PostPaid and Subscription. Default value: PostPaid.
           PeriodUnit: "Month"                      # The unit of the subscription duration. Optional. Required only if the billing method is Subscription.
           Period: 1                                # The subscription duration. Optional. Required only if the billing method is Subscription.
           AutoRenew: false                         # Specifies whether to enable auto-renewal. Optional. Required only if the billing method is Subscription.
           AutoRenewPeriod: 1                       # The auto-renewal duration. Optional. Required only if the billing method is Subscription.
           SpotStrategy: "SpotWithPriceGo"          # The bidding policy for the instance. Optional. The spot instance type. This parameter is invalid for the head node.
           SpotPriceLimit: 0.5                      # The maximum price for the spot instance. This parameter is invalid for the head node.
           Duration: 1                              # The retention period of the spot instance. This parameter is invalid for the head node.
           SystemDisk:                              # Optional. System disk parameters.
             Category: "cloud_essd"                 # Optional. Default value: cloud_essd.
             Size: 40                               # Optional. Default value: 40.
             Level: "PL0"                           # Optional. Default value: PL0.
           DataDisks:                               # Optional. Data disk parameters.
             - Category: "cloud_essd"               # Optional. Default value: cloud_essd.
               Size: 40                             # Optional. Default value: 40.
               Level: "PL0"                         # Optional. Default value: PL0.
               DeleteWithInstance: false            # Optional. Default value: false.
           EnableHT: false                          # Optional. Default value: true.   
       AllocationStrategy: "PriorityInstanceType"   # Optional. The automatic scaling policy. Can be supply-prioritized or cost-prioritized.
       RamRole: "xxxxxx"                            # Optional. The name of the RAM role used by the nodes.
       HostNamePrefix: "xxxxx"                        # Optional. The hostname prefix.
       HostNameSuffix: "xxxxx"                        # Optional. The hostname suffix.
       KeepAliveNodes:                                # Optional. The list of exception nodes.
         - compute000
         - compute001
         - compute002
   ### Cluster shared storage
   SharedStorage:
     - MountDirectory: "/home"                    # Optional. The mount directory in the cluster.
       FileSystemId: "xxxx"                       # Optional. The file system ID of the shared storage.
       NASDirectory: "/"                          # Optional. The directory of the shared file system.
       MountTargetDomain: "xxxxxx"                # Optional. The mount target.
       ProtocolType: "NFS"                        # Optional. The protocol.
       MountOptions: "xxxxx"                      # Optional. The mount options.
   ### Cluster software
   AdditionalPackages:                            # Optional. The list of software for the cluster.
     - Name: "LAMMPS"                             # Software name
       Version: "xxxx"                            # Software version
     - Name: "Gromacs"
       Version: "xxx"
   ### Cluster components
   Addons:
     - Name: "LoginNode"                          #  Component name    
       Version: "xxxxxx"                          #  Component version
       ServicesSpec: "JSON String"                #  Custom parameters for the component service.
       ResourcesSpec: "JSON String"               #  Custom resources for the component service.

2. Buka halaman Cluster List.

   1. Login ke Konsol E-HPC.

   2. Di bagian kiri bilah navigasi atas, pilih wilayah.

   3. Di panel navigasi sebelah kiri, klik Cluster.

3. Di halaman Cluster List, klik Cluster Template.

4. Di kotak dialog yang muncul, klik Import Local Template untuk mengunggah file templat yang telah Anda edit secara lokal.

5. Di kotak dialog Cluster Template Edit yang muncul, konfirmasi bahwa informasi templat kustom sudah benar, lalu klik Confirm Template and Create.

6. Di halaman Create Cluster, konfirmasi bahwa informasi konfigurasi sudah benar, lalu klik Create Cluster.