Menerapkan Penyeimbangan Beban dan Ketersediaan Tinggi untuk Node SSH - DataWorks

Node SSH DataWorks dapat memanfaatkan fitur penyeimbangan beban cerdas yang disediakan oleh Network Load Balancer (NLB) Alibaba Cloud untuk mencegah titik kegagalan tunggal (SPOF) serta menyederhanakan konfigurasi tugas dan manajemen O&M. Topik ini menjelaskan cara mengimplementasikan dan menggunakan fitur penyeimbangan beban cerdas di DataWorks guna memastikan pelaksanaan tugas SSH yang stabil.

Informasi latar belakang

Dalam banyak kasus, sumber data SSH dikonfigurasikan dengan alamat host tetap dari Instance ECS di DataWorks. Jika terjadi pengecualian seperti kerusakan atau kehabisan sumber daya pada Instance ECS, node SSH yang berjalan di Instance tersebut mungkin gagal dijalankan. Untuk menyelesaikan masalah ini, Anda dapat menambahkan beberapa Instance ECS ke dalam grup server NLB. NLB kemudian mendistribusikan tugas ke Instance ECS yang tersedia berdasarkan kebijakan algoritma internalnya dan terus memantau status kesehatan Instance tersebut. Jika sebuah Instance ECS bermasalah, NLB secara otomatis mentransfer permintaan tugas ke Instance lain yang berfungsi normal untuk mencegah gangguan tugas, memastikan pelaksanaan tugas yang berkelanjutan dan stabil.

Keterangan gambar sebelumnya:

Penyeimbangan Beban Tidak Diaktifkan: Tugas pada node SSH DataWorks hanya dapat dijalankan pada Instance ECS yang saat ini terhubung. Jika Instance ECS mengalami masalah atau kehabisan sumber daya, tugas akan tertunda atau terganggu.
Penyeimbangan Beban Diaktifkan: Tugas pada node SSH DataWorks didistribusikan secara otomatis ke Instance ECS tertentu dalam grup server berdasarkan kebijakan algoritma yang disediakan oleh NLB. Selain itu, NLB melakukan pemeriksaan kesehatan pada grup server. Ketika Instance ECS yang bermasalah terdeteksi, NLB mendistribusikan tugas yang berjalan pada Instance ECS tersebut ke Instance ECS lain yang berfungsi normal untuk memastikan kontinuitas dan ketersediaan tinggi selama pelaksanaan tugas.

Solusi ini mengatasi masalah kehabisan sumber daya dan SPOF, serta meningkatkan efisiensi dan keandalan selama pelaksanaan tugas.

Prasyarat

Pengguna RAM yang ingin digunakan telah ditambahkan ke ruang kerja Anda.
Jika Anda ingin menggunakan pengguna RAM untuk mengembangkan tugas, tambahkan pengguna RAM sebagai anggota ruang kerja dan tetapkan peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan, jadi berhati-hatilah saat menetapkannya. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan menetapkan peran, lihat Tambahkan Anggota Ruang Kerja dan Tetapkan Peran kepada Mereka.
Grup sumber daya tanpa server telah terkait dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat topik-topik dalam direktori Gunakan Grup Sumber Daya Tanpa Server.

Batasan

Kode yang dijalankan dalam node SSH tidak boleh melebihi ukuran 128 KB.
DataWorks resource groups, Instance ECS, dan Instance NLB harus berada dalam virtual private cloud (VPC) yang sama di wilayah yang sama.

Persiapan lingkungan

Untuk menerapkan penyeimbangan beban dan ketersediaan tinggi untuk node SSH, Anda harus membuat setidaknya dua Instance ECS dan mengonfigurasi data sampel yang berbeda untuk verifikasi.

Buat Instance ECS

Ikuti langkah-langkah berikut untuk membuat Instance ECS yang diperlukan:

Pilih spesifikasi.

Buka halaman pembelian Instance ECS. Klik tab Custom Launch. Pada tab Custom Launch, konfigurasikan parameter-parameter yang dijelaskan dalam tabel berikut. Untuk informasi lebih lanjut tentang pengaturan parameter, lihat Buat Instance pada Tab Peluncuran Kustom.

Parameter	Deskripsi
Region	Pilih wilayah tempat ruang kerja DataWorks Anda berada.
Network and Zone	Pilih VPC dan vSwitch yang digunakan saat Anda membuat grup sumber daya tanpa server.
Security Group	Pilih grup keamanan yang terkait dengan vSwitch dari grup sumber daya tanpa server.
Parameter Lainnya	Konfigurasikan parameter lainnya berdasarkan kebutuhan bisnis Anda.

Tentukan jumlah Instance ECS yang ingin dibuat.
Di halaman pembelian Instance ECS, temukan parameter Quantity di sebelah kanan dan masukkan jumlah Instance ECS yang diperlukan. Dalam contoh ini, dua Instance ECS dibuat.
Klik Create Order untuk menyelesaikan pembuatan sesuai petunjuk.

Siapkan data sampel

Temukan Instance ECS yang telah dibuat dan tentukan data sampel yang berbeda pada Instance ECS 1 dan Instance ECS 2 masing-masing untuk perbandingan hasil selanjutnya.

Akses Instance ECS.
1. Masuk ke Konsol ECS. Pilih wilayah tempat Instance ECS yang dibuat berada, dan temukan Instance ECS yang dibuat di halaman Instance.
2. Klik Connect di kolom Actions setiap Instance ECS. Di kotak dialog Remote connection, klik Sign in now.
3. Di kotak dialog Instance Login, konfigurasikan informasi autentikasi untuk menyelesaikan login.
Buat data sampel.
- Jalankan perintah berikut pada Instance ECS 1:
```
echo "I am the first server" > /tmp/a.txt
```
- Jalankan perintah berikut pada Instance ECS 2:
```
echo "I am the second server" > /tmp/a.txt
```

Lakukan konfigurasi di NLB

Lakukan operasi berikut untuk membuat Instance NLB, konfigurasikan grup server backend tempat Instance ECS sebelumnya akan ditambahkan, dan konfigurasikan listener untuk menerapkan penyeimbangan beban lalu lintas.

Buat Instance NLB

Ikuti langkah-langkah berikut untuk membuat Instance NLB. Untuk informasi lebih lanjut, lihat Prasyarat untuk Membuat Instance NLB dan Buat dan Kelola Instance NLB.

Buka halaman pembelian Instance NLB.
Masuk ke Konsol NLB. Di bilah navigasi atas, pilih wilayah tempat Anda ingin membuat Instance NLB. Di panel navigasi sisi kiri, klik Instances. Di halaman Instances, klik Create NLB. Halaman Cloud Service Buy Page muncul.
Penting
Pilih wilayah tempat ruang kerja DataWorks Anda berada untuk mencegah pembuatan instance berulang karena konfigurasi yang salah.

Pilih spesifikasi.

Konfigurasikan parameter-parameter yang dijelaskan dalam tabel berikut.

Parameter		Deskripsi
Jaringan	Tipe Jaringan	Pilih Internal-facing.
	VPC	Pilih VPC tempat grup sumber daya tanpa server Anda diterapkan.
	Zona	Pilih zona tempat vSwitch dari grup sumber daya tanpa server Anda berada.
	Versi IP	Pilih IPv4.
Pengaturan Manajemen	Nama Instance	Masukkan nama instance kustom.
Pengaturan Manajemen	Grup Sumber Daya	Pilih grup sumber daya default yang disediakan oleh sistem.

Konfirmasi informasi dan selesaikan pembuatan.
Setelah semua parameter dikonfigurasikan, klik Create Now. Di halaman Confirm Order, klik Activate Now.

Buat grup server backend

Setelah Instance NLB memasuki status Aktif, Anda dapat melakukan langkah-langkah berikut untuk membuat grup server untuk Instance NLB dan menambahkan server backend ke grup server. Untuk informasi lebih lanjut, lihat Buat dan Kelola Grup Server.

Buka halaman detail instance.
1. Masuk ke Konsol NLB. Di bilah navigasi atas, pilih wilayah tempat Instance NLB yang dibuat berada. Kemudian, temukan instance di halaman Instances.
2. Klik ID instance di kolom Instance ID/Nama untuk membuka halaman detail instance.
Buat grup server backend.
1. Di bagian Quick Start with NLB, klik Create Server Group.
2. Di kotak dialog Buat Grup Server, atur Server Group Name ke ECS_NLB dan klik Create.
Tambahkan server backend ke grup server.
1. Di kotak dialog yang menunjukkan bahwa server group is successfully created, klik Add Backend Server.
2. Di tab Backend Servers, klik Add Backend Server. Panel Add Backend Server muncul.
3. Pilih dua Instance ECS yang Anda buat.
4. Klik Next untuk melanjutkan ke langkah Ports/Weights.
Konfigurasikan port dan bobot untuk setiap Instance ECS.
1. Atur Port ke 22.
2. Klik OK.

Tunggu hingga penambahan selesai.

Konfigurasikan listener

Setelah Instance ECS ditambahkan ke grup server backend Instance NLB sebagai server backend, Anda dapat melakukan langkah-langkah berikut untuk mengonfigurasi listener untuk Instance NLB. Untuk informasi lebih lanjut, lihat Tambah Listener TCP.

Buka halaman detail Instance NLB.
1. Masuk ke Konsol NLB. Di bilah navigasi atas, pilih wilayah tempat Instance NLB Anda berada. Kemudian, temukan instance di halaman Instances.
2. Klik ID instance di kolom Instance ID/Nama untuk membuka halaman detail instance.
Konfigurasikan listener.
1. Di bagian Quick Start with NLB, klik Create Listener. Langkah Konfigurasi Listener di halaman Configure Server Load Balancer muncul.
2. Atur Protokol Listener ke TCP dan Port Listener ke 22.
3. Klik Next.
Pilih grup server.
1. Di langkah Select Server Group, pilih Server Type dari daftar drop-down Grup Server dan pilih grup server ECS_NLB yang Anda buat di bagian Buat Grup Server Backend dalam topik ini.
2. Klik Next.
Kirimkan konfigurasi untuk ditinjau.
Di langkah Configuration Review, pastikan bahwa Instance ECS dan port listener yang Anda tentukan benar, dan klik Submit untuk menyelesaikan konfigurasi.

Konfigurasikan sumber data SSH

Setelah konfigurasi sebelumnya selesai, Anda dapat melakukan langkah-langkah berikut untuk mengaitkan Instance NLB dengan DataWorks sebagai sumber data SSH. Untuk informasi lebih lanjut, lihat Tambah Sumber Data SSH.

Buka halaman SettingCenter.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih More > Management Center. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Management Center.
Di panel navigasi sisi kiri, klik Data Sources.
Di tab Sumber Data halaman Sumber Data, klik Add Data Source.

Di kotak dialog Add Data Source, klik SSH. Di halaman Add SSH Data Source, konfigurasikan parameter. Tabel berikut menjelaskan parameter.

Parameter	Deskripsi
Nama Sumber Data	Tentukan nama kustom. Contoh: `SSH_DB`.
Mode Konfigurasi	Nilai parameter ini tetap sebagai Connection String Mode.
Metode Autentikasi	Kami merekomendasikan Anda memilih DataWorks SSH Public Key Authentication.
Alamat Host	Gunakan nama domain Instance NLB sebagai alamat host. Untuk mendapatkan nama domain Instance NLB, lakukan langkah-langkah berikut: Masuk ke Konsol NLB. Di bilah navigasi atas, pilih wilayah tempat Instance NLB berada. Kemudian, temukan Instance NLB di halaman Instances. Klik ID instance di kolom Instance ID/Nama untuk pergi ke halaman detail instance. Di bagian Informasi Dasar tab Detail Instance, klik Salin di sebelah kanan Domain Name.
Host Port	Atur parameter ini ke `22`.
Nama Pengguna	Atur parameter ini ke `root`.
Kunci Publik	Klik Generate Key Pair. Sistem akan secara acak menghasilkan kunci publik berdasarkan nama pengguna yang Anda tentukan. Penting Sebelum Anda melakukan uji konektivitas jaringan, konfigurasikan kunci publik dalam pasangan kunci ke file `.ssh/authorized_keys` dari masing-masing `dua` Instance ECS yang dibuat untuk mencegah kegagalan koneksi jaringan.

Uji konektivitas jaringan antara sumber data dan grup sumber daya.
Di bagian Connection Configuration, temukan grup sumber daya tanpa server yang terkait dengan ruang kerja Anda, dan klik Test Network Connectivity di kolom Connection Status.

Jalankan tugas pada node SSH

Anda dapat melakukan operasi berikut untuk membuat dan mengembangkan node SSH serta melihat hasil pelaksanaan tugas untuk memverifikasi fungsionalitas.

Buat node SSH

Ikuti langkah-langkah berikut untuk membuat node SSH. Untuk informasi lebih lanjut, lihat Pengembangan Node.

Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.
Di panel navigasi sisi kiri halaman Data Studio, klik ikon . Klik ikon di sebelah kanan bagian Workspace Directories di panel DATA STUDIO dan pilih Create Node > General > SSH.
Di kotak dialog Create Node, konfigurasikan parameter Name.
Klik OK. Tab konfigurasi node SSH muncul.

Kembangkan node SSH

Di tab konfigurasi node SSH, Anda dapat menambahkan kode sampel berikut dan mengonfigurasi lingkungan eksekusi kode.

Tulis kode.
Masukkan perintah sampel berikut di editor kode tab konfigurasi node SSH:
```
cat /tmp/a.txt
```
Konfigurasikan lingkungan eksekusi kode.
- Sumber Data: Pilih sumber data SSH yang telah ditambahkan SSH_DB dari daftar drop-down Select DataSource di bagian atas tab konfigurasi node SSH.
- Grup Sumber Daya: Klik Debugging Configurations di panel navigasi sisi kanan tab konfigurasi node SSH. Di tab Konfigurasi Debugging, pilih grup sumber daya tanpa server yang Anda buat dari daftar drop-down Resource Group.
Klik Save di bilah alat atas tab konfigurasi node untuk menyimpan node.

Lihat hasil pelaksanaan

Anda dapat menjalankan kode node SSH beberapa kali dan membandingkan hasil pelaksanaan untuk memeriksa apakah konfigurasi berlaku.

Jalankan tugas pada node SSH.
Klik Run di bilah alat atas tab konfigurasi node untuk menjalankan tugas pada node. Kemudian, jalankan ulang tugas setelah hasil pelaksanaan dikembalikan.
Lihat hasil pelaksanaan.
Catatan
Setelah Anda mengirimkan tugas untuk dijalankan, NLB mendistribusikan tugas secara acak ke Instance ECS berdasarkan algoritma logika. Dalam hal ini, Anda mungkin memperoleh hasil yang berbeda setelah menjalankan tugas beberapa kali. Ini karena tugas mungkin didistribusikan ke Instance ECS yang berbeda setiap kali Anda menjalankan tugas.
Hasil Eksekusi 1
Hasil Eksekusi 2

Lampiran: Prinsip Implementasi

Gambar berikut menunjukkan cara menggunakan Alibaba Cloud NLB di DataWorks untuk memastikan pelaksanaan tugas SSH yang stabil dalam skenario konkurensi tinggi.

Setelah Anda menambahkan beberapa Instance ECS ke grup server Instance NLB, dan menentukan nama domain Instance NLB sebagai alamat host sumber data SSH di DataWorks, saat Anda mengonfigurasikan node SSH, permintaan tugas pada node SSH dipantau oleh listener yang dikonfigurasikan untuk Instance NLB berdasarkan sumber data dan tugas yang sesuai didistribusikan ke Instance ECS yang sehat untuk dijalankan berdasarkan kebijakan penyeimbangan beban. Hasil pelaksanaan dikembalikan secara transparan oleh Instance NLB dan ditampilkan secara real-time di log pelaksanaan node SSH.