Cara membuat, menerapkan, dan menjalankan agen - Data Online Migration

Topik ini menjelaskan cara membuat, menerapkan, menskalakan, dan meningkatkan agen.

Buat agen

Agen mendukung dua jenis jaringan: Internet dan virtual private cloud (VPC) melalui jalur sewa atau VPN. Anda dapat memilih jenis jaringan sesuai kebutuhan. Saat membuat agen, Anda harus mengaitkannya dengan saluran yang telah ada. Pastikan Anda telah membuat saluran terlebih dahulu. Untuk informasi selengkapnya tentang cara membuat saluran, lihat Manajemen saluran.

Penting

Anda harus membuat saluran dan agen untuk skenario seperti migrasi data ke cloud melalui jalur sewa atau VPN, migrasi data dari penyimpanan mandiri ke cloud, atau menggunakan LocalFs sebagai sumber.
Agen harus diterapkan pada mesin yang menjalankan sistem operasi Linux 64-bit dengan versi kernel 2.6 atau lebih baru. Siapkan mesin yang memenuhi persyaratan ini terlebih dahulu.
Anda dapat membuat maksimal 100 agen di setiap wilayah. Rencanakan penggunaan sumber daya Anda sesuai kebutuhan.
Beli instance ECS generasi ke-7 atau yang lebih baru, seperti ecs.c7.xlarge.

Masuk ke Konsol Migrasi Data Online.
Pada panel navigasi sebelah kiri, pilih Agent Management.
Pada halaman Agent Management, klik Create Agent.

Pada kotak dialog Create Agent, konfigurasikan parameter berikut lalu klik OK.

Parameter	Wajib	Deskripsi
Name	Ya	Nama agen. Nama tidak boleh kosong dan harus terdiri dari 3 hingga 63 karakter. Dapat berisi huruf kecil bahasa Inggris, angka, tanda hubung (-), dan garis bawah (_). Nama bersifat case-sensitive. Nama harus dalam encoding UTF-8 dan tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Network Type	Ya	Metode koneksi jaringan untuk agen. Terdiri dari dua jenis berikut: VPC (Recommended): Agen terhubung ke layanan Migrasi Data Online melalui VPC. Metode ini mengharuskan mesin tempat agen diterapkan dapat mengakses titik akhir internal layanan Migrasi Data Online di wilayah yang sama. Misalnya, jika Anda menggunakan layanan migrasi di wilayah Tiongkok (Beijing), mesin agen harus dapat mengakses titik akhir internal {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Gunakan instance ECS di wilayah yang sama dengan Konsol Migrasi Data Online untuk menerapkan agen. Internet: Agen terhubung ke layanan Migrasi Data Online melalui Internet. Metode ini mengharuskan mesin tempat agen diterapkan dapat mengakses titik akhir publik layanan Migrasi Data Online di wilayah yang sesuai. Misalnya, jika Anda menggunakan layanan migrasi di wilayah Tiongkok (Beijing), mesin agen harus dapat mengakses titik akhir publik {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com. Catatan TunnelId menunjukkan ID saluran. Anda dapat menggunakan perintah ping untuk menguji konektivitas jaringan antara agen dan layanan migrasi.
Deployment Method	Ya	Metode penerapan agen. Saat ini hanya metode penerapan proses standalone yang didukung.
Channel	Ya	Saluran tempat agen tersebut berada. Satu agen hanya dapat dikaitkan dengan satu saluran. Bandwidth agen dipengaruhi oleh bandwidth total saluran tersebut. Sebagai contoh, saluran bernama tunnel-1 memiliki bandwidth maksimum 10 Gbit/s. tunnel-1 dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika Anda mengatur bandwidth agent-1 menjadi 3 Gbit/s, hanya tersisa bandwidth 7 Gbit/s untuk agent-2 dan agent-3. Rencanakan dan alokasikan bandwidth secara hati-hati.

Buat skrip penerapan untuk agen

Prasyarat

Mesin harus memiliki minimal 4 core CPU, memori 8 GB, dan ruang log tersedia 4 GB.
Buat Pengguna Resource Access Management (RAM) baru untuk menerapkan agen. Berikan izin AliyunOSSImportReadOnlyAccess kepada pengguna RAM tersebut dan atur Authorization Scope menjadi Entire Alibaba Cloud Account.
Catatan
AccessKey pengguna RAM dapat digunakan untuk menerapkan beberapa agen secara bersamaan tanpa konflik.

Prosedur

Pada halaman Agent Management, klik nama agen untuk membuka halaman detailnya.

Klik Deploy And Run. Pada kotak dialog Deploy And Run, konfigurasikan parameter berikut di bagian Key.

Parameter	Wajib	Deskripsi
AccessKey ID	Ya	Digunakan untuk otentikasi identitas saat agen membuat saluran transmisi dengan layanan Migrasi Data Online. Diperlukan izin mgw:VerifyAgentTunnel. Catatan Ikuti prinsip hak istimewa minimal. Berikan hanya kebijakan kustom yang mencakup izin mgw:VerifyAgentTunnel. Anda juga dapat memberikan salah satu kebijakan sistem berikut sesuai kebutuhan: AliyunOSSImportReadOnlyAccess (izin read-only untuk mengelola Migrasi Data Online) AliyunOSSImportFullAccess (izin manajemen penuh)
AccessKey Secret	Ya

Klik ikon di area Advanced Settings untuk mengonfigurasi parameter berikut.

Parameter	Wajib	Deskripsi
Number Of CPU Cores	Tidak	Jumlah core CPU yang dapat digunakan oleh agen. Jika Anda tidak mengatur parameter ini, semua core CPU mesin akan digunakan secara default. Jika Anda mengatur parameter ini, evaluasi nilainya secara hati-hati berdasarkan prompt di konsol.
Maximum Memory (GB)	Tidak	Memori maksimum yang dapat digunakan oleh agen. Jika Anda tidak mengatur parameter ini, seluruh memori mesin akan digunakan secara default. Jika Anda mengatur parameter ini, evaluasi nilainya secara hati-hati berdasarkan prompt di konsol.
Log Space (GB)	Tidak	Ruang disk maksimum yang dapat digunakan oleh log agen. Ketika nilai maksimum tercapai, log akan dibuang berdasarkan usianya. Jika Anda tidak mengatur parameter ini, log akan menggunakan ruang 4 GB secara default. Jika Anda mengatur parameter ini, evaluasi nilainya berdasarkan jumlah file yang akan dimigrasikan. Lihat petunjuk di konsol. Migrasi satu juta file menghasilkan sekitar 4 GB log disk.
Maximum Available Bandwidth	Tidak	Bandwidth maksimum agen. Nilai ini dipengaruhi oleh bandwidth total saluran yang terkait dan tidak boleh melebihi bandwidth maksimum yang ditetapkan untuk saluran tersebut. Contohnya: Jika bandwidth maksimum saluran diatur menjadi 5 Gbit/s, bandwidth maksimum yang tersedia untuk satu agen tidak boleh melebihi 5 Gbit/s. Jika tidak ada bandwidth maksimum yang ditetapkan untuk saluran, bandwidth maksimum yang tersedia untuk agen tidak boleh melebihi 100 Gbit/s. Catatan Satu agen hanya dapat dikaitkan dengan satu saluran. Bandwidth agen dipengaruhi oleh bandwidth total saluran tersebut. Sebagai contoh, saluran bernama tunnel-1 memiliki bandwidth maksimum 10 Gbit/s. tunnel-1 dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika Anda mengatur bandwidth agent-1 menjadi 3 Gbit/s, hanya tersisa bandwidth 7 Gbit/s untuk agent-2 dan agent-3. Rencanakan dan alokasikan bandwidth secara hati-hati.

Klik Deploy Agent Using Command.

Terapkan agen

Penting

Perintah penerapan agen yang dihasilkan secara otomatis berisi informasi unik, seperti ID agen, dan hanya dapat digunakan untuk menerapkan agen tersebut. Untuk menerapkan beberapa agen, Anda harus membuat perintah penerapan terpisah untuk setiap agen dan menjalankannya di mesin yang berbeda. Jika tidak, penerapan mungkin gagal atau status agen menjadi abnormal.
Jika tipe data untuk migrasi adalah LocalFS (termasuk migrasi LocalFS ke OSS, OSS ke LocalFS, dan LocalFS ke LocalFS), agen harus diterapkan dan dijalankan sebagai pengguna root. Jika tidak, migrasi file mungkin gagal karena panggilan sistem seperti chown dan chmod.

Terapkan agen secara online

Jika Anda mengatur Network Type menjadi Internet untuk agen, Anda harus menerapkan agen secara online.

Lihat konten di kotak dialog Deploy And Run The Agent Using A Command. Masuk ke mesin tempat Anda ingin menginstal agen. Anda dapat menggunakan alat koneksi yang disediakan oleh Alibaba Cloud, seperti Workbench atau VNC, atau menggunakan alat klien pihak ketiga.
Pada mesin penerapan, pastikan perintah curl telah terinstal dan tersedia. Kemudian, jalankan perintah curl -I https://www.aliyun.com untuk memeriksa konektivitas Internet.

Salin perintah untuk menjalankan dan menerapkan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan. Jangan menjalankan perintah di direktori yang dipasang dari jarak jauh seperti direktori NAS. Jika perintah berhasil dijalankan, agen akan diterapkan. Format perintah dan deskripsi parameternya sebagai berikut. Perintah dan parameter aktual di konsol mungkin berbeda karena pembaruan.

wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>

Parameter	Deskripsi
TunnelID	ID saluran.
UID	ID akun Alibaba Cloud.
AK	ID AccessKey.
SK	Rahasia AccessKey.
AgentName	Nama agen.
AgentID	ID agen.
Endpoint	Titik akhir. `public` menunjukkan Internet.
AgentDeployMethod	Metode penerapan agen. `default` menunjukkan metode proses standalone.
CpuUsage	Menentukan jumlah core CPU. Parameter ini hanya ditampilkan jika nilai diatur.
MemoryUsage	Menentukan memori yang digunakan (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
LogMemoryUsage	Menentukan ruang log (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
MaxBandwidth	Menentukan bandwidth maksimum yang tersedia (dalam MB). Parameter ini hanya ditampilkan jika nilai diatur.

Setelah agen diterapkan, Anda dapat membuat alamat data dan mengaitkannya dengan agen. Tugas migrasi yang dibuat menggunakan alamat data ini akan dijalankan pada mesin agen.

Terapkan agen secara offline

Jika Anda mengatur Network Type menjadi Leased Line/VPN (VPC) untuk agen, Anda harus menerapkan agen secara offline.

Lihat konten di kotak dialog Deploy And Run The Agent Using A Command. Masuk ke mesin tempat Anda ingin menginstal agen. Anda dapat menggunakan alat koneksi yang disediakan oleh Alibaba Cloud, seperti Workbench atau VNC, atau menggunakan alat klien pihak ketiga.
Unduh paket instalasi agen aliyun_import_agent_offline_bundle.tar.gz dan unggah ke mesin penerapan.
Pada mesin penerapan, buka direktori tempat paket instalasi agen disimpan dan jalankan perintah tar -zxvf aliyun_import_agent_offline_bundle.tar.gz untuk mengekstrak paket tersebut.

Setelah paket diekstrak, buka direktori aliyun_import_agent_offline_bundle. Salin perintah untuk menjalankan dan menerapkan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan. Jangan menjalankan perintah di direktori yang dipasang dari jarak jauh seperti direktori NAS. Jika perintah berhasil dijalankan, agen akan diterapkan. Format perintah dan deskripsi parameternya sebagai berikut. Perintah dan parameter aktual di konsol mungkin berbeda karena pembaruan.

chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>

Parameter	Deskripsi
TunnelID	ID saluran.
UID	ID akun Alibaba Cloud.
AK	ID AccessKey.
SK	Rahasia AccessKey.
AgentName	Nama agen.
AgentID	ID agen.
Endpoint	Titik akhir. `vpc` menunjukkan jalur sewa atau VPN.
AgentDeployMethod	Metode penerapan agen. `default` menunjukkan metode proses standalone.
CpuUsage	Menentukan jumlah core CPU. Parameter ini hanya ditampilkan jika nilai diatur.
MemoryUsage	Menentukan memori yang digunakan (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
LogMemoryUsage	Menentukan ruang log (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
MaxBandwidth	Menentukan bandwidth maksimum yang tersedia (dalam MB). Parameter ini hanya ditampilkan jika nilai diatur.
VPCType	Parameter khusus untuk jenis jaringan VPC.

Setelah agen diterapkan, Anda dapat membuat alamat data dan mengaitkannya dengan agen. Tugas migrasi yang dibuat menggunakan alamat data ini akan dijalankan pada mesin agen.

Menambah skala Agen

Buat agen baru. Untuk informasi selengkapnya, lihat Buat agen.
Buat skrip penerapan untuk agen. Untuk informasi selengkapnya, lihat Buat skrip penerapan untuk agen.
Terapkan agen. Untuk informasi selengkapnya, lihat Terapkan agen.
Tambahkan agen baru ke alamat data.
1. Pada panel navigasi sebelah kiri, pilih Address Management.
2. Pada halaman Address Management, temukan alamat data yang ingin Anda kelola lalu klik Modify di kolom Actions. Kotak dialog Modify Address muncul.
3. Pada kotak dialog, klik daftar drop-down Agent dan pilih agen yang ingin Anda kaitkan.
4. Klik OK.

Kurangi agen (Scale in)

Untuk menghapus proxy, ikuti langkah-langkah berikut:
1. Masuk ke Konsol Migrasi Data Online. Pada panel navigasi sebelah kiri, pilih Address Management.
2. Pada halaman Address Management, temukan alamat data yang ingin Anda kelola lalu klik Modify di kolom Actions. Kotak dialog Modify Address muncul.
3. Pada kotak dialog, klik daftar drop-down Agent dan hapus agen yang ingin Anda kurangi.
4. Klik OK.
Bersihkan agen.
1. Hapus agen di Konsol Migrasi Data Online.
  1. Pada panel navigasi sebelah kiri, pilih Agent Management.
  2. Pada halaman Agent Management, temukan agen yang ingin Anda hapus lalu klik Delete di kolom Actions. Kotak dialog Confirm Deletion muncul.
  3. Klik OK.
Lepaskan mesin agen (Opsional).
Jika Anda memastikan bahwa mesin tersebut hanya digunakan untuk migrasi dan melepaskannya tidak memengaruhi layanan lain, Anda dapat melepaskan mesin agen tersebut.

Tingkatkan agen

Jeda tugas migrasi.
1. Masuk ke Konsol Migrasi Data Online. Pada panel navigasi sebelah kiri, pilih Migration Tasks.
2. Pada halaman Migration Tasks, temukan tugas yang ingin Anda kelola lalu klik Manage di kolom Actions untuk membuka halaman detail tugas migrasi.
3. Di bagian bawah halaman detail tugas migrasi, klik Pause di bagian history.
Hentikan program agen di mesin agen.
1. Masuk ke mesin agen dan buka direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah bash bin/stop.sh dan tunggu hingga program agen berhenti.
Periksa nomor versi agen lama.
1. Masuk ke mesin agen, jalankan perintah ./bin/drs_import_agent -v, lalu catat nomor Version.
Terapkan agen.
1. Buat skrip penerapan untuk agen. Untuk informasi selengkapnya, lihat Buat skrip penerapan untuk agen.
2. Terapkan agen. Untuk informasi selengkapnya, lihat Terapkan agen.
Periksa apakah agen berhasil ditingkatkan.
1. Masuk ke mesin agen dan buka direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah ./bin/drs_import_agent -v dan bandingkan nomor versi baru dengan versi lama. Jika nomor versi diperbarui, agen berhasil ditingkatkan.

Lihat, mulai, dan hentikan proses agen

Catatan

Setelah agen berhasil diterapkan, proses agen akan dimulai secara otomatis. Anda tidak perlu melakukan operasi lain.
Proses agen tidak ditambahkan ke item startup. Oleh karena itu, Anda harus memulai proses agen secara manual jika mesin direstart atau proses berhenti karena alasan lain.
Jika agen tidak lagi digunakan, hentikan proses agen dan segera hapus instans agen yang sesuai di konsol.

Untuk melihat proses agen, ikuti langkah-langkah berikut:
1. Masuk ke mesin agen dan buka direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah ps -ef | grep drs_import_agent untuk melihat informasi proses, seperti ID proses dan direktori tempat proses berjalan.
3. Agen menghasilkan file log selama waktu proses. Secara default, file log dihasilkan di direktori logs/ di bawah direktori root program agen. File log secara otomatis bergulir berdasarkan parameter ruang log yang Anda tentukan saat penerapan.
Untuk memulai proses agen, ikuti langkah-langkah berikut:
1. Masuk ke mesin agen dan buka direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Periksa proses agen. Jika proses tidak ada, jalankan perintah bash bin/start.sh untuk memulainya.
Untuk menghentikan proses agen, ikuti langkah-langkah berikut:
1. Masuk ke mesin agen dan buka direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah bash bin/stop.sh dan tunggu hingga program agen berhenti.
3. Setelah agen berhenti, masuk ke Konsol Migrasi Data Online dan periksa status instans agen. Jika status berubah menjadi Connection Abnormal, agen telah sepenuhnya berhenti.

Parameter konfigurasi utama untuk agen

Saat Anda menerapkan agen, parameter waktu prosesnya dikonfigurasi oleh perintah penerapan yang Anda hasilkan di konsol. Parameter-parameter ini disimpan ke file agent-config.properties di direktori config/ direktori root program agen (misalnya, /root/aliyun_import_agent_online_res/config/agent-config.properties).

Penting

Parameter konfigurasi default cocok untuk sebagian besar skenario migrasi. Anda tidak perlu mengubahnya.
Tabel berikut hanya mencantumkan beberapa parameter utama untuk agen. Jangan ubah parameter konfigurasi yang tidak tercantum dalam tabel.
Sebelum mengubah parameter konfigurasi dalam tabel, pastikan Anda memahami fungsi, cakupan, dan risiko potensialnya.

Parameter item konfigurasi

Nilai Valid

Deskripsi

ssrfBlacklistOn

Nilai default: true

Nilai valid: true, false

Penting

Menonaktifkan fitur ini mengurangi kemampuan kontrol terhadap proses agen dan menimbulkan risiko keamanan tertentu.

Menentukan apakah akan mengaktifkan fitur deteksi blacklist Server-Side Request Forgery (SSRF). Jika diaktifkan, alamat IP host jarak jauh akan diperiksa sebelum koneksi jaringan dibuat. Jika alamat IP berada dalam rentang Titik akhir pribadi, koneksi akan ditolak.

Contoh:

ssrfBlacklistOn=false

Rentang Titik akhir pribadi meliputi:

0.0.0.0/8
127.0.0.0/8
10.0.0.0/8
11.0.0.0/8
25.0.0.0/8
26.0.0.0/8
30.0.0.0/8
33.0.0.0/8
192.168.0.0/16
100.64.0.0/10
172.16.0.0/12
169.254.0.0/16
::1/128
fe80::/10
fc00::/7

allowRedirectProviders

Nilai default: Kosong

Nilai valid: Jenis alamat data apa pun. Jika ada beberapa jenis, pisahkan dengan koma (,).

Catatan

Secara default, Migrasi Data Online tidak mendukung pengalihan untuk jenis alamat data apa pun. Jika permintaan alamat sumber atau tujuan mengembalikan kode status pengalihan, migrasi akan melaporkan kode kesalahan UnsupportedRedirect.

Menentukan apakah akan mendukung fitur pengalihan protokol HTTP saat mengakses alamat sumber dan tujuan. Ini hanya berlaku untuk jenis alamat data yang ditentukan.

Contoh:

allowRedirectProviders=qiniu,s3

Setelah Anda mengubah dan menyimpan item konfigurasi, Anda harus merestart proses agen agar perubahan berlaku.