Buat deploy dan upgrade agen - Data Online Migration

Buat, sebarkan, skala, dan tingkatkan agen.

Create an agent

Agen mendukung dua jenis jaringan: Internet dan virtual private cloud (VPC) melalui jalur sewa atau VPN. Pilih jenis jaringan sesuai skenario Anda. Setiap agen harus dikaitkan dengan saluran data yang sudah ada, sehingga Anda perlu membuat saluran data terlebih dahulu. Untuk informasi selengkapnya, lihat Manage tunnels.

Penting

Buat saluran data dan agen untuk skenario seperti migrasi data melalui jalur sewa atau VPN, migrasi data dari penyimpanan mandiri ke cloud, atau menggunakan LocalFs sebagai sumber.
Sebarkan agen pada mesin Linux 64-bit (x86_64) yang menjalankan kernel 2.6 atau lebih baru.
Buat hingga 100 agen di setiap wilayah. Rencanakan resource sesuai kebutuhan.
Gunakan instans ECS generasi ke-7 atau yang lebih baru, seperti ecs.c7.xlarge.

Login ke Konsol Data Online Migration.
Pada panel navigasi di sebelah kiri, pilih Agent Management.
Pada halaman Agent Management, klik New Agent.

Pada kotak dialog New Agent, konfigurasikan parameter berikut lalu klik OK.

Parameter	Wajib	Deskripsi
Name	Ya	Nama agen. Nama tidak boleh kosong dan harus terdiri dari 3 hingga 63 karakter. Dapat berisi huruf kecil bahasa Inggris, angka, tanda hubung (-), dan garis bawah (_). Nama bersifat case-sensitive. Nama harus dalam encoding UTF-8 dan tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Network Type	Ya	Metode koneksi jaringan untuk agen. Terdiri dari dua jenis berikut: VPC (recommended): Agen terhubung ke layanan Data Online Migration melalui VPC. Metode ini mengharuskan mesin tempat agen diterapkan dapat mengakses titik akhir internal layanan Data Online Migration di wilayah yang sama. Misalnya, jika Anda menggunakan layanan migrasi di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir internal {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Gunakan instans ECS di wilayah yang sama dengan Konsol Data Online Migration untuk menerapkan agen. Internet: Agen terhubung ke layanan Data Online Migration melalui Internet. Metode ini mengharuskan mesin tempat agen diterapkan dapat mengakses titik akhir publik layanan Data Online Migration di wilayah yang sesuai. Misalnya, jika Anda menggunakan layanan migrasi di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir publik {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com. Catatan TunnelId menunjukkan ID saluran data. Gunakan perintah ping untuk menguji konektivitas jaringan antara agen dan layanan migrasi.
Deployment Method	Ya	Metode penerapan agen. Saat ini hanya mendukung Independent process mode.
Tunnel	Ya	Saluran data tempat agen tersebut berada. Setiap agen hanya dapat dikaitkan dengan satu saluran data, dan bandwidth agen dipengaruhi oleh total bandwidth saluran data tersebut. Misalnya, saluran data bernama tunnel-1 memiliki bandwidth maksimum 10 Gbit/s dan dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika Anda mengatur bandwidth agent-1 menjadi 3 Gbit/s, hanya tersisa 7 Gbit/s untuk agent-2 dan agent-3. Rencanakan alokasi bandwidth dengan cermat.

Generate a deployment script for an agent

Prasyarat

Mesin harus memiliki minimal 4 core CPU, memori 8 GB, dan ruang kosong minimal 4 GB untuk log.
Buat Pengguna Resource Access Management (RAM) baru untuk menerapkan agen. Berikan izin AliyunOSSImportReadOnlyAccess kepada pengguna RAM tersebut dan atur Resource Scope ke Account.
Catatan
AccessKey pengguna RAM dapat digunakan untuk menerapkan beberapa agen secara bersamaan tanpa konflik.

Prosedur

Pada halaman Agent Management, klik nama agen untuk membuka halaman detailnya.

Klik Deploy and Run. Pada kotak dialog Deploy and Run, konfigurasikan parameter berikut di bagian AccessKey Pairs.

Parameter	Wajib	Deskripsi
AccessKey ID	Ya	Digunakan untuk otentikasi identitas saat agen membuat saluran data dengan layanan Data Online Migration. Diperlukan izin mgw:VerifyAgentTunnel. Catatan Ikuti prinsip hak istimewa minimal. Berikan hanya kebijakan kustom yang mencakup izin mgw:VerifyAgentTunnel. Anda juga dapat memberikan salah satu kebijakan sistem berikut sesuai kebutuhan: AliyunOSSImportReadOnlyAccess (izin read-only untuk mengelola Data Online Migration) AliyunOSSImportFullAccess (izin manajemen penuh)
AccessKey Secret	Ya

Klik ikon di area Advanced Settings untuk mengonfigurasi parameter berikut.

Parameter	Wajib	Deskripsi
CPU Cores	Tidak	Jumlah core CPU yang dapat digunakan oleh agen. Jika Anda tidak mengatur parameter ini, semua core CPU mesin akan digunakan secara default. Jika Anda mengatur parameter ini, evaluasi nilainya dengan cermat berdasarkan prompt di konsol.
Maximum Memory Size (GB)	Tidak	Memori maksimum yang dapat digunakan oleh agen. Jika Anda tidak mengatur parameter ini, semua memori mesin akan digunakan secara default. Jika Anda mengatur parameter ini, evaluasi nilainya dengan cermat berdasarkan prompt di konsol.
Space Used by Logs (GB)	Tidak	Ruang disk maksimum yang dapat digunakan oleh log agen. Ketika nilai maksimum tercapai, log akan dibuang berdasarkan usianya. Jika Anda tidak mengatur parameter ini, log akan menggunakan ruang 4 GB secara default. Jika Anda mengatur parameter ini, evaluasi nilainya berdasarkan jumlah file yang akan dimigrasikan. Lihat prompt di konsol. Migrasi satu juta file menghasilkan sekitar 4 GB log disk.
Maximum Bandwidth	Tidak	Bandwidth maksimum agen. Nilai ini dipengaruhi oleh total bandwidth saluran data yang dikaitkan dan tidak boleh melebihi bandwidth maksimum yang ditetapkan untuk saluran data tersebut. Contohnya: Jika bandwidth maksimum saluran data diatur menjadi 5 Gbit/s, bandwidth maksimum yang tersedia untuk satu agen tidak boleh melebihi 5 Gbit/s. Jika tidak ada bandwidth maksimum yang ditetapkan untuk saluran data, bandwidth maksimum yang tersedia untuk agen tidak boleh melebihi 100 Gbit/s. Catatan Setiap agen hanya dapat dikaitkan dengan satu saluran data. Bandwidth agen dipengaruhi oleh total bandwidth saluran data tersebut. Misalnya, saluran data bernama tunnel-1 memiliki bandwidth maksimum 10 Gbit/s dan dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika Anda mengatur bandwidth agent-1 menjadi 3 Gbit/s, hanya tersisa 7 Gbit/s untuk agent-2 dan agent-3. Rencanakan alokasi bandwidth dengan cermat.

Klik Use commands untuk menerapkan dan menjalankan agen.

Deploy an agent

Penting

Perintah penerapan agen yang dihasilkan secara otomatis berisi informasi unik, seperti ID agen, dan hanya dapat digunakan untuk menerapkan agen tersebut. Untuk menerapkan beberapa agen, Anda harus menghasilkan perintah penerapan terpisah untuk setiap agen dan menjalankannya pada mesin yang berbeda. Jika tidak, penerapan dapat gagal atau status agen menjadi abnormal.
Jika tipe data untuk migrasi adalah LocalFS (termasuk migrasi LocalFS ke OSS, OSS ke LocalFS, dan LocalFS ke LocalFS), agen harus diterapkan dan dijalankan sebagai pengguna root. Jika tidak, migrasi file dapat gagal karena panggilan sistem seperti chown dan chmod.

Deploy an agent online

Jika Anda mengatur Network Type menjadi Internet untuk agen, Anda harus menerapkan agen secara online.

Pada kotak dialog Use commands to deploy and run the agent, tinjau isi perintah lalu login ke mesin tempat Anda ingin menginstal agen. Gunakan alat Alibaba Cloud seperti Workbench atau VNC, atau alat client pihak ketiga.
Pada mesin penerapan, pastikan perintah curl telah terinstal dan tersedia. Kemudian, jalankan perintah curl -I https://www.aliyun.com untuk memeriksa konektivitas Internet.

Salin perintah untuk menjalankan dan menerapkan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan. Jangan menjalankan perintah di direktori yang dipasang dari jarak jauh seperti direktori NAS. Jika perintah berhasil dijalankan, agen telah diterapkan. Format perintah dan deskripsi parameternya sebagai berikut. Perintah dan parameter aktual di konsol mungkin berbeda karena pembaruan.

wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>

Parameter	Deskripsi
TunnelID	ID saluran data.
UID	ID akun Alibaba Cloud.
AK	ID AccessKey.
SK	Rahasia AccessKey.
AgentName	Nama agen.
AgentID	ID agen.
Endpoint	Titik akhir. `public` menunjukkan Internet.
AgentDeployMethod	Metode penerapan agen. `default` menunjukkan metode proses standalone.
CpuUsage	Menentukan jumlah core CPU. Parameter ini hanya ditampilkan jika nilai diatur.
MemoryUsage	Menentukan memori yang digunakan (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
LogMemoryUsage	Menentukan ruang log (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
MaxBandwidth	Menentukan bandwidth maksimum yang tersedia (dalam MB). Parameter ini hanya ditampilkan jika nilai diatur.

Setelah agen diterapkan, buat alamat data dan kaitkan dengan agen tersebut. Tugas migrasi yang menggunakan alamat data ini akan dijalankan pada mesin agen.

Deploy an agent offline

Jika Anda mengatur Network Type menjadi VPC untuk agen, Anda harus menerapkan agen secara offline.

Pada kotak dialog Use commands to deploy and run the agent, tinjau isi perintah lalu login ke mesin tempat Anda ingin menginstal agen. Gunakan alat Alibaba Cloud seperti Workbench atau VNC, atau alat client pihak ketiga.
Unduh paket instalasi agen aliyun_import_agent_offline_bundle.tar.gz dan unggah ke mesin penerapan.
Pada mesin penerapan, masuk ke direktori tempat paket instalasi agen disimpan dan jalankan perintah tar -zxvf aliyun_import_agent_offline_bundle.tar.gz untuk mengekstrak paket tersebut.

Setelah paket diekstrak, masuk ke direktori aliyun_import_agent_offline_bundle. Salin perintah untuk menjalankan dan menerapkan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan. Jangan menjalankan perintah di direktori yang dipasang dari jarak jauh seperti direktori NAS. Jika perintah berhasil dijalankan, agen telah diterapkan. Format perintah dan deskripsi parameternya sebagai berikut. Perintah dan parameter aktual di konsol mungkin berbeda karena pembaruan.

chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>

Parameter	Deskripsi
TunnelID	ID saluran data.
UID	ID akun Alibaba Cloud.
AK	ID AccessKey.
SK	Rahasia AccessKey.
AgentName	Nama agen.
AgentID	ID agen.
Endpoint	Titik akhir. `vpc` menunjukkan jalur sewa atau VPN.
AgentDeployMethod	Metode penerapan agen. `default` menunjukkan metode proses standalone.
CpuUsage	Menentukan jumlah core CPU. Parameter ini hanya ditampilkan jika nilai diatur.
MemoryUsage	Menentukan memori yang digunakan (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
LogMemoryUsage	Menentukan ruang log (dalam GB). Parameter ini hanya ditampilkan jika nilai diatur.
MaxBandwidth	Menentukan bandwidth maksimum yang tersedia (dalam MB). Parameter ini hanya ditampilkan jika nilai diatur.
VPCType	Parameter khusus untuk jenis jaringan VPC.

Setelah agen diterapkan, buat alamat data dan kaitkan dengan agen tersebut. Tugas migrasi yang menggunakan alamat data ini akan dijalankan pada mesin agen.

Scale out an agent

Untuk melakukan scale out, terapkan agen baru, lalu perbarui dan kaitkan dengan alamat terkait di halaman Address Management. Tugas migrasi yang sedang berjalan tidak terpengaruh.

Buat agen baru. Untuk informasi selengkapnya, lihat Create an agent.
Hasilkan skrip penerapan untuk agen tersebut. Untuk informasi selengkapnya, lihat Generate a deployment script for an agent.
Terapkan agen tersebut. Untuk informasi selengkapnya, lihat Deploy an agent.
Tambahkan agen baru ke alamat data.
1. Pada panel navigasi di sebelah kiri, pilih Address Management.
2. Pada halaman Address Management, temukan alamat data yang ingin Anda kelola lalu klik Modify di kolom Actions. Kotak dialog Modify Address muncul.
3. Pada kotak dialog, klik daftar drop-down Agent dan pilih agen yang ingin Anda kaitkan.
4. Klik OK.

Scale in an agent

Untuk melakukan scale in, hapus agen dari halaman Address Management, lalu hapus di Agent Management. Jika instans tersebut khusus untuk migrasi dan tidak digunakan di tempat lain, instans tersebut dapat dilepas. Tugas migrasi yang sedang berjalan tidak terpengaruh.

Untuk menghapus agen, ikuti langkah-langkah berikut:
1. Login ke Konsol Data Online Migration. Pada panel navigasi di sebelah kiri, pilih Address Management.
2. Pada halaman Address Management, temukan alamat data yang ingin Anda kelola lalu klik Modify di kolom Actions. Kotak dialog Modify Address muncul.
3. Pada kotak dialog, klik daftar drop-down Agent dan hapus agen yang ingin Anda scale in.
4. Klik OK.
Bersihkan agen.
1. Hapus agen di Konsol Data Online Migration.
  1. Pada panel navigasi di sebelah kiri, pilih Agent Management.
  2. Pada halaman Agent Management, temukan agen yang ingin Anda hapus lalu klik Delete di kolom Actions. Kotak dialog konfirmasi muncul.
  3. Klik OK.
Lepaskan mesin agen (Opsional).
Jika mesin tersebut hanya digunakan untuk migrasi dan melepaskannya tidak akan memengaruhi layanan lain, Anda dapat melepaskannya.

Upgrade an agent

Jeda tugas migrasi.
1. Login ke Konsol Data Online Migration. Pada panel navigasi di sebelah kiri, pilih Migration Tasks.
2. Pada halaman Migration Tasks, temukan tugas yang ingin Anda kelola lalu klik Manage di kolom Actions untuk membuka halaman detail tugas migrasi.
3. Di bagian bawah halaman detail tugas migrasi, klik Suspended di bagian History.
Hentikan program agen pada mesin agen.
1. Login ke mesin agen dan masuk ke direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah bash bin/stop.sh dan tunggu hingga program agen berhenti.
Periksa nomor versi agen lama.
1. Login ke mesin agen, jalankan perintah ./bin/drs_import_agent -v, lalu catat nomor Version.
Terapkan agen.
1. Hasilkan skrip penerapan untuk agen tersebut. Untuk informasi selengkapnya, lihat Generate a deployment script for an agent.
2. Terapkan agen tersebut. Untuk informasi selengkapnya, lihat Deploy an agent.
Periksa apakah agen berhasil ditingkatkan.
1. Login ke mesin agen dan masuk ke direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah ./bin/drs_import_agent -v dan bandingkan nomor versi baru dengan versi lama. Jika nomor versi diperbarui, agen berhasil ditingkatkan.

View, start, and stop the agent process

Catatan

Setelah agen berhasil diterapkan, proses agen akan dimulai secara otomatis. Anda tidak perlu melakukan operasi lain.
Proses agen tidak ditambahkan ke item startup. Oleh karena itu, Anda harus memulai proses agen secara manual jika mesin direstart atau proses berhenti karena alasan lain.
Jika agen tidak lagi digunakan, hentikan proses agen dan segera hapus instans agen yang sesuai di konsol.

Untuk melihat proses agen, ikuti langkah-langkah berikut:
1. Login ke mesin agen dan masuk ke direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah ps -ef | grep drs_import_agent untuk melihat informasi proses, seperti ID proses dan direktori yang sedang berjalan.
3. Agen menghasilkan file log selama waktu proses. Secara default, file log dihasilkan di direktori logs/ di bawah direktori root program agen. File log secara otomatis bergulir berdasarkan parameter ruang log yang Anda tentukan saat penerapan.
Untuk memulai proses agen, ikuti langkah-langkah berikut:
1. Login ke mesin agen dan masuk ke direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Periksa proses agen. Jika proses tidak ada, jalankan perintah bash bin/start.sh untuk memulainya.
Untuk menghentikan proses agen, ikuti langkah-langkah berikut:
1. Login ke mesin agen dan masuk ke direktori root program agen, misalnya, /root/aliyun_import_agent_online_res.
2. Jalankan perintah bash bin/stop.sh dan tunggu hingga program agen berhenti.
3. Setelah agen berhenti, login ke Konsol Data Online Migration dan periksa status instans agen. Jika status berubah menjadi Connection Abnormal, agen telah sepenuhnya berhenti.

Key configuration parameters for the agent

Saat Anda menerapkan agen, parameter waktu prosesnya dikonfigurasi oleh perintah penerapan yang Anda hasilkan di konsol. Parameter-parameter ini disimpan ke file agent-config.properties di direktori config/ direktori root program agen (misalnya, /root/aliyun_import_agent_online_res/config/agent-config.properties).

Penting

Parameter konfigurasi default cocok untuk sebagian besar skenario migrasi. Anda tidak perlu memodifikasinya.
Tabel berikut hanya mencantumkan beberapa parameter utama untuk agen. Jangan modifikasi parameter konfigurasi yang tidak tercantum dalam tabel.
Sebelum memodifikasi parameter konfigurasi dalam tabel, pastikan Anda memahami fungsi, cakupan, dan risiko potensialnya.

Parameter

Nilai

Deskripsi

ssrfBlacklistOn

Nilai default: true

Nilai valid: true, false

Penting

Menonaktifkan fitur ini mengurangi kemampuan pengendalian proses agen dan menimbulkan risiko keamanan tertentu.

Menentukan apakah akan mengaktifkan fitur deteksi blacklist Server-Side Request Forgery (SSRF). Jika diaktifkan, alamat IP host jarak jauh akan diperiksa sebelum koneksi jaringan dibuat. Jika alamat IP berada dalam rentang titik akhir Private, koneksi akan ditolak.

Contoh:

ssrfBlacklistOn=false

Rentang titik akhir Private meliputi:

0.0.0.0/8
127.0.0.0/8
10.0.0.0/8
11.0.0.0/8
25.0.0.0/8
26.0.0.0/8
30.0.0.0/8
33.0.0.0/8
192.168.0.0/16
100.64.0.0/10
172.16.0.0/12
169.254.0.0/16
::1/128
fe80::/10
fc00::/7

allowRedirectProviders

Nilai default: Kosong

Nilai valid: Jenis alamat data apa pun. Jika terdapat beberapa jenis, pisahkan dengan koma (,).

Catatan

Secara default, Data Online Migration tidak mendukung pengalihan untuk jenis alamat data apa pun. Jika permintaan alamat sumber atau tujuan mengembalikan kode status pengalihan, migrasi akan melaporkan kode kesalahan UnsupportedRedirect.

Menentukan apakah akan mendukung fitur pengalihan protokol HTTP saat mengakses alamat sumber dan tujuan. Ini hanya berlaku untuk jenis alamat data yang ditentukan.

Contoh:

allowRedirectProviders=qiniu,s3

Setelah Anda memodifikasi dan menyimpan item konfigurasi, Anda harus merestart proses agen agar perubahan diterapkan.