Pelajari cara membuat, menyebarkan, memperluas kapasitas, dan meningkatkan agen.
Buat agen
Agen mendukung dua jenis jaringan: jaringan publik dan VPC. Koneksi VPC dapat dibuat melalui jalur sewa atau VPN. Pilih jenis jaringan sesuai kebutuhan Anda. Setiap agen harus dikaitkan dengan saluran data yang sudah ada, sehingga Anda perlu membuat saluran data terlebih dahulu. Untuk petunjuk pembuatan saluran data, lihat Tunnel Management.
-
Untuk kasus penggunaan seperti migrasi data ke cloud melalui jalur sewa atau VPN, migrasi data dari penyimpanan yang dikelola sendiri, atau menggunakan sistem file lokal sebagai sumber, Anda harus membuat saluran data dan agen.
-
Agen harus diterapkan pada mesin Linux 64-bit (x86_64) yang menjalankan kernel 2.6 atau lebih baru. Pastikan mesin Anda memenuhi persyaratan ini.
-
Anda dapat membuat maksimal 100 agen di setiap wilayah. Rencanakan resource sesuai kebutuhan.
-
Kami merekomendasikan penggunaan tipe instans ECS generasi ke-7 atau yang lebih baru, seperti ecs.c7.xlarge.
-
Login ke Konsol Data Online Migration.
-
Di panel navigasi kiri, pilih Agent Management.
-
Di halaman Agent Management, klik New Agent.
-
Pada kotak dialog New Agent, konfigurasikan parameter berikut lalu klik OK.
Parameter
Wajib
Deskripsi
Name
Ya
Nama agen.
-
Nama harus terdiri dari 3 hingga 63 karakter.
-
Nama dapat berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama bersifat case-sensitive.
-
Nama harus dikodekan dalam UTF-8 dan tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
-
Network Type
Ya
Jenis koneksi jaringan untuk agen. Opsi berikut tersedia:
-
VPC (Direkomendasikan): Agen terhubung ke layanan Data Online Migration melalui VPC. Metode ini mengharuskan mesin tempat agen dijalankan dapat mengakses titik akhir internal Data Online Migration di wilayah yang sesuai. Misalnya, jika Anda menggunakan Data Online Migration di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir internal {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Kami merekomendasikan penggunaan instance ECS di wilayah yang sama dengan konsol Data Online Migration untuk menerapkan agen.
-
Public network: Agen terhubung ke layanan Data Online Migration melalui jaringan publik. Metode ini mengharuskan mesin tempat agen dijalankan dapat mengakses titik akhir publik Data Online Migration di wilayah yang sesuai. Misalnya, jika Anda menggunakan Data Online Migration di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir publik {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com.
Catatan-
{TunnelId} adalah placeholder untuk ID saluran data.
-
Anda dapat menggunakan perintah
pinguntuk menguji konektivitas jaringan antara agen dan layanan Data Online Migration.
Deployment method
Ya
Metode penerapan agen. Saat ini, hanya penerapan proses standalone yang didukung.
Tunnel
Ya
Saluran data yang akan dikaitkan dengan agen. Satu agen hanya dapat dikaitkan dengan satu saluran data. Bandwidth agen dibatasi oleh total bandwidth saluran data tersebut.
Sebagai contoh, saluran data bernama tunnel-1 dikonfigurasi dengan bandwidth maksimum 10 Gbit/s. tunnel-1 dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika agent-1 dialokasikan bandwidth 3 Gbit/s, hanya tersisa 7 Gbit/s bandwidth untuk agent-2 dan agent-3. Rencanakan dan alokasikan bandwidth Anda dengan cermat.
-
Buat skrip penerapan agen
Prasyarat
-
Mesin memerlukan minimal 4 core CPU, memori 8 GB, dan ruang kosong 4 GB untuk log.
-
Buat Pengguna RAM baru untuk menerapkan agen. Berikan izin AliyunOSSImportReadOnlyAccess kepada Pengguna RAM tersebut dan atur Resource Scope menjadi Account.
CatatanAnda dapat menggunakan pasangan kunci akses dari satu Pengguna RAM untuk menerapkan beberapa agen tanpa konflik.
Prosedur
-
Di halaman Agent Management, klik nama agen untuk membuka halaman detailnya.
-
Klik Deploy and Run. Di kotak dialog Deploy and Run, konfigurasikan parameter berikut di bagian AccessKey Pairs.
Parameter
Wajib
Deskripsi
AccessKey ID
Ya
Mengotentikasi agen saat membuat koneksi saluran data dengan layanan Data Online Migration. Diperlukan izin mgw:VerifyAgentTunnel.
CatatanIkuti prinsip least privilege dengan hanya memberikan kebijakan kustom yang memiliki izin mgw:VerifyAgentTunnel. Anda juga dapat memberikan salah satu kebijakan sistem berikut sesuai kebutuhan:
-
AliyunOSSImportReadOnlyAccess (izin read-only untuk mengelola Data Online Migration)
-
AliyunOSSImportFullAccess (izin manajemen penuh)
AccessKey Secret
Ya
-
-
Klik ikon
di samping Advanced Settings untuk mengonfigurasi parameter berikut.Parameter
Wajib
Deskripsi
CPU Cores
Tidak
Jumlah core CPU yang tersedia untuk agen.
-
Jika Anda tidak menentukan parameter ini, semua core CPU mesin akan digunakan secara default.
-
Jika Anda menentukan parameter ini, evaluasi nilainya dengan cermat berdasarkan prompt di konsol.
Maximum Memory Size (GB)
Tidak
Memori maksimum yang tersedia untuk agen.
-
Jika Anda tidak menentukan parameter ini, seluruh memori mesin akan digunakan secara default.
-
Jika Anda menentukan parameter ini, evaluasi nilainya dengan cermat berdasarkan prompt di konsol.
Space Used by Logs (GB)
Tidak
Ruang disk maksimum untuk log agen. Saat batas ini tercapai, log terlama akan dibuang.
-
Jika Anda tidak menentukan parameter ini, ruang 4 GB akan digunakan secara default.
-
Jika Anda menentukan parameter ini, evaluasi nilainya berdasarkan jumlah file yang akan dimigrasikan dan rujuk prompt di konsol. Migrasi satu juta file menghasilkan sekitar 4 GB log disk.
Maximum Bandwidth
Tidak
Bandwidth maksimum untuk agen. Nilai ini tidak boleh melebihi batas bandwidth saluran data yang terkait. Contohnya:
-
Jika bandwidth maksimum untuk saluran data adalah 5 Gbit/s, bandwidth maksimum yang tersedia untuk satu agen tidak boleh melebihi 5 Gbit/s.
-
Jika tidak ada batas bandwidth maksimum yang ditentukan untuk saluran data, bandwidth maksimum yang tersedia untuk agen tidak boleh melebihi 100 Gbit/s.
CatatanSetiap agen hanya dapat dikaitkan dengan satu saluran data, dan bandwidth-nya dibatasi oleh total bandwidth saluran data tersebut.
Sebagai contoh, saluran data bernama tunnel-1 dikonfigurasi dengan bandwidth maksimum 10 Gbit/s. tunnel-1 dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika agent-1 dialokasikan bandwidth 3 Gbit/s, hanya tersisa 7 Gbit/s bandwidth untuk agent-2 dan agent-3. Rencanakan dan alokasikan bandwidth Anda dengan cermat.
-
-
Klik Deploy with Command.
Terapkan agen
-
Setiap perintah penerapan secara otomatis dihasilkan dengan informasi unik, seperti ID agen, dan hanya dapat menerapkan satu agen. Untuk menerapkan beberapa agen, buat perintah terpisah untuk masing-masing agen dan jalankan di mesin yang berbeda. Jika tidak, penerapan mungkin gagal atau status agen menjadi abnormal.
-
Saat melakukan migrasi data LocalFS (dari LocalFS ke OSS, OSS ke LocalFS, atau antar sistem LocalFS), Anda harus menjalankan agen sebagai pengguna root. Jika tidak, migrasi file mungkin gagal karena izin tidak mencukupi untuk system call seperti
chowndanchmod.
Penerapan online
Jika Anda mengatur Network Type menjadi Internet untuk agen, terapkan agen secara online.
-
Di kotak dialog Use commands to deploy and run the agent, tinjau perintah tersebut lalu login ke mesin penerapan. Anda dapat menggunakan alat Alibaba Cloud seperti Workbench atau VNC, atau alat client pihak ketiga.
-
Di mesin penerapan, pastikan curl telah terinstal. Lalu, jalankan perintah
curl -I https://www.aliyun.comuntuk memeriksa konektivitas Internet. -
Salin perintah penerapan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan, bukan di direktori yang dipasang secara remote seperti direktori NAS. Eksekusi yang berhasil menandakan bahwa agen telah diterapkan. Perintah yang disediakan di konsol dapat berubah sewaktu-waktu, jadi rujuk output aktual untuk versi terbaru.
wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>Parameter
Deskripsi
TunnelID
ID saluran data.
UID
ID akun Alibaba Cloud.
AK
ID AccessKey.
SK
AccessKey Secret.
AgentName
Nama agen.
AgentID
ID agen.
Endpoint
Titik akhir.
publicmenunjukkan koneksi Internet.AgentDeployMethod
Metode penerapan agen.
defaultmenunjukkan bahwa agen dijalankan sebagai proses standalone.CpuUsage
Jumlah core CPU. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
MemoryUsage
Jumlah memori yang digunakan, dalam GB. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
LogMemoryUsage
Jumlah ruang disk untuk log, dalam GB. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
MaxBandwidth
Bandwidth maksimum yang digunakan, dalam MB/s. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
-
Setelah berhasil menerapkan agen, buat alamat data dan kaitkan dengan agen tersebut. Tugas migrasi yang menggunakan alamat data ini akan dijalankan di mesin agen.
Penerapan offline
Jika Anda mengatur Network Type menjadi Leased Line/VPN (VPC) untuk agen, terapkan agen secara offline.
-
Di kotak dialog Use commands to deploy and run the agent, tinjau perintah tersebut lalu login ke mesin penerapan. Anda dapat menggunakan alat Alibaba Cloud seperti Workbench atau VNC, atau alat client pihak ketiga.
-
Unduh secara manual paket instalasi agen aliyun_import_agent_offline_bundle.tar.gz dan unggah ke mesin penerapan.
-
Di mesin penerapan, buka direktori tempat paket instalasi disimpan lalu jalankan perintah
tar -zxvf aliyun_import_agent_offline_bundle.tar.gzuntuk mengekstrak paket tersebut. -
Setelah paket diekstrak, buka direktori aliyun_import_agent_offline_bundle. Salin perintah penerapan agen dari kotak dialog. Jalankan perintah tersebut di direktori disk lokal pada mesin penerapan, bukan di direktori yang dipasang secara remote seperti direktori NAS. Eksekusi yang berhasil menandakan bahwa agen telah diterapkan. Perintah yang disediakan di konsol dapat berubah sewaktu-waktu, jadi rujuk output aktual untuk versi terbaru.
chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>Parameter
Deskripsi
TunnelID
ID saluran data.
UID
ID akun Alibaba Cloud.
AK
ID AccessKey.
SK
AccessKey Secret.
AgentName
Nama agen.
AgentID
ID agen.
Endpoint
Titik akhir.
vpcmenunjukkan koneksi melalui jalur sewa atau VPN.AgentDeployMethod
Metode penerapan agen.
defaultmenunjukkan bahwa agen dijalankan sebagai proses standalone.CpuUsage
Jumlah core CPU. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
MemoryUsage
Jumlah memori yang digunakan, dalam GB. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
LogMemoryUsage
Jumlah ruang disk untuk log, dalam GB. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
MaxBandwidth
Bandwidth maksimum yang digunakan, dalam MB/s. Parameter ini hanya disertakan dalam perintah jika nilai ditentukan.
VPCType
Pengaturan terkait jenis jaringan VPC.
-
Setelah berhasil menerapkan agen, buat alamat data dan kaitkan dengan agen tersebut. Tugas migrasi yang menggunakan alamat data ini akan dijalankan di mesin agen.
Skala keluar agen
Untuk melakukan skala keluar agen, buat agen baru dan hasilkan skrip penerapan. Setelah menerapkan agen, buka halaman Address Management untuk mengubah alamat yang sesuai dan mengaitkannya dengan agen baru. Proses ini tidak memengaruhi tugas migrasi yang sedang berjalan.
-
Buat agen baru. Untuk informasi lebih lanjut, lihat Buat agen.
-
Buat skrip penerapan untuk agen tersebut. Untuk informasi lebih lanjut, lihat Buat skrip penerapan untuk agen.
-
Terapkan agen tersebut. Untuk informasi lebih lanjut, lihat Terapkan agen.
-
Tambahkan agen baru ke alamat data:
-
Di panel navigasi, pilih Address Management.
-
Di halaman Address Management, klik Modify di kolom Actions untuk membuka kotak dialog Modify Address.
-
Di kotak dialog, klik daftar drop-down Agent dan pilih checkbox untuk agen baru.
-
Klik OK.
-
Skala-masuk agen
Untuk melakukan skala-masuk agen, pertama-tama hapus agen dari alamat yang sesuai di halaman Address Management. Kemudian, hapus dari halaman Agent Management. Jika instance agen hanya digunakan untuk migrasi dan penghapusannya tidak memengaruhi layanan lain, Anda dapat melepaskannya. Proses ini tidak memengaruhi tugas migrasi yang sedang berjalan.
-
Hapus agen dari alamat.
-
Login ke Konsol Data Online Migration. Di panel navigasi, pilih Address Management.
-
Di halaman Address Management, temukan alamat yang ingin Anda kelola lalu klik Modify di kolom Actions. Kotak dialog Modify Address akan muncul.
-
Di kotak pop-up, klik daftar drop-down Agent, lalu hapus agen yang ingin Anda keluarkan.
-
Klik OK.
-
-
Hapus agen.
-
Hapus agen dari Konsol Data Online Migration.
-
Di panel navigasi, pilih Agent Management.
-
Di halaman Agent Management, temukan agen yang ingin Anda hapus lalu klik Delete di kolom Delete. Kotak dialog Confirm Delete akan muncul.
-
Klik OK.
-
-
-
Lepaskan instance agen (Opsional)
Anda dapat melepaskan instance agen jika hanya digunakan untuk migrasi dan penghapusannya tidak memengaruhi layanan lain.
Peningkatan agen
-
Jeda tugas migrasi:
-
Login ke Konsol Data Online Migration. Di panel navigasi, pilih Migration Tasks.
-
Di halaman Migration Tasks, klik Manage di kolom Actions untuk membuka halaman detail tugas migrasi.
-
Di bagian History di bagian bawah halaman detail tugas migrasi, klik Suspended. Halaman detail tugas migrasi menampilkan progres migrasi dan tabel sejarah eksekusi. Di kolom Actions tabel tersebut, klik Pause.
-
-
Hentikan program agen di mesin agen:
-
Login ke mesin agen lalu buka direktori root program agen, misalnya,
/root/aliyun_import_agent_online_res. -
Jalankan perintah
bash bin/stop.shdan tunggu hingga program agen berhenti.
-
-
Periksa nomor versi agen lama:
-
Login ke mesin agen, jalankan perintah
./bin/drs_import_agent -v, lalu catat nomorVersion.[r xxx : aliyun_import_agent_online_res]# ./bin/drs_import_agent -v Version: 1.4.2.992 BuildTime: 2024-11-11_16:04:36_CST Bu xxx p_ts-1.5.6
-
-
Terapkan agen:
-
Buat skrip penerapan untuk agen tersebut. Untuk informasi lebih lanjut, lihat Buat skrip penerapan untuk agen.
-
Terapkan agen tersebut. Untuk informasi lebih lanjut, lihat Terapkan agen.
-
-
Verifikasi bahwa agen telah ditingkatkan:
-
Login ke mesin agen lalu buka direktori root program agen, misalnya,
/root/aliyun_import_agent_online_res. -
Jalankan perintah
./bin/drs_import_agent -vlalu bandingkan nomor versi baru dengan versi lama. Jika nomor versi telah diperbarui, peningkatan berhasil.
-
Kelola proses agen
-
Setelah penerapan agen berhasil, proses agen akan dimulai secara otomatis. Biasanya tidak diperlukan tindakan tambahan.
-
Proses agen tidak dikonfigurasi untuk berjalan saat startup. Oleh karena itu, Anda harus memulai proses agen secara manual jika mesin direstart atau proses berhenti karena alasan lain.
-
Jika agen tidak lagi digunakan, kami merekomendasikan agar Anda segera menghentikan proses agen dan menghapus instance agen yang sesuai di konsol.
-
Untuk melihat proses agen, ikuti langkah-langkah berikut:
-
Login ke mesin agen lalu buka direktori root agen, misalnya,
/root/aliyun_import_agent_online_res. -
Jalankan perintah
ps -ef | grep drs_import_agentuntuk melihat informasi proses, seperti ID proses dan direktori yang sedang dijalankan. Output berikut menunjukkan bahwa proses drs_import_agent berjalan dengan sukses.[root@xxx aliyun_import_agent_online_res]# ps -ef | grep drs_import_agent root 19182 1 1 14:35 pts/0 00:00:05 /xxx/aliyun_import_agent_online_res/bin/drs_import_agent -c /xxx/aliyun_import_agent_online_res/config/agent-config.properties root 20305 18122 0 14:40 pts/0 00:00:00 grep --color=auto drs_import_agent -
Agen menghasilkan file log selama waktu proses. Secara default, agen menyimpan file log di direktori
logs/di dalam direktori root agen. File log secara otomatis dirotasi berdasarkan parameter ruang log yang ditentukan saat penerapan agen.
-
-
Untuk memulai proses agen, ikuti langkah-langkah berikut:
-
Login ke mesin agen lalu buka direktori root agen, misalnya,
/root/aliyun_import_agent_online_res. -
Periksa apakah proses agen sedang berjalan. Jika proses tidak berjalan, jalankan perintah
bash bin/start.shuntuk memulainya.
-
-
Untuk menghentikan proses agen, ikuti langkah-langkah berikut:
-
Login ke mesin agen lalu buka direktori root agen, misalnya,
/root/aliyun_import_agent_online_res. -
Jalankan perintah
bash bin/stop.shdan tunggu hingga agen berhenti. -
Setelah agen berhenti, login ke Konsol Data Online Migration lalu periksa status instance agen ini. Status Connection Abnormal menunjukkan bahwa agen telah sepenuhnya berhenti.
-
Parameter utama agen
Saat menerapkan agen, Anda mengonfigurasi parameter waktu prosesnya menggunakan perintah penerapan yang dihasilkan di konsol. Parameter-parameter ini disimpan ke file agent-config.properties di direktori config/ di bawah direktori root agen, misalnya, /root/aliyun_import_agent_online_res/config/agent-config.properties.
-
Parameter konfigurasi default sesuai untuk sebagian besar skenario migrasi dan biasanya tidak perlu dimodifikasi.
-
Tabel berikut hanya mencantumkan beberapa parameter utama agen. Jangan modifikasi parameter yang tidak tercantum dalam tabel ini.
-
Sebelum memodifikasi parameter dalam tabel ini, pastikan Anda memahami fungsi, cakupan, dan risiko potensialnya.
|
Parameter |
Nilai |
Deskripsi |
|
ssrfBlacklistOn |
Default: Nilai valid: |
Penting
Menonaktifkan fitur ini mengurangi kontrol atas proses agen dan menimbulkan risiko keamanan. Menentukan apakah akan mengaktifkan deteksi blacklist Server-Side Request Forgery (SSRF). Jika fitur ini diaktifkan, agen memeriksa alamat IP host jarak jauh sebelum membuat koneksi jaringan apa pun. Agen akan menolak koneksi jika alamat IP berada dalam rentang alamat privat. Contoh:
Rentang alamat privat meliputi:
|
|
allowRedirectProviders |
Default: kosong Nilai valid: Jenis alamat data apa pun. Pisahkan beberapa jenis dengan |
Catatan
Secara default, Data Online Migration tidak mendukung pengalihan untuk jenis alamat data apa pun. Jika permintaan ke alamat sumber atau tujuan mengembalikan kode status pengalihan, migrasi akan melaporkan kode kesalahan Mengaktifkan pengalihan HTTP saat mengakses alamat sumber dan tujuan. Pengaturan ini hanya berlaku untuk jenis alamat data yang ditentukan. Contoh:
|
|
underscoreUserMetaDropOrSkipUids |
Default: kosong Nilai valid: Nilai multi-field dalam format |
Menentukan apakah Agen menghapus item metadata dari file sumber jika kunci metadatanya mengandung karakter yang tidak valid. Untuk detailnya, lihat kode kesalahan Contoh:
|
Setelah memodifikasi dan menyimpan item konfigurasi, restart proses agen agar perubahan diterapkan.