本文介紹建立代理、部署代理程式、擴容縮容代理、升級代理的操作步驟。
建立代理
代理支援公網和專用網路(專線或VPN)兩種網路類型,請按需選擇適合的網路類型。建立代理時需關聯已有通道,請提前建立好通道。建立通道的相關操作,請參見通道管理。
-
通過專線或VPN遷移上雲、自建儲存遷移上雲、源是LocalFs等情境,需要建立通道和代理。
-
代理必須部署在運行核心版本為 2.6 或更高、64 位元 Linux(x86_64 架構)的機器上。請提前準備好符合需求的機器。
-
每個地區下最多可建立100個代理,請合理規劃使用。
-
推薦購買7代以上機型的ECS,如ecs.c7.xlarge。
-
在左側導覽列,選擇代理管理
-
在代理管理頁面,單擊新建代理。
-
在新建代理對話方塊,配置如下參數,並單擊确定。
參數
是否必填
說明
名稱
是
代理名稱。
-
代理名稱不可為空,長度為3~63個字元。
-
支援英文小寫字母、數字和特殊字元短劃線(-)和底線(_),且區分大小寫。
-
UTF-8編碼並且不能以短劃線(-)和底線(_)開頭。
-
网络类型
是
代理的網路連接方式,包含如下兩種:
-
VPC(推薦):代理通過VPC連到線上遷移服務端。此方式要求部署代理程式的機器能夠訪問線上遷移服務對應地區的內網網域名稱。例如,若您在華北2(北京)地區使用遷移服務,則代理機器必須能夠訪問線上遷移服務華北2(北京)地區的內網網域名稱{TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com。建議您使用與線上遷移服務控制台相同地區的ECS執行個體來部署代理程式。
-
公網:代理通過公網連到線上遷移服務端。此方式要求部署代理程式的機器能夠訪問線上遷移服務對應地區的公網網域名稱。例如,若您在華北2(北京)地區使用遷移服務,則代理機器必須能夠訪問線上遷移服務華北2(北京)地區的公網網域名稱{TunnelId}.cn-beijing.mgw-tc.aliyuncs.com。
說明-
TunnelId表示通道ID。
-
您可以通過ping命令測試代理程式到遷移服務的連通性。
部署方式
是
代理的部署方式。目前只支援獨立進程部署方式。
通道
是
代理所屬的通道,一個代理只允許關聯一個通道,代理的頻寬受通道總頻寬影響。
例如:名稱為tunnel-1的通道,設定最高頻寬為10 Gbit/s,tunnel-1關聯3個代理,分別為agent-1,agent-2和agent-3,則3個代理的總頻寬之和最高為10 Gbit/s。如果agent-1設定3 Gbit/s的頻寬,則agent-2和agent-3僅有7 Gbit/s的頻寬可用,請提前規劃並謹慎分配頻寬。
-
產生部署代理程式指令碼
前提條件
-
機器的配置CPU不低於4核,記憶體不低於8 GB。日誌空間不低於4 GB。
-
推薦您建立新的RAM使用者用於部署代理程式,並為該RAM使用者添加AliyunOSSImportReadOnlyAccess許可權,並設定授權範圍為整個雲帳號。
說明一個RAM使用者的AccessKey可同時用於部署多個代理,並不會相互衝突。
操作步驟
-
在代理管理頁面,單擊代理名稱,進入代理詳情頁。
-
單擊部署运行,在部署运行對話方塊的密钥地區,配置如下參數。
參數
是否必填
說明
AccessKeyId
是
用於代理與線上遷移服務端建立傳輸通道時完成身份認證,必須有mgw:VerifyAgentTunnel許可權。
說明建議遵循最小許可權原則,僅授予包含mgw:VerifyAgentTunnel的自訂策略;也可按需授予以下系統策略之一:
-
AliyunOSSImportReadOnlyAccess(唯讀管理線上遷移服務的許可權)
-
AliyunOSSImportFullAccess(完整系統管理權限)
SecretAccessKey
是
-
-
單擊高级设置地區後的
表徵圖,配置如下參數。參數
是否必填
說明
CPU核数
否
代理可使用的CPU核心數。
-
不填寫:預設使用機器所有CPU核。
-
設定該值:請根據實際情況謹慎評估,參考控制台提示設定該值。
最大使用内存(GB)
否
代理可使用的最大記憶體。
-
不填寫:預設使用機器所有記憶體。
-
設定該值:請根據實際情況謹慎評估,參考控制台提示設定該值。
日志占用空间(GB)
否
代理日誌佔用的磁碟空間最大值,達到最大值後日誌將會按新舊程度滾動丟棄。
-
不填寫:預設日誌佔用4 GB。
-
設定該值:請根據實際遷移檔案數進行評估,參考控制台提示設定該值。每遷移100萬檔案,約產生4 GB磁碟日誌。
最大可用带宽
否
代理的最大頻寬,受所關聯的通道總頻寬的影響,不得高於通道設定的最大頻寬。例如:
-
如通道設定最高頻寬5 Gbit/s,則單台代理最大可用頻寬不得高於5 Gbit/s
-
如通道未設定最高頻寬上限,則代理最大可用頻寬不得高於100 Gbit/s。
說明一個代理只允許關聯一個通道,代理的頻寬受通道總頻寬影響。
例如:名稱為tunnel-1的通道,設定最高頻寬為10 Gbit/s,tunnel-1關聯3個代理,分別為agent-1,agent-2和agent-3,則3個代理的總頻寬之和最高為10 Gbit/s。如果agent-1設定3 Gbit/s的頻寬,則agent-2和agent-3僅有7 Gbit/s的頻寬可用,請提前規劃並謹慎分配頻寬。
-
-
單擊通過命令部署代理程式。
部署代理程式
-
自動產生的代理部署命令含有代理ID等唯一性資訊,只能用於部署當前(單個)代理。當您有多個代理需要部署時,必須為每個代理依次產生部署命令並部署在不同的機器上,否則會導致部署失敗或代理程式狀態異常。
-
當遷移的資料類型為LocalFS(包括LocalFS遷移至OSS、OSS遷移至LocalFS和LocalFS之間遷移)時,部署代理程式必須以root身份運行,否則可能會導致檔案遷移失敗(
chown、chmod等系統調用)。
線上部署代理程式
當代理网络类型選擇公網(公網)時,使用線上方式部署代理程式。
-
查看通过命令部署运行代理彈出框中內容,登入準備安裝代理的部署機(可使用包括阿里雲提供的串連工具,如Workbench、VNC或第三方用戶端工具)。
-
在部署機上確認curl命令存在且可用,並在部署機上運行命令
curl -I https://www.aliyun.com來確認公網的連通性。 -
複製彈出框中運行和部署代理程式命令,並在部署機上的某級本地磁碟目錄(而非Nas等遠程掛載目錄)裡運行該命令,如果運行成功則說明代理部署成功,具體命令格式與參數說明如下(後續可能有更新,請以控制台實際輸出為準):
wget https://gosspublic.alicdn.com/data_online_migration/agent/aliyun_import_agent_deploy.sh -O aliyun_import_agent_deploy.sh;chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth>參數
說明
TunnelID
通道ID。
UID
阿里雲帳號ID。
AK
AccessKey ID。
SK
AccessKey Secret。
AgentName
代理名稱。
AgentID
代理ID。
Endpoint
Endpoint,public表示公網。
AgentDeployMethod
代理的部署方式,default代表獨立進程方式。
CpuUsage
指定CPU核心數,僅設定該值時才會顯示。
MemoryUsage
指定使用記憶體(GB),僅設定該值時才會顯示。
LogMemoryUsage
指定日誌佔用空間(GB),僅設定該值時才會顯示。
MaxBandwidth
指定最大可用頻寬(MB),僅設定該值時才會顯示。
-
代理部署成功後,可建立資料地址並關聯指定代理,用此資料地址建立的遷移任務,將會在指定代理機器上執行遷移任務。
離線部署代理程式
當代理网络类型選擇專線/VPN(VPC)時,使用離線方式部署代理程式。
-
查看通过命令部署运行代理彈出框中內容,登入準備安裝代理的部署機(可使用包括阿里雲提供的串連工具,如Workbench、VNC或第三方用戶端工具)。
-
手動下載代理安裝包aliyun_import_agent_offline_bundle.tar.gz,並將代理安裝包放到部署機上。
-
在部署機上,找到代理安裝包的位置,並執行命令
tar -zxvf aliyun_import_agent_offline_bundle.tar.gz解壓代理安裝包。 -
解壓成功後,進入aliyun_import_agent_offline_bundle目錄下,複製彈出框中運行和部署代理程式命令,並在部署機上的某級本地磁碟目錄(而非Nas等遠程掛載目錄)裡運行該命令,如果運行成功則說明代理部署成功,具體命令格式與參數說明如下(後續可能有更新,請以控制台實際輸出為準):
chmod 755 aliyun_import_agent_deploy.sh;./aliyun_import_agent_deploy.sh -t <TunnelID> -u <UID> -i <AK> -k <SK> -n <AgentName> -v <AgentID> -e <Endpoint> -f <AgentDeployMethod> -c <CpuUsage> -m <MemoryUsage> -d <LogMemoryUsage> -b <MaxBandwidth> -l <VPCType>參數
說明
TunnelID
通道ID。
UID
阿里雲帳號ID。
AK
AccessKey ID。
SK
AccessKey Secret。
AgentName
代理名稱。
AgentID
代理ID。
Endpoint
Endpoint,vpc代表專線/VPN。
AgentDeployMethod
代理的部署方式,default代表獨立進程方式。
CpuUsage
指定CPU核心數,僅設定該值時才會顯示。
MemoryUsage
指定使用記憶體(GB),僅設定該值時才會顯示。
LogMemoryUsage
指定日誌佔用空間(GB),僅設定該值時才會顯示。
MaxBandwidth
指定最大可用頻寬(MB),僅設定該值時才會顯示。
VPCType
網路類型為VPC時的特有參數。
-
代理部署成功後,可建立資料地址並關聯指定代理,用此資料地址建立的遷移任務,將會在指定代理機器上執行遷移任務。
代理擴容
擴容代理時,先建立新代理並產生部署指令碼,完成代理部署後,在地址管理頁面修改對應地址並關聯新代理即可。整個擴容過程對遷移中的任務無影響,無需對任務進行任何操作。
-
建立新代理,詳情請參見建立代理。
-
產生部署代理程式指令碼,詳情請參見產生部署代理程式指令碼。
-
部署代理程式,詳情請參見部署代理程式。
-
將新建立的代理添加到資料地址中,具體操作步驟如下:
-
在左側導覽列,選擇地址管理。
-
單擊地址管理頁面操作欄的修改選項,彈出修改地址 彈出框。
-
在彈出框裡點擊代理下拉框,勾選需要關聯的代理。
-
點擊確定。
-
代理縮容
代理縮容時,先在地址管理頁面修改對應地址,移除需要剔除的代理。完成移除後,在代理管理頁面刪除對應代理;如確認該機器僅用於遷移且不會影響其他業務,可選擇釋放代理機器。整個縮容過程對遷移中的任務無影響,無需對任務進行任何操作。
-
移除需要剔除的代理,具體操作步驟如下:
-
登入線上遷移控制台,在左側導覽列,選擇地址管理。
-
單擊地址管理頁面操作欄的修改選項,彈出修改地址框。
-
在彈出框裡點擊代理下拉框,從下拉框中移除需要剔除的代理。
-
點擊確定。
-
-
清理代理
-
線上遷移控制台刪除代理
-
在左側導覽列,選擇代理管理。
-
單擊代理管理頁面操作欄中的删除選項,彈出確認刪除對話方塊。
-
點擊确定。
-
-
-
釋放代理機器(可選)
如果您確認該機器僅用於遷移目的,並且確保刪除後不會對其他業務造成影響,則可以釋放該代理機器。
代理升級
-
暫停遷移任務,具體操作步驟如下:
-
登入線上遷移控制台,在左側導覽列,選擇遷移任務。
-
點擊遷移任務頁面操作欄中的管理選項,進入遷移任務詳情頁面。
-
在遷移任務詳情頁面的下方歷史欄中,點擊暂停 。遷移任務詳情頁面展示資料移轉進度(包括資料量和檔案數完成比例餅圖、頻寬及平均遷移檔案數折線圖)以及歷史執行記錄表格。在歷史表格的操作列中,單擊暫停可暫停當前正在執行的遷移任務。
-
-
停止代理機器上的代理程式,具體操作步驟如下:
-
登入代理機器,進入到代理程式根目錄(例如
/root/aliyun_import_agent_online_res)。 -
執行
bash bin/stop.sh,等待代理程式停止。
-
-
查看舊的代理版本號碼,具體操作步驟如下:
-
登入代理機器,執行
./bin/drs_import_agent -v命令,記錄下版本號碼Version。[r xxx : aliyun_import_agent_online_res]# ./bin/drs_import_agent -v Version: 1.4.2.992 BuildTime: 2024-11-11_16:04:36_CST Bu xxx p_ts-1.5.6
-
-
部署代理程式,具體操作步驟如下:
-
產生部署代理程式指令碼,詳情請參見產生部署代理程式指令碼。
-
部署代理程式,詳情請參見部署代理程式。
-
-
查看代理是否升級成功,具體操作步驟如下:
-
登入代理機器,進入到代理程式根目錄(例如
/root/aliyun_import_agent_online_res)。 -
執行
./bin/drs_import_agent -v命令,跟舊的版本號碼進行比對,如果版本號碼更新,則說明代理升級成功。
-
代理進程的查看、啟動與停止
-
代理部署成功後,代理進程會自動啟動,通常無需額外操作。
-
由於代理進程未加入自啟動項,故當機器重啟或其他原因進程被停止時,需要手動啟動代理進程。
-
當代理不再使用時,建議及時停止代理進程,並刪除控制台上對應的代理執行個體。
-
查看代理進程的步驟如下:
-
登入代理機器,進入到代理程式根目錄(例如
/root/aliyun_import_agent_online_res)。 -
執行
ps -ef | grep drs_import_agent,可看到進程資訊,如進程號、運行目錄等。執行以下命令,確認 drs_import_agent 進程已成功運行。[root@xxx aliyun_import_agent_online_res]# ps -ef | grep drs_import_agent root 19182 1 1 14:35 pts/0 00:00:05 /xxx/aliyun_import_agent_online_res/bin/drs_import_agent -c /xxx/aliyun_import_agent_online_res/config/agent-config.properties root 20305 18122 0 14:40 pts/0 00:00:00 grep --color=auto drs_import_agent -
代理運行時會產生記錄檔,預設產生在代理程式根目錄的
logs/下,記錄檔會根據您部署時指定的日誌佔用空間參數自動滾動。
-
-
啟動代理進程的步驟如下:
-
登入代理機器,進入到代理程式根目錄(例如
/root/aliyun_import_agent_online_res)。 -
首先查看代理進程,確認進程不存在時,執行
bash bin/start.sh來啟動代理進程。
-
-
停止代理進程的步驟如下:
-
登入代理機器,進入到代理程式根目錄(例如
/root/aliyun_import_agent_online_res)。 -
執行
bash bin/stop.sh,等待代理程式停止。 -
當代理停止後,登入遷移服務控制台,查看此代理執行個體的狀態,確認為“串連異常”,則說明代理已完全停止。
-
代理關鍵配置參數
部署代理程式時,會根據您在控制台產生的代理部署命令來個人化配置代理的運行參數。這些參數都儲存在部署代理程式根目錄的config/目錄下的agent-config.properties檔案中(例如/root/aliyun_import_agent_online_res/config/agent-config.properties)。
-
部署完成後的預設配置參數適用於常見的遷移情境,通常無需修改。
-
以下表格中的僅為代理的部分關鍵參數,表格中未列出的配置參數請勿修改。
-
在修改表格中的配置參數前,請務必確認該參數的功能、範圍和修改風險等。
|
配置項參數 |
有效值 |
說明 |
|
ssrfBlacklistOn |
預設值: 有效值: |
重要
關閉該功能將會降低代理進程的可控性,存在一定的安全風險。 是否啟用SSRF黑名單檢測功能。若啟用,則在建立任意網路連接前,都檢測遠端主機的IP地址,若其屬於私網位址範圍內,則拒絕建立串連。 樣本:
私網位址範圍包括:
|
|
allowRedirectProviders |
預設值:空 有效值:任意資料地址類型,如有多個請以 |
說明
線上遷移服務預設所有資料地址類型都不支援重新導向,若源、目標地址請求返回重新導向狀態代碼時,遷移將報 在訪問源、目標地址時,是否支援http協議重新導向特性。僅對指定的資料地址類型生效。 樣本:
|
|
underscoreUserMetaDropOrSkipUids |
預設值:空 有效值:多欄位類型,格式為 |
是否丟棄源檔案的中繼資料Key中包含無效字元的中繼資料項。詳細釋義見錯誤碼 樣本:
|
當配置項修改完成並儲存後,必須重新啟動代理進程才會生效。