背景
阿⾥雲客戶存在⾮ OpenSearch 服務區 RDS資源;
⽤戶有搜尋⽂檔搜尋需求;
OpenSearch 只能接⼊服務地區目前範圍內 RDS/PolarDB;
存在⾃建 MySQL 情境期望接⼊OpenSearch ⽂檔檢索服務。
方案選型
需求:
能實現異地 RDS/ PolarDB 接⼊ OpenSearch;
能實現異地執行個體資料流轉到可接⼊服務地區;
能實現資料流⽆損/ 保序/結構⼀致;
能實現全量/增量進⼊ OpenSearch。
⽅案:
(⾮即時性) RDS/PolarDB -> MaxCompute -> OpenSearch;
(准即時性) RDS/PolarDB(異地) -> DTS -> RDS/PolarDB(當前) -> OpenSearch;
(准即時性) RDS/PolarDB(異地) -> DTS(全量) -> RDS/PolarDB(當前) -> OpenSearch+ API 推送。
對⽐評估:
資料來源 | 全量 | 增量 | 資源消耗 | 方案難易 | 費用消耗(可能) |
DTS | 支援 | 支援 | RDS+ DTS(資料移轉-全量+增量) | 易 | RDS計費及 DTS ⽇賬單 |
MaxCompute | 支援 | 支援(每天定時) | MaxCompute 專業版(⽉) + 獨享叢集資源+雲企業⽹ +資源授權+ 地區限制 | 難 | MaxCompute資源及獨享叢集 |
API/SDK + DTS | 支援 | 支援 | 開發成本及調試/DTS(資料移轉-全量) | 中 | RDS 計費+ DTS(資料移轉-全量) |
實施步驟
建立⽬標地區 RDS/PolarDB 執行個體:
在⽬標地區購買⽬標執行個體;
建立資料庫及管理帳號(需要有操作許可權 DDL+DML );
建立 DTS 任務並配置;
購買 DTS 服務(可能涉及初次開通動作);
選擇 OpenSearch⽬標地區配置資料移轉任務.
配置 DTS 任務配置步驟. 請詳詢 DTS 產品⽂檔-資料移轉章節;
您的任務若是跨域執行個體遷移,源 RDS 執行個體必須有外⽹串連,請到 RDS 控制台申請外 ⽹地址;
執行個體資料安全⽩名單配置⽆需修改. 實測僅保留 127.0.0.1 情況下, 資料連結可檢查通過.
建立 OpenSearch 執行個體: