Community

Blog Events Webinars Tutorials Forum
  1. Blog
  2. Events
  3. Webinars
  4. Tutorials
  5. Forum
Create Account
×
Community Blog TRIỂN KHAI CƠ SỞ DỮ LIỆU TRÊN ALIBABA CLOUD: THỰC HIỆN DI CHUYỂN/ LOAD DỮ LIỆU TỪ RDS SANG ANALYTICSDB

TRIỂN KHAI CƠ SỞ DỮ LIỆU TRÊN ALIBABA CLOUD: THỰC HIỆN DI CHUYỂN/ LOAD DỮ LIỆU TỪ RDS SANG ANALYTICSDB

Bài viết này hướng dẫn cách triển khai cơ sở dữ liệu trên Alibaba Cloud

By Vo Thi Phuong Anh, Alibaba Cloud Solutions Architect of Vietnam

1) Data Transmission Service (DTS) là gì?
Alibaba Cloud DTS là một dịch vụ truyền dữ liệu đám mây theo thời gian thực. DTS hỗ trợ truyền dữ liệu giữa các nguồn dữ liệu khác nhau, bao gồm cơ sở dữ liệu quan hệ (RDBMS), cơ sở dữ liệu phi quan hệ (NoSQL) và cơ sở dữ liệu phân tích trực tuyến (OLAP). DTS cung cấp các tính năng đồng bộ dữ liệu, di chuyển dữ liệu, theo dõi thay đổi dữ liệu, tích hợp dữ liệu và xử lý dữ liệu. Điều này cho phép bạn quản lý dữ liệu trong một kiến trúc an toàn, có thể mở rộng và có sẵn cao.

Alibaba Cloud DTS là một dịch vụ truyền dữ liệu đám mây thực thời gian, cung cấp các tính năng sau:

  • Đồng bộ dữ liệu: DTS có thể đồng bộ hóa dữ liệu giữa hai hoặc nhiều nguồn dữ liệu theo thời gian thực. Điều này có nghĩa là dữ liệu từ các nguồn khác nhau sẽ luôn được cập nhật với nhau.
  • Di chuyển dữ liệu: DTS có thể di chuyển dữ liệu từ một nguồn dữ liệu sang một nguồn dữ liệu khác. Điều này có thể được sử dụng để chuyển dữ liệu từ cơ sở dữ liệu on-premises sang đám mây hoặc để kết hợp dữ liệu từ nhiều nguồn dữ liệu.
  • Theo dõi thay đổi dữ liệu: DTS có thể theo dõi các thay đổi dữ liệu trong một nguồn dữ liệu và phản ánh các thay đổi đó trong một nguồn dữ liệu khác. Điều này có thể được sử dụng để tạo các bản sao dữ liệu theo thời gian thực hoặc để tạo các báo cáo dựa trên dữ liệu thay đổi.
  • Tích hợp dữ liệu: DTS có thể tích hợp dữ liệu từ nhiều nguồn dữ liệu thành một tập dữ liệu duy nhất. Điều này có thể được sử dụng để tạo các báo cáo tổng hợp hoặc để tạo các mô hình học máy.
  • Xử lý dữ liệu: DTS có thể xử lý dữ liệu trong quá trình truyền. Điều này có thể được sử dụng để tối ưu hóa hiệu suất truyền dữ liệu hoặc để thực hiện các phép tính trên dữ liệu.

2) Cách dùng DTS để chuyển dữ liệu
Yêu cầu kĩ thuật: Database đã được triển khai trên Alibaba Cloud RDS, instance AnalyticsDB.

Đầu tiên, tìm kiếm DTS và truy cập vào DTS Console.
Screen_Shot_2023_11_02_at_12_28_59

Chọn Data Synchronization > Create Task để tiến hành tạo một task. Bên cạnh Synchronization, DTS còn hỗ trợ Data Migration. Data Synchronization có nghĩa là sao chép/đồng bộ dữ liệu từ nguồn đến đích mà vẫn giữ nguyễn dữ liệu gốc tại nguồn. Còn Data Migration là dịch chuyển dữ liệu từ nguồn sang đích (dữ liệu tại nguồn bị di chuyển).

Trong bài này, để tiến hành xây dựng Data Warehouse, chúng tôi chọn Data Synchronization vì chỉ có một số bảng được dùng cho kho dữ liệu. (Đối với kho dữ liệu, chúng tôi khuyến khích bạn tự thiết kế các bảng cho kho dữ liệu > tạo các bảng đó trên cluster AnalyticsDB > load dữ liệu từ RDS vào các bảng của kho dữ liệu).
Screen_Shot_2023_11_02_at_12_30_08

Sau khi chọn Create Task, trang như sau sẽ được hiển thị. Bạn có thể thiết lập cơ sở dữ liệu nguồn ở phần bên trái và cơ sở dữ liệu đích ở phần bên phải.

Cơ sở dữ liệu nguồn được lưu ở instance RDS – engine MySQL nên chúng tôi sẽ chọn Database Type là MySQL; Access Method là Alibaba Cloud Instance (bạn cũng có thể tham khảo một số lựa chọn khác).

Sau đó là Region - chọn Region của instance RDS của bạn. Sau đó tìm ID của instance bạn cần tìm ở mục RDS Instance ID. Sau đó nhập Database Account (hãy chọn tài khoản Privilleged hoặc tài khoản ứng với cơ sở dữ liệu bạn muốn đồng bộ dữ liệu sang AnalyticsDB).
Screen_Shot_2023_11_02_at_12_31_29

Sau đó, tiếp tục với đích (ở đây là AnalyticsDB Cluster), chọn các thông tin tương ứng như hình.
Screen_Shot_2023_11_02_at_12_32_10

Sau khi đã chọn xong thông tin cho cả hai bên, chọn Test Connectivity and Proceed.
Screen_Shot_2023_11_02_at_12_43_47

Nếu được chuyển sang bước tiếp theo, các thông tin nguồn và đích ở bước trước của bạn đã đúng.

Tại đây, lựa chọn các thiết lập để Synchronize Data, bạn có thể chọn như bên dưới:
Screen_Shot_2023_11_02_at_12_44_22

Kế tiếp, chọn các table bạn cần trong cơ sở dữ liệu từ RDS sau đó bấm vào biểu tượng bên dưới để chọn load vào AnalyticsDB.
Screen_Shot_2023_11_02_at_12_44_52

Chọn Next: Advanced Setting để tiếp tục với phần thiết lập nâng cao.

Bạn có thể để mặc định ở bước này hoặc thiết lập thêm một số phần:

  • Full Data Verification: cài đặt xác thực dữ liệu toàn phần để hệ thống sẽ quét qua toàn bộ dữ liệu để xác minh.
    Screen_Shot_2023_11_02_at_12_46_12
  • ETL: Thực hiện ETL bằng lệnh SQL trực tiếp trong task DTS Synchronization.
    Screen_Shot_2023_11_02_at_12_47_15

Chọn Next: Configure Database and Table Fields để tiếp tục.
Screen_Shot_2023_11_02_at_13_05_44

Ở phần kế tiếp, bạn sẽ cần mapping những bảng trong hai cơ sở dữ liệu. Trong trường hợp copy trực tiếp hoặc các bảng đã tương thích từ trước, hệ thống sẽ hiển thị như bên dưới.

Chọn Next: Save Task Setting and Precheck để tiếp tục.
Screen_Shot_2023_11_02_at_13_06_24

DTS sẽ tiến hành chạy các task Synchronization và hiển thị như bên dưới, nếu tất cả các task đều thành công, chọn Next: Purchase Instance để tiếp tục.
Screen_Shot_2023_11_02_at_13_07_42

Ở mục kế tiếp, chọn loại Instance Class mà bạn cần. Trong bài này, chúng tôi sẽ chọn loại Small.
Screen_Shot_2023_11_02_at_13_14_00

Sau khi hoàn tất, chọn Buy and Start để tiếp tục. Ở pop-up hiện lên, nhấn OK.
Screen_Shot_2023_11_02_at_13_14_33

Bạn sẽ thấy task được bắt đầu thực hiện, status sẽ liên tục cập nhật cho đến khi task được thực hiện thành công/thất bại.
Screen_Shot_2023_11_02_at_13_15_07

Bên cạnh đó, bạn cũng có thể xem log trong mục Task Details > View Task Log.
Screen_Shot_2023_11_02_at_13_15_33

Sau khi task hoàn tất, bạn có thể vào trang DMS để kiểm tra xem cơ sở dữ liệu đã được chuyển vào AnalyticsDB hay chưa. Từ trang console của Alibaba Cloud, chọn DMS.
Screen_Shot_2023_11_02_at_13_16_04

Tại trang console của DMS, chọn Database Instance.
Screen_Shot_2023_11_02_at_13_16_36

Chọn + (Add Instance) để đăng nhập vào instance AnalyticsDB.
Screen_Shot_2023_11_02_at_13_17_08

Tại window thêm instance, chọn AnalyticsDB for MySQL 3.0.
Screen_Shot_2023_11_02_at_13_20_25

Sau đó, chọn Region và ID của Instance tương ứng, nhập tài khoản và mật khẩu để truy cập vào các cơ sở dữ liệu. Sau khi hoàn tất chọ Test Connectivity.
Screen_Shot_2023_11_02_at_13_21_07

Sau khi test connectivity thành công, bạn có thể nhấn Submit để đăng nhập.
Screen_Shot_2023_11_02_at_13_21_38

Kiểm tra xem (các bảng của) cơ sở dữ liệu trên RDS đã được chép vào AnalyticsDB hay chưa.
Screen_Shot_2023_11_02_at_13_22_12

Nếu tìm thấy cơ sở dữ liệu, bạn đã hoàn thành việc chuyển (load) dữ liệu từ RDS. Bài viết tiếp theo sẽ hướng dẫn bạn sử dụng công cụ trực quan hóa dữ liệu của Alibaba Cloud để xây dựng data dashboard.

Data Migration Tutorial
0 0 0
Share on

Read previous post:

TẠO MỘT INSTANCE ANALYTICSDB ĐỂ TỔ CHỨC KHO DỮ LIỆU TRÊN ALIBABA CLOUD

Read next post:

TRỰC QUAN HÓA DỮ LIỆU: XÂY DỰNG DATA DASHBOARD VỚI ALIBABA CLOUD DATA-V

Alibaba Cloud Vietnam

46 posts | 5 followers

You may also like

Comments

Alibaba Cloud Vietnam

46 posts | 5 followers

Related Products

More Posts by Alibaba Cloud Vietnam

See All