Migrate from AWS S3 to OSS

DI CHUYỂN (MIGRATE) DỮ LIỆU TỪ AWS S3 SANG ALIBABA CLOUD OSS VỚI ALIBABA CLOUD DATA TRANSPORT

By Vo Thi Phuong Anh, Alibaba Cloud Solutions Architect of Vietnam

1) Alibaba Cloud OSS và AWS S3
Lưu trữ trên đám mây là một dịch vụ phổ biến được triển khai bởi nhiều nhà cung cấp khác nhau. Đối với Alibaba Cloud, sản phẩm đó là OSS.
Alibaba Cloud OSS cũng là một dịch vụ lưu trữ đám mây, được cung cấp bởi Alibaba Cloud, nhà cung cấp dịch vụ đám mây hàng đầu tại Trung Quốc và trên toàn cầu. Alibaba Cloud OSS cung cấp nền tảng lưu trữ đám mây dựa trên đối tượng, cho phép người dùng lưu trữ và quản lý dữ liệu trực tuyến một cách hiệu quả.
Bên cạnh đó, AWS S3 là một dịch vụ lưu trữ đám mây được cung cấp bởi Amazon Web Services (AWS).
Cả Alibaba Cloud OSS và AWS S3 đều được thiết kế theo chuẩn S3 và tổ chức lưu trữ theo các bucket. Vì thế bài toán được đặt ra là làm thế nào để di chuyển dữ liệu từ AWS S3 sang OSS hoặc ngược lại. Vì thế trong bài viết này sẽ cung cấp hướng dẫn di chuyển dữ liệu từ AWS S3 sang OSS dành cho những ai mong muốn di chuyển hệ thống lên Alibaba Cloud. Công cụ được chúng tôi sử dụng trong bài là Alibaba Cloud Data Transport.

2) Data Transport là gì?
Alibaba Cloud Data Transport là một dịch vụ di chuyển dữ liệu an toàn, hiệu quả và dễ sử dụng. Bạn có thể di chuyển terabyte hoặc petabyte dữ liệu từ local lên đám mây bằng cách sử dụng các thiết bị Data Transport được tùy chỉnh. Data Transport đảm bảo hiệu suất cao và an ninh trong việc chuyển dữ liệu quy mô lớn.
Các lợi ích khi sử dụng Data Transport có thể kể đến:

Linh hoạt, có khả năng mở rộng và tiết kiệm chi phí
- Một thiết bị có thể được sử dụng để di chuyển 36 TB, 100 TB hoặc 480 TB dữ liệu. Nhiều thiết bị có thể được sử dụng cùng một lúc để cải thiện hiệu suất di chuyển.
- So với kết nối qua Internet hoặc mạch Express Connect, Data Transport cho phép bạn giảm chi phí di chuyển đi 60% và tăng hiệu suất lên đến 20 lần.
Dễ triển khai
- Data Transport cung cấp các thiết bị di chuyển dữ liệu chuyên nghiệp, các rack tiêu chuẩn và nguồn điện. Nó cũng cho phép bạn triển khai nhiều thiết bị cùng một lúc để cải thiện hiệu suất di chuyển.
- Data Transport hỗ trợ nhiều loại nguồn dữ liệu, như hệ thống tệp địa phương, hệ thống tệp lưu trữ kết nối mạng (NAS), Hệ thống Tệp phân phối Hadoop (HDFS) và Hệ thống Tệp Phân phối Nhanh (FastDFS).
An toàn và đáng tin cậy
- Tính nhất quán của dữ liệu: Kỹ thuật kiểm tra dư vòng CRC (cyclic redundancy check) được áp dụng để xác minh đọc/ghi hai chiều. Nếu xác minh CRC thất bại trong quá trình di chuyển dữ liệu, Data Transport tự động thử truyền lại dữ liệu.
- Mã hóa dữ liệu: Data Transport cung cấp mã hóa dữ liệu từ đầu đến cuối, và sử dụng Quản lý Truy cập Tài nguyên (RAM) để quản lý quyền hạn trong quá trình truyền dữ liệu và tải lên.
- Xóa dữ liệu: Sau khi dữ liệu được di chuyển, dữ liệu trước đây sẽ được loại bỏ bằng Công nghệ Xóa dữ liệu của Alibaba Cloud để ngăn chặn việc dữ liệu bị chặn giữ.

3) Cách di chuyển dữ liệu từ AWS S3 sang Alibaba Cloud OSS
Các phần cần có: 1 bucket AWS S3 đã có dữ liệu (cần chuyển sang Alibaba Cloud OSS), thông tin credential AWS (Access & Secret Key), 1 bucket OSS (nếu chưa có bucket, bạn có thể tham khảo cách tạo tại đây).

Đầu tiên, truy cập vào Alibaba Cloud Console và chọn vào Data Transport.
Screen_Shot_2023_12_12_at_15_52_37

Tại trang Data Transport, chọn mục Address Management để tiến hành thêm thông tin đường dẫn đến bucket S3.
Screen_Shot_2023_12_12_at_16_10_00

Tiếp tục chọn New Address.
Screen_Shot_2023_12_12_at_16_14_33

Điền các thông tin tương ứng cho bucket S3 của bạn.
Screen_Shot_2023_12_12_at_16_18_39

Lặp lại tương tự để tạo đường dẫn đến bucket OSS.
Screen_Shot_2023_12_12_at_16_20_18

Sau khi đã tạo xong 2 đường dẫn, chọn vào Migration Task > Create New Task để tạo task di chuyển dữ liệu.
Screen_Shot_2023_12_12_at_16_21_46

Chọn Source Address là địa chỉ dẫn đến bucket nguồn (trong bài này là S3) và Destination Address là địa chỉ bucket đích (trong bài này là OSS). Sau đó nhấn Next.
Screen_Shot_2023_12_12_at_16_22_25

Ở phần kế tiếp, bạn có thể lựa chọn như sau:

Chọn Covering Method là All Coverage
Giữ tất cả lựa chọn còn lại ở mặc định

Screen_Shot_2023_12_12_at_17_07_16

Ở bước 3, xem lại thông tin và tiếp tục chọn Next.
Bạn sẽ thấy task bắt đầu được chạy và có trạng thái Task starting/Running.
Screen_Shot_2023_12_12_at_18_05_09