Data bisnis sering tersebar di pusat data lokal, penyimpanan cloud pihak ketiga, atau bucket Layanan Penyimpanan Objek (OSS) Alibaba Cloud di berbagai wilayah dan akun yang berbeda. Mengelola data yang tersebar ini bisa menjadi kompleks dan mahal. Memigrasikan data ini ke bucket OSS tujuan menyederhanakan pengelolaannya. Alibaba Cloud menawarkan beberapa solusi untuk memenuhi kebutuhan bisnis Anda, termasuk Migrasi Data Online, alat baris perintah, dan migrasi offline dengan Transportasi Data.
Migrasi antar bucket OSS Alibaba Cloud
Saat memigrasikan data antar bucket OSS Alibaba Cloud, Anda dapat memilih metode migrasi berdasarkan wilayah bucket sumber dan tujuan untuk memastikan migrasi yang efisien dan mudah.
Migrasi dalam wilayah yang sama
Ketika bucket sumber dan tujuan berada di wilayah yang sama, Anda dapat memilih metode migrasi berdasarkan skenario Anda:
Untuk jumlah data kecil hingga menengah dalam bucket di bawah akun yang sama, Anda dapat menggunakan perintah cp (salin file) dari alat baris perintah ossutil. Perintah ini mendukung penyalinan file secara batch dan transfer yang dapat dilanjutkan.
Untuk migrasi data berskala besar atau migrasi antar bucket di bawah akun yang berbeda, Anda dapat menggunakan fitur Replikasi di wilayah yang sama (SRR). Data secara otomatis disinkronkan ke bucket tujuan saat ditambahkan, dimodifikasi, atau dihapus di bucket sumber. Proses ini menghilangkan kebutuhan untuk unduhan perantara dan transfer jaringan tambahan. SRR sangat ideal untuk sentralisasi data dan berbagi antara tim atau anak perusahaan yang berbeda.
Migrasi lintas wilayah
Ketika bucket sumber dan tujuan berada di wilayah yang berbeda, seperti migrasi dari China (Hangzhou) ke China (Beijing), Anda dapat menggunakan fitur replikasi lintas wilayah. Fitur ini menggunakan jaringan internal Alibaba Cloud untuk transfer data yang aman dan andal. Data secara otomatis disinkronkan ke bucket tujuan saat ditambahkan, dimodifikasi, atau dihapus di bucket sumber. Metode ini ideal untuk kolaborasi multi-situs dan cadangan waktu nyata.
Migrasi dari penyimpanan pihak ketiga ke OSS
Ketika data Anda disimpan dengan penyedia cloud lain dan Anda perlu memigrasikannya ke Alibaba Cloud OSS, Anda dapat menggunakan Migrasi Data Online Alibaba Cloud. Layanan ini mendukung berbagai layanan penyimpanan, termasuk AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Volcano Engine TOS, Google Cloud Storage (GCS), dan Microsoft Azure Blob. Ini juga mendukung layanan penyimpanan objek mandiri yang kompatibel dengan protokol S3. Anda tidak perlu menyiapkan lingkungan migrasi. Anda dapat mengirimkan tugas migrasi secara online dan memantau prosesnya kapan saja. Anda dapat memilih tutorial migrasi online yang sesuai untuk skenario bisnis Anda demi migrasi data yang lancar.
Migrasi dari sistem file lokal ke OSS
Migrasi data skala kecil
Untuk jumlah data kecil (kurang dari 5 GB), Anda dapat mengunggah data langsung menggunakan Konsol Layanan Penyimpanan Objek (OSS). Metode ini sederhana dan tidak memerlukan alat tambahan atau konfigurasi kompleks. Cocok untuk unggahan file sementara, migrasi data uji, atau tugas migrasi yang jarang dilakukan. Anda dapat dengan cepat mengunggah file melalui antarmuka browser, menjadikannya ideal untuk memindahkan file individu atau dataset kecil ke cloud.
Migrasi data skala menengah
Untuk migrasi data skala menengah, Anda dapat memilih salah satu dari dua metode berikut berdasarkan kebutuhan Anda:
Untuk mentransfer data bisnis reguler, file log, dan data cadangan secara efisien, Anda dapat menggunakan perintah cp (unggah file) dari alat baris perintah ossutil. Alat ini mendukung unggahan file secara batch, transfer yang dapat dilanjutkan, dan percepatan konkuren.
Jika lingkungan jaringan lokal Anda kompleks, atau jika Anda ingin menjadwalkan dan mengelola tugas migrasi dari cloud secara terpusat, Anda dapat menggunakan Migrasi Data Online Alibaba Cloud untuk memigrasikan data dari sistem file lokal ke OSS. Layanan ini menyediakan solusi migrasi data yang dikelola yang mendukung pembuatan tugas, pemantauan, dan manajemen. Ini menyederhanakan kompleksitas operasi dan pemeliharaan (O&M) dan cocok untuk pelanggan perusahaan yang membutuhkan kontrol terpusat atas proses migrasi.
Migrasi data skala besar
Untuk migrasi data berskala sangat besar, Anda dapat memilih salah satu dari dua metode berikut berdasarkan kebutuhan Anda:
Anda dapat menggunakan Migrasi Data Online Alibaba Cloud. Anda dapat menggunakan layanan ini tanpa menyiapkan lingkungan migrasi. Anda dapat mengirimkan tugas migrasi secara online dan memantau kemajuannya secara real time. Metode ini cocok untuk skenario bisnis yang memerlukan penjadwalan fleksibel dan dapat dilakukan melalui Internet.
Jika transfer data Anda dibatasi oleh bandwidth publik atau Anda perlu memigrasikan dari pusat data lokal, Anda dapat menggunakan migrasi offline (Transportasi Data). Metode ini ideal untuk skenario seperti memigrasikan seluruh pusat data ke cloud atau memindahkan arsip perusahaan besar dan data citra historis. Transportasi Data dirancang untuk migrasi data berskala besar dari tingkat terabyte hingga petabyte. Ini menggunakan perangkat fisik untuk pengumpulan dan transfer data, menghindari hambatan bandwidth publik dan secara signifikan meningkatkan efisiensi migrasi.
Migrasi dari sumber HTTP/HTTPS ke OSS
Jika data Anda disimpan di sumber HTTP/HTTPS, Anda dapat menggunakan Migrasi Data Online Alibaba Cloud untuk secara efisien dan lancar memigrasikan data dari sumber HTTP/HTTPS ke OSS. Anda tidak perlu menyiapkan lingkungan tambahan untuk migrasi. Anda cukup mengirimkan tugas migrasi secara online dan memantau kemajuan serta statusnya secara real time untuk memastikan transfer data yang aman dan andal.
Migrasi dari penyimpanan data besar ke OSS
Migrasi data HDFS ke OSS
Untuk data berskala besar dalam Sistem File Terdistribusi Hadoop (HDFS), Anda dapat menggunakan Alibaba Cloud Jindo DistCp untuk memigrasikan data HDFS ke OSS. Jindo DistCp adalah alat salin file terdistribusi berbasis MapReduce yang dapat mentransfer file secara efisien dalam kluster berskala besar atau antar kluster yang berbeda. Alat ini mengambil daftar file dan direktori sebagai input untuk tugas MapReduce, yang kemudian dipecah dan didistribusikan untuk eksekusi paralel. Setiap tugas menyalin sebagian data dari daftar sumber. Proses ini meningkatkan efisiensi transfer dan mendukung toleransi kesalahan, transfer yang dapat dilanjutkan, dan pemulihan kesalahan, memastikan stabilitas dan integritas data selama migrasi data besar pada skala terabyte atau petabyte. Metode ini cocok untuk skenario komputasi data besar dan konstruksi data lake.
Migrasi data tabel eksternal OSS (gpossext) ke OSS
Ketika data disimpan sebagai tabel eksternal OSS (gpossext) dan perlu diimpor atau diekspor secara efisien antara OSS dan gudang data, Anda dapat menggunakan gudang data cloud-native AnalyticDB for PostgreSQL untuk mengekspor data ke OSS secara paralel. Layanan ini mendukung fitur gpossext untuk mengimpor data dari OSS ke AnalyticDB for PostgreSQL secara paralel atau mengekspor data ke OSS secara paralel. Karena proses migrasi ini didasarkan pada arsitektur terdistribusi, ia menawarkan konkurensi tinggi dan throughput tinggi. Ini sangat mengurangi waktu transfer data sambil memastikan keamanan dan integritas data. Metode ini cocok untuk skenario bisnis seperti analitik data berskala besar, pengarsipan data historis, dan pertukaran data lintas sistem.
Migrasi dari penyimpanan data besar ke OSS-HDFS
Layanan OSS-HDFS, juga dikenal sebagai layanan JindoFS, adalah produk penyimpanan data lake cloud-native. Ini menyediakan kemampuan manajemen metadata terpadu dan sepenuhnya kompatibel dengan antarmuka sistem file HDFS sambil menawarkan dukungan penuh untuk POSIX. Hal ini membuatnya sangat cocok untuk skenario data lake seperti komputasi data besar dan pelatihan AI. Anda dapat memigrasikan data yang ada ke OSS-HDFS atau memigrasikan data secara efisien antar bucket OSS-HDFS yang berbeda.
Migrasi data HDFS ke OSS-HDFS
Untuk migrasi data dari kluster HDFS tradisional, Anda dapat menggunakan alat Jindo DistCp Alibaba Cloud untuk memigrasikan data HDFS ke OSS-HDFS. Alat ini memungkinkan distribusi file berskala besar dalam kluster atau antar kluster. Ini mendukung deteksi kesalahan otomatis, percobaan ulang, dan pemulihan tugas, meningkatkan stabilitas dan efisiensi tugas migrasi. Alat ini bekerja dengan mengambil daftar file dan direktori sebagai input untuk tugas MapReduce, dan setiap tugas menyalin sebagian file. Ini ideal untuk pemrosesan batch migrasi data masif. Dengan Jindo DistCp, Anda dapat mencapai migrasi yang lancar, dengan cepat mengimpor data ke OSS-HDFS, dan membantu transisi platform data besar Anda ke arsitektur cloud-native.
Migrasi data antar bucket OSS-HDFS
Jika Anda telah menerapkan layanan OSS-HDFS, Anda juga dapat menggunakan alat Jindo DistCp Alibaba Cloud untuk memigrasikan data antar bucket yang berbeda dalam layanan OSS-HDFS. Ini cocok untuk menyesuaikan partisi data, mengoptimalkan sumber daya penyimpanan, atau menjadwalkan data lintas wilayah, memastikan bahwa data bisnis tetap konsisten dan tersedia tinggi.
Migrasi data dari kluster JindoFS semi-managed ke OSS-HDFS
Saat menggunakan kluster JindoFS semi-managed, Anda dapat menggunakan alat JindoDistJob untuk memigrasikan data dari kluster JindoFS semi-managed ke layanan OSS-HDFS. Alat ini mendukung migrasi penuh dan inkremental dan memungkinkan Anda beralih dengan lancar ke solusi layanan JindoFS tanpa memigrasikan blok data. Ini memastikan transisi yang mulus untuk bisnis Anda dan cocok untuk skenario yang memerlukan perubahan cepat dalam arsitektur penyimpanan.
Migrasi data tabel dan partisi Hive ke OSS-HDFS
Untuk memigrasikan data terstruktur, Anda dapat menggunakan perintah JindoTable MoveTo untuk memigrasikan data tabel dan partisi Hive ke layanan OSS-HDFS. Setelah menyalin data dasar, perintah ini secara otomatis memperbarui metadata, memastikan bahwa tabel dan partisi sepenuhnya dimigrasikan ke jalur baru. Ini mendukung penyaringan berdasarkan kondisi, memungkinkan Anda memigrasikan banyak partisi sekaligus. Ini juga menggunakan mekanisme validasi data multipel untuk memastikan integritas dan keamanan data, menjadikannya ideal untuk memigrasikan dataset terstruktur berskala besar.
Mengonfigurasi migrasi tanpa downtime
Catatan: Pertama, tentukan metode migrasi. Kemudian, konfigurasikan Pengembalian ke sumber berbasis mirroring sesuai kebutuhan untuk mencapai migrasi tanpa downtime.
Untuk menjaga kelangsungan bisnis dan mencapai migrasi tanpa downtime, Anda dapat mengonfigurasi Pengembalian ke sumber berbasis mirroring. Setelah Anda beralih layanan ke OSS, permintaan apa pun untuk data yang belum dimigrasi akan secara otomatis diambil dari situs sumber. Ini memastikan transisi yang lancar dan mulus bagi pengguna. Alur migrasi tipikal adalah sebagai berikut: pertama, selesaikan migrasi data historis dan alihkan titik entri bisnis ke OSS. Kemudian, Pengembalian ke sumber berbasis mirroring secara otomatis mengambil data yang belum dimigrasi, secara bertahap mengisi kembali hingga migrasi ke cloud selesai.
Sebagai contoh, sebuah bisnis awalnya diterapkan di platform penyimpanan cloud lain. Karena pertumbuhan bisnis, ia perlu bermigrasi ke OSS tanpa mengganggu layanan online. Dalam kasus ini, Anda dapat mengonfigurasi aturan Pengembalian ke sumber berbasis mirroring untuk secara otomatis mengambil dan menyinkronkan data yang belum dimigrasi ke OSS selama proses migrasi. Ini memastikan layanan tetap stabil dan tersedia secara terus-menerus.