Data bisnis sering tersebar di pusat data lokal, penyimpanan cloud pihak ketiga, dan bucket OSS Alibaba Cloud di berbagai wilayah dan akun. Penyebaran data tersebut memperumit operasional dan meningkatkan biaya. Migrasi data mengonsolidasikan data ke dalam bucket OSS tujuan, dan Alibaba Cloud menyediakan berbagai metode—seperti Data Online Migration, alat baris perintah, dan Data Transport—sesuai skenario migrasi.
Pertimbangan
Sebelum merencanakan migrasi ke OSS, tinjau persyaratan berikut:
Transfer acceleration — Jika wilayah sumber dan wilayah tujuan mencakup Tiongkok daratan dan wilayah di luar Tiongkok daratan, Anda harus mengaktifkan transfer acceleration.
API kompatibel S3 — Aktifkan API kompatibel S3 pada layanan penyimpanan objek yang dikelola sendiri, seperti OpenStack Swift, sebelum memigrasikan datanya ke OSS.
Aktivasi OSS-HDFS — Aktifkan OSS-HDFS sebelum memigrasikan data antar bucket OSS-HDFS.
Metode migrasi berdasarkan sumber data
Tabel berikut memetakan setiap sumber migrasi ke metode yang direkomendasikan. Bagian setelah tabel menjelaskan kondisi dan kemampuan masing-masing metode.
| Sumber migrasi | Kondisi | Metode yang direkomendasikan |
| Bucket OSS | Wilayah sama, akun sama, jumlah data kecil hingga menengah | ossutil |
| Bucket OSS | Wilayah sama, akun berbeda atau jumlah data besar | Same-region replication |
| Bucket OSS | Wilayah berbeda | Cross-region replication |
| Penyimpanan objek cloud pihak ketiga atau penyimpanan objek kompatibel S3 yang dikelola sendiri | Migrasi terkelola tanpa pengaturan lingkungan | Data Online Migration |
| Sistem file lokal | Kurang dari 5 GB | Upload di Konsol OSS |
| Sistem file lokal | Jumlah data menengah, seperti data bisnis reguler, file log, atau data backup | ossutil |
| Sistem file lokal | Jumlah data menengah, jaringan lokal kompleks, atau manajemen tugas terpusat | Data Online Migration |
| Sistem file lokal | Jumlah data besar yang ditransfer melalui Internet | Data Online Migration |
| Sistem file lokal | Jumlah data besar yang dibatasi bandwidth Internet, atau seluruh pusat data | Data Transport |
| Sumber HTTP/HTTPS | Download batch dari daftar URL | Data Online Migration |
| HDFS | Tujuan adalah OSS | Jindo DistCp |
| HDFS | Tujuan adalah OSS-HDFS | Jindo DistCp |
| Bucket OSS-HDFS | Tujuan adalah bucket OSS-HDFS lainnya | Jindo DistCp |
| Kluster JindoFS semi-managed | Tujuan adalah OSS-HDFS | JindoDistJob |
| Tabel Hive dan data partisi | Tujuan adalah OSS-HDFS | JindoTable MoveTo |
| Tabel eksternal OSS (gpossext) | Impor dan ekspor paralel antara gudang data dan OSS | gpossext |
Migrasi antar bucket OSS Alibaba Cloud
Saat memigrasikan data antar bucket OSS Alibaba Cloud, pilih metode migrasi berdasarkan apakah bucket sumber dan bucket tujuan berada di wilayah yang sama.
Migrasi dalam wilayah yang sama
Jika bucket sumber dan bucket tujuan berada di wilayah yang sama, pilih metode migrasi berdasarkan skenario Anda:
ossutil — Untuk jumlah data kecil hingga menengah dalam bucket yang dimiliki oleh akun yang sama, gunakan alat baris perintah ossutil untuk menyalin objek antar bucket. ossutil mendukung penyalinan objek batch dan transfer yang dapat dilanjutkan.
Same-region replication — Untuk jumlah data besar atau migrasi antar bucket yang dimiliki oleh akun berbeda, gunakan same-region replication. Data tidak diunduh ke lokasi perantara dan tidak memerlukan transfer jaringan tambahan. Ketika objek ditambahkan, dimodifikasi, atau dihapus di bucket sumber, perubahan tersebut secara otomatis disinkronkan ke bucket tujuan. Metode ini cocok untuk skenario di mana data dipusatkan dan dibagikan lintas tim atau anak perusahaan.
Migrasi lintas wilayah
Jika bucket sumber dan bucket tujuan berada di wilayah berbeda, misalnya saat memigrasikan data dari Tiongkok (Hangzhou) ke Tiongkok (Beijing), gunakan cross-region replication. Data ditransfer melalui jaringan internal Alibaba Cloud. Replikasi bersifat kontinu: penambahan, modifikasi, dan penghapusan objek di bucket sumber secara otomatis disinkronkan ke bucket tujuan. Metode ini cocok untuk skenario kolaborasi multi-lokasi dan cadangan waktu nyata.
Perubahan wilayah penyimpanan untuk paket sumber daya
Jika Anda perlu mengganti wilayah penyimpanan karena pembatasan regional pada paket sumber daya, migrasikan data ke bucket di wilayah tujuan dengan menggunakan cross-region replication atau ossutil. Cross-region replication dikonfigurasi pada bucket sumber. Setelah migrasi selesai, beli paket sumber daya di wilayah tujuan, karena paket sumber daya yang telah dibeli tidak dapat dipindahkan ke wilayah berbeda.
Migrasi dari wilayah yang akan dihentikan
Jika bucket berada di wilayah yang sedang dihentikan, seperti Tiongkok (Nanjing - Local Region), gunakan cross-region replication untuk memigrasikan data ke bucket di wilayah lain yang tersedia. Cross-region replication dikenai biaya berdasarkan trafik replikasi. Untuk CRR lintas akun, akun pemilik bucket sumber menanggung biayanya.
Cross-region replication tidak secara otomatis menghapus data dari bucket sumber. Setelah memastikan migrasi selesai, hapus data sumber secara manual sesuai kebutuhan bisnis Anda. Jika saldo akun tidak mencukupi selama transfer data, tugas replikasi dapat terganggu atau gagal. Pastikan saldo akun Anda mencukupi sebelum memulai migrasi.
Migrasi dari penyimpanan objek pihak ketiga atau yang dikelola sendiri ke OSS
Data Online Migration memigrasikan data dari layanan penyimpanan objek lain ke OSS Alibaba Cloud tanpa perlu membangun lingkungan migrasi sendiri.
Layanan penyimpanan cloud pihak ketiga
Untuk memigrasikan data yang disimpan di penyedia layanan cloud lain ke OSS Alibaba Cloud, gunakan Data Online Migration. Layanan penyimpanan seperti AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Volcengine TOS, Google Cloud GCS, dan Microsoft Azure Blob didukung. Anda tidak perlu menyiapkan lingkungan migrasi. Anda dapat mengirimkan tugas migrasi secara online dan memantau progres migrasi kapan saja. Tugas migrasi mendukung penyaringan file: Anda dapat menyaring file yang akan dimigrasikan berdasarkan nama file, dengan ekspresi reguler RE2, dan berdasarkan waktu modifikasi terakhir. Untuk prosedur yang sesuai dengan skenario bisnis Anda, lihat tutorial Data Online Migration.
Penyimpanan objek kompatibel S3 yang dikelola sendiri
Data Online Migration juga mendukung layanan penyimpanan objek yang dikelola sendiri dan kompatibel dengan protokol S3, seperti OpenStack Swift dengan API kompatibel S3 yang diaktifkan.
Migrasi dari sistem file lokal ke OSS
Jumlah data kecil
Untuk data kurang dari 5 GB, unggah data langsung di Konsol OSS. Metode ini tidak memerlukan alat tambahan atau konfigurasi kompleks, dan Anda dapat mengunggah file melalui browser. Metode ini cocok untuk unggahan file sementara, migrasi data uji, tugas migrasi yang jarang dilakukan, dan file yang tersebar.
Jumlah data menengah
Untuk memigrasikan jumlah data menengah, pilih salah satu metode berikut berdasarkan kebutuhan Anda:
ossutil — Untuk mentransfer data bisnis reguler, file log, atau data backup, gunakan alat baris perintah ossutil untuk mengunggah file lokal ke OSS. ossutil mendukung unggahan batch, transfer yang dapat dilanjutkan, dan akselerasi konkuren.
Data Online Migration — Jika jaringan lokal Anda kompleks, atau jika Anda mengelola tugas migrasi secara terpusat di cloud, gunakan Data Online Migration untuk memigrasikan data dari LocalFS ke OSS. Solusi migrasi terkelola ini mendukung pembuatan, pemantauan, dan manajemen tugas, sehingga mengurangi kompleksitas operasional. Metode ini cocok untuk pelanggan enterprise yang memerlukan kontrol terpusat atas proses migrasi.
Jumlah data besar
Untuk memigrasikan jumlah data besar, pilih salah satu metode berikut berdasarkan kebutuhan Anda:
Data Online Migration — Gunakan Data Online Migration jika data dapat ditransfer melalui Internet. Anda tidak perlu menyiapkan lingkungan migrasi, dan Anda dapat mengirimkan tugas migrasi secara online serta memantau progres migrasi secara real-time. Metode ini cocok untuk skenario bisnis yang memerlukan penjadwalan fleksibel.
Data Transport — Jika transfer data Anda dibatasi oleh bandwidth Internet, atau jika Anda memigrasikan data dari pusat data lokal, gunakan Data Transport. Data Transport dirancang untuk migrasi data skala TB hingga PB. Data dikumpulkan dan ditransfer menggunakan perangkat fisik, sehingga menghilangkan hambatan bandwidth Internet. Metode ini cocok untuk skenario seperti memigrasikan seluruh pusat data ke cloud, arsip file enterprise, dan data gambar historis.
Migrasi dari sumber HTTP/HTTPS ke OSS
Jika data Anda disimpan di sumber HTTP/HTTPS, gunakan Data Online Migration untuk memigrasikan data dari sumber HTTP/HTTPS ke OSS. Anda tidak perlu menyiapkan lingkungan tambahan. Kirimkan tugas migrasi secara online, lalu pantau progres dan status tugas secara real-time.
OSS tidak menyediakan operasi API yang menarik file tunggal langsung dari URL. Semua operasi upload, seperti PutObject, Multipart Upload, dan AppendObject, mengunggah data dari client, dan OSS tidak menarik file dari URL remote di sisi server. Fitur AsyncFetch, yang sebelumnya menarik file dari URL di sisi server, tidak lagi tersedia untuk aktivasi, dan akun baru tidak dapat menggunakannya.
File tunggal — Untuk menyimpan file dari URL remote di OSS, unduh file tersebut ke komputer Anda. Kemudian, unggah menggunakan operasi seperti PutObject.
Beberapa file — Untuk menarik file dari beberapa URL HTTP/HTTPS ke OSS, gunakan Data Online Migration untuk membuat tugas migrasi untuk sumber HTTP/HTTPS. Lalu, gunakan file manifest yang berisi daftar URL untuk mengunduh dan memigrasikan file secara batch.
Migrasi dari penyimpanan data besar ke OSS
Data HDFS ke OSS
Untuk jumlah data besar dalam Hadoop Distributed File System (HDFS), gunakan Jindo DistCp untuk memigrasikan data HDFS ke OSS. Jindo DistCp adalah alat penyalinan file terdistribusi yang berbasis MapReduce dan mentransfer file dalam kluster besar atau antar kluster. Jindo DistCp menggunakan daftar file dan direktori sebagai input pekerjaan MapReduce dan membagi pekerjaan tersebut menjadi tugas paralel. Setiap tugas menyalin bagian data dari daftar sumber. Jindo DistCp mendukung toleransi kesalahan, transfer yang dapat dilanjutkan, dan pemulihan error untuk menjaga stabilitas dan integritas data dalam migrasi skala TB bahkan PB. Alat ini cocok untuk skenario seperti komputasi data besar dan pembangunan data lake.
Pertukaran data antara OSS dan AnalyticDB for PostgreSQL
Jika data Anda disimpan sebagai tabel eksternal OSS (gpossext) dan Anda perlu mengimpor serta mengekspor data antara OSS dan gudang data, gunakan AnalyticDB for PostgreSQL: ekspor data ke OSS secara paralel. Fitur gpossext mengimpor data dari OSS ke AnalyticDB for PostgreSQL secara paralel, atau mengekspor data ke OSS secara paralel. Berdasarkan arsitektur terdistribusi, migrasi ini menyediakan kapasitas konkurensi tinggi dan throughput tinggi, sehingga mempersingkat waktu transfer dan menjaga keamanan serta integritas data. Metode ini cocok untuk skenario seperti analitik data skala besar, pengarsipan data historis, dan pertukaran data lintas sistem.
Migrasi dari penyimpanan data besar ke OSS-HDFS
OSS-HDFS, juga dikenal sebagai JindoFS, adalah layanan penyimpanan data lake cloud-native. Berdasarkan manajemen metadata terpadu, OSS-HDFS sepenuhnya kompatibel dengan API HDFS dan menyediakan dukungan POSIX lengkap. OSS-HDFS cocok untuk skenario data lake seperti komputasi data besar dan pelatihan AI. Pilih OSS-HDFS alih-alih OSS sebagai tujuan migrasi jika beban kerja data besar Anda bergantung pada kompatibilitas API HDFS atau semantik POSIX. Bagian berikut menjelaskan cara memigrasikan data yang ada ke OSS-HDFS dan cara memigrasikan data antar bucket OSS-HDFS.
Kluster HDFS tradisional ke OSS-HDFS
Untuk memigrasikan data dari kluster HDFS tradisional, gunakan Jindo DistCp untuk memigrasikan data HDFS ke OSS-HDFS. Alat ini mendistribusikan sejumlah besar file dalam kluster atau lintas kluster dan mendukung deteksi error otomatis, percobaan ulang, dan pemulihan tugas, sehingga meningkatkan stabilitas tugas migrasi. Jindo DistCp menggunakan daftar file dan direktori sebagai input pekerjaan MapReduce, dan setiap tugas menyalin bagian file. Pendekatan ini cocok untuk migrasi data dalam jumlah besar secara batch.
Data antar bucket OSS-HDFS
Untuk memigrasikan data dari satu bucket OSS-HDFS ke bucket lainnya, gunakan Jindo DistCp untuk memigrasikan data antar bucket OSS-HDFS. Metode ini cocok untuk kebutuhan seperti menyesuaikan partisi data, mengoptimalkan sumber daya penyimpanan, dan menjadwalkan data lintas wilayah, serta menjaga konsistensi dan ketersediaan tinggi data bisnis.
Kluster JindoFS semi-managed ke OSS-HDFS
Jika Anda menggunakan kluster JindoFS semi-managed, gunakan JindoDistJob untuk memigrasikan data dari kluster JindoFS semi-managed ke OSS-HDFS. Alat ini mendukung migrasi penuh dan migrasi inkremental, serta beralih ke solusi berbasis layanan JindoFS tanpa memigrasikan blok data. Migrasi ini tidak memengaruhi bisnis Anda, sehingga cocok untuk skenario di mana Anda perlu beralih arsitektur penyimpanan dengan cepat.
Tabel Hive dan data partisi ke OSS-HDFS
Untuk memigrasikan data terstruktur, gunakan perintah JindoTable MoveTo untuk memigrasikan tabel Hive dan data partisi ke OSS-HDFS. Setelah data dasar disalin, perintah ini secara otomatis memperbarui metadata sehingga tabel dan partisi sepenuhnya dimigrasikan ke path baru. Perintah ini mendukung kondisi filter, memigrasikan banyak partisi sekaligus, dan menggunakan berbagai mekanisme validasi data untuk menjaga integritas dan keamanan data. Perintah ini cocok untuk migrasi dataset terstruktur skala besar.
Migrasi tanpa downtime dengan mirroring-based back-to-origin
Untuk menjaga kelangsungan bisnis selama migrasi, konfigurasikan mirroring-based back-to-origin. Setelah Anda beralih ke OSS, OSS secara otomatis mengambil data yang belum dimigrasikan dari origin saat data tersebut diminta. Transisi tetap transparan bagi pengguna Anda.
Tentukan metode migrasi terlebih dahulu. Kemudian, konfigurasikan mirroring-based back-to-origin sesuai kebutuhan bisnis Anda untuk mencapai migrasi tanpa downtime.
Migrasi tanpa downtime khas berjalan dalam urutan berikut:
Migrasikan data historis ke bucket OSS tujuan.
Beralihlah ke entri layanan OSS.
Mirroring-based back-to-origin mengambil data yang belum dimigrasikan saat klien memintanya. Data tersebut diisi kembali secara bertahap hingga semua data tersimpan di cloud.
Misalnya, layanan berjalan di platform penyimpanan cloud lain dan harus dimigrasikan ke OSS seiring pertumbuhan bisnis, tetapi layanan online tidak boleh dihentikan. Dalam kasus ini, konfigurasikan aturan mirroring-based back-to-origin untuk secara otomatis mengambil data yang belum dimigrasikan dan menyinkronkannya ke OSS selama migrasi. Layanan tetap tersedia dan stabil.