Data bisnis sering tersebar di pusat data on-premises, penyimpanan cloud pihak ketiga, dan bucket OSS Alibaba Cloud di berbagai wilayah dan akun. Penyebaran data tersebut menyulitkan operasional dan meningkatkan biaya. Migrasi data mengonsolidasikan data ke dalam bucket OSS tujuan, dan Alibaba Cloud menyediakan berbagai metode—seperti Data Online Migration, alat baris perintah, dan Data Transport—sesuai skenario migrasi.
Pertimbangan
Sebelum merencanakan migrasi ke OSS, tinjau persyaratan berikut:
Transfer acceleration — Jika wilayah sumber dan wilayah tujuan mencakup Tiongkok daratan dan wilayah di luar Tiongkok daratan, Anda harus mengaktifkan transfer acceleration.
S3-compatible API — Aktifkan S3-compatible API pada layanan penyimpanan objek yang dikelola sendiri, seperti OpenStack Swift, sebelum memigrasikan datanya ke OSS.
Aktivasi OSS-HDFS — Aktifkan OSS-HDFS sebelum memigrasikan data antar bucket OSS-HDFS.
Metode migrasi berdasarkan sumber data
Tabel berikut memetakan setiap sumber migrasi ke metode yang direkomendasikan. Bagian setelah tabel menjelaskan kondisi dan kemampuan masing-masing metode.
Sumber migrasi | Kondisi | Metode yang direkomendasikan |
OSS bucket | Wilayah sama, akun sama, jumlah data kecil hingga menengah | ossutil |
OSS bucket | Wilayah sama, akun berbeda atau jumlah data besar | Same-region replication |
OSS bucket | Wilayah berbeda | Cross-region replication |
Penyimpanan cloud pihak ketiga atau penyimpanan objek S3-compatible yang dikelola sendiri | Migrasi terkelola tanpa pengaturan lingkungan | Data Online Migration |
Sistem file on-premises | Kurang dari 5 GB | Upload di Konsol OSS |
Sistem file on-premises | Jumlah data menengah, seperti data bisnis reguler, file log, atau data backup | ossutil |
Sistem file on-premises | Jumlah data menengah, jaringan on-premises kompleks, atau manajemen tugas terpusat | Data Online Migration |
Sistem file on-premises | Jumlah data besar yang ditransfer melalui Internet | Data Online Migration |
Sistem file on-premises | Jumlah data besar yang dibatasi oleh bandwidth Internet, atau seluruh pusat data | Data Transport |
Sumber HTTP/HTTPS | Unduh batch dari daftar URL | Data Online Migration |
HDFS | Tujuan adalah OSS | Jindo DistCp |
HDFS | Tujuan adalah OSS-HDFS | Jindo DistCp |
OSS-HDFS bucket | Tujuan adalah bucket OSS-HDFS lainnya | Jindo DistCp |
Kluster JindoFS semi-managed | Tujuan adalah OSS-HDFS | JindoDistJob |
Tabel Hive dan data partisi | Tujuan adalah OSS-HDFS | JindoTable MoveTo |
Tabel eksternal OSS (gpossext) | Impor dan ekspor paralel antara gudang data dan OSS | gpossext |
Migrasi antar bucket OSS Alibaba Cloud
Saat memigrasikan data antar bucket OSS Alibaba Cloud, pilih metode migrasi berdasarkan apakah bucket sumber dan bucket tujuan berada di wilayah yang sama.
Migrasi dalam wilayah yang sama
Jika bucket sumber dan bucket tujuan berada di wilayah yang sama, pilih metode migrasi sesuai skenario Anda:
ossutil — Untuk jumlah data kecil hingga menengah di bucket yang dimiliki oleh akun yang sama, gunakan alat baris perintah ossutil untuk menyalin objek antar bucket. ossutil mendukung penyalinan objek batch dan transfer yang dapat dilanjutkan.
Same-region replication — Untuk jumlah data besar atau migrasi antar bucket yang dimiliki oleh akun berbeda, gunakan same-region replication. Data tidak diunduh ke lokasi perantara dan tidak memerlukan transfer jaringan tambahan. Ketika objek ditambahkan, dimodifikasi, atau dihapus di bucket sumber, perubahan tersebut secara otomatis disinkronkan ke bucket tujuan. Metode ini cocok untuk skenario penggabungan dan berbagi data lintas tim atau anak perusahaan.
Migrasi lintas wilayah
Jika bucket sumber dan bucket tujuan berada di wilayah berbeda, misalnya saat memigrasikan data dari Tiongkok (Hangzhou) ke Tiongkok (Beijing), gunakan cross-region replication. Data ditransfer melalui jaringan internal Alibaba Cloud. Replikasi bersifat kontinu: penambahan, modifikasi, dan penghapusan objek di bucket sumber secara otomatis disinkronkan ke bucket tujuan. Metode ini cocok untuk skenario kolaborasi multi-lokasi dan cadangan waktu nyata.
Perubahan wilayah penyimpanan untuk paket sumber daya
Jika Anda perlu mengganti wilayah penyimpanan karena batasan regional pada paket sumber daya, migrasikan data ke bucket di wilayah tujuan dengan menggunakan cross-region replication atau ossutil. Cross-region replication dikonfigurasi pada bucket sumber. Setelah migrasi selesai, beli paket sumber daya di wilayah tujuan, karena paket sumber daya yang telah dibeli tidak dapat dipindahkan ke wilayah berbeda.
Migrasi dari penyimpanan objek pihak ketiga atau yang dikelola sendiri ke OSS
Data Online Migration memigrasikan data dari layanan penyimpanan objek lain ke OSS Alibaba Cloud tanpa perlu membangun lingkungan migrasi sendiri.
Layanan penyimpanan cloud pihak ketiga
Untuk memigrasikan data yang disimpan di penyedia layanan cloud lain ke OSS Alibaba Cloud, gunakan Data Online Migration. Layanan penyimpanan seperti AWS S3, Tencent Cloud COS, Huawei Cloud OBS, Volcengine TOS, Google Cloud GCS, dan Microsoft Azure Blob didukung. Anda tidak perlu menyiapkan lingkungan migrasi. Anda dapat mengirimkan tugas migrasi secara online dan memantau progres migrasi kapan saja. Untuk prosedur yang sesuai dengan skenario bisnis Anda, lihat tutorial Data Online Migration.
Penyimpanan objek S3-compatible yang dikelola sendiri
Data Online Migration juga mendukung layanan penyimpanan objek yang dikelola sendiri dan kompatibel dengan protokol S3, seperti OpenStack Swift dengan S3-compatible API yang diaktifkan.
Migrasi dari sistem file on-premises ke OSS
Jumlah data kecil
Untuk data kurang dari 5 GB, unggah data langsung di Konsol OSS. Metode ini tidak memerlukan alat tambahan atau konfigurasi kompleks, dan Anda dapat mengunggah file melalui browser. Metode ini cocok untuk unggahan file sementara, migrasi data uji, tugas migrasi yang jarang dilakukan, dan file yang tersebar.
Jumlah data menengah
Untuk memigrasikan jumlah data menengah, pilih salah satu metode berikut sesuai kebutuhan Anda:
ossutil — Untuk mentransfer data bisnis reguler, file log, atau data backup, gunakan alat baris perintah ossutil untuk mengunggah file lokal ke OSS. ossutil mendukung unggahan batch, transfer yang dapat dilanjutkan, dan akselerasi konkurensi.
Data Online Migration — Jika jaringan on-premises Anda kompleks, atau jika Anda mengelola tugas migrasi secara terpusat di cloud, gunakan Data Online Migration untuk memigrasikan data dari LocalFS ke OSS. Solusi migrasi terkelola ini mendukung pembuatan, pemantauan, dan pengelolaan tugas, sehingga mengurangi kompleksitas operasional. Metode ini cocok untuk pelanggan enterprise yang memerlukan kendali terpusat atas proses migrasi.
Jumlah data besar
Untuk memigrasikan jumlah data besar, pilih salah satu metode berikut sesuai kebutuhan Anda:
Data Online Migration — Gunakan Data Online Migration jika data dapat ditransfer melalui Internet. Anda tidak perlu menyiapkan lingkungan migrasi, dan Anda dapat mengirimkan tugas migrasi secara online serta memantau progres migrasi secara real-time. Metode ini cocok untuk skenario bisnis yang memerlukan penjadwalan fleksibel.
Data Transport — Jika transfer data Anda dibatasi oleh bandwidth Internet, atau jika Anda memigrasikan data dari pusat data on-premises, gunakan Data Transport. Data Transport dirancang untuk migrasi data skala TB hingga PB. Data dikumpulkan dan ditransfer menggunakan perangkat fisik, sehingga menghilangkan bottleneck bandwidth Internet. Metode ini cocok untuk skenario seperti migrasi seluruh pusat data ke cloud, arsip file enterprise, dan data gambar historis.
Migrasi dari sumber HTTP/HTTPS ke OSS
Jika data Anda disimpan di sumber HTTP/HTTPS, gunakan Data Online Migration untuk memigrasikan data dari sumber HTTP/HTTPS ke OSS. Anda tidak perlu menyiapkan lingkungan tambahan. Kirimkan tugas migrasi secara online, lalu pantau progres dan status tugas secara real-time.
OSS tidak menyediakan operasi API yang menarik file tunggal langsung dari URL. Semua operasi unggah, seperti PutObject, Multipart Upload, dan AppendObject, mengunggah data dari client, dan OSS tidak menarik file dari URL remote di sisi server. Fitur AsyncFetch, yang sebelumnya menarik file dari URL di sisi server, tidak lagi tersedia untuk aktivasi, dan akun baru tidak dapat menggunakannya.
File tunggal — Untuk menyimpan file dari URL remote di OSS, unduh file tersebut ke komputer Anda. Kemudian, unggah menggunakan operasi seperti PutObject.
Beberapa file — Untuk menarik file dari beberapa URL HTTP/HTTPS ke OSS, gunakan Data Online Migration untuk membuat tugas migrasi untuk sumber HTTP/HTTPS. Lalu, gunakan file manifest yang berisi daftar URL untuk mengunduh dan memigrasikan file secara batch.
Migrasi dari penyimpanan data besar ke OSS
Data HDFS ke OSS
Untuk jumlah data besar di Hadoop Distributed File System (HDFS), gunakan Jindo DistCp untuk memigrasikan data HDFS ke OSS. Jindo DistCp adalah alat penyalinan file terdistribusi yang berbasis MapReduce dan mentransfer file dalam kluster besar atau antar kluster. Jindo DistCp menggunakan daftar file dan direktori sebagai input pekerjaan MapReduce dan membagi pekerjaan tersebut menjadi tugas paralel. Setiap tugas menyalin sebagian data dari daftar sumber. Jindo DistCp mendukung toleransi kesalahan, transfer yang dapat dilanjutkan, dan pemulihan error untuk menjaga stabilitas dan integritas data dalam migrasi skala TB bahkan PB. Alat ini cocok untuk skenario seperti komputasi data besar dan pembangunan data lake.
Pertukaran data antara OSS dan AnalyticDB for PostgreSQL
Jika data Anda disimpan sebagai tabel eksternal OSS (gpossext) dan Anda perlu mengimpor serta mengekspor data antara OSS dan gudang data, gunakan AnalyticDB for PostgreSQL: ekspor data ke OSS secara paralel. Fitur gpossext mengimpor data dari OSS ke AnalyticDB for PostgreSQL secara paralel, atau mengekspor data ke OSS secara paralel. Berdasarkan arsitektur terdistribusi, migrasi ini menyediakan kapasitas konkurensi tinggi dan throughput tinggi, sehingga mempersingkat waktu transfer dan menjaga keamanan serta integritas data. Metode ini cocok untuk skenario seperti analitik data skala besar, pengarsipan data historis, dan pertukaran data lintas sistem.
Migrasi dari penyimpanan data besar ke OSS-HDFS
OSS-HDFS, juga dikenal sebagai JindoFS, adalah layanan penyimpanan data lake cloud-native. Berdasarkan manajemen metadata terpadu, OSS-HDFS sepenuhnya kompatibel dengan API HDFS dan menyediakan dukungan POSIX lengkap. OSS-HDFS cocok untuk skenario data lake seperti komputasi data besar dan pelatihan AI. Pilih OSS-HDFS alih-alih OSS sebagai tujuan migrasi jika beban kerja data besar Anda bergantung pada kompatibilitas API HDFS atau semantik POSIX. Bagian berikut menjelaskan cara memigrasikan data yang ada ke OSS-HDFS dan cara memigrasikan data antar bucket OSS-HDFS.
Kluster HDFS tradisional ke OSS-HDFS
Untuk memigrasikan data dari kluster HDFS tradisional, gunakan Jindo DistCp untuk memigrasikan data HDFS ke OSS-HDFS. Alat ini mendistribusikan sejumlah besar file dalam kluster atau antar kluster dan mendukung deteksi error otomatis, percobaan ulang, dan pemulihan tugas, sehingga meningkatkan stabilitas tugas migrasi. Jindo DistCp menggunakan daftar file dan direktori sebagai input pekerjaan MapReduce, dan setiap tugas menyalin sebagian file. Pendekatan ini cocok untuk migrasi data dalam jumlah besar secara batch.
Data antar bucket OSS-HDFS
Untuk memigrasikan data dari satu bucket OSS-HDFS ke bucket OSS-HDFS lainnya, gunakan Jindo DistCp untuk memigrasikan data antar bucket OSS-HDFS. Metode ini cocok untuk kebutuhan seperti menyesuaikan partisi data, mengoptimalkan sumber daya penyimpanan, dan menjadwalkan data lintas wilayah, serta menjaga konsistensi dan ketersediaan tinggi data bisnis.
Kluster JindoFS semi-managed ke OSS-HDFS
Jika Anda menggunakan kluster JindoFS semi-managed, gunakan JindoDistJob untuk memigrasikan data dari kluster JindoFS semi-managed ke OSS-HDFS. Alat ini mendukung migrasi penuh dan migrasi inkremental, serta beralih ke solusi berbasis layanan JindoFS tanpa memigrasikan blok data. Migrasi ini tidak memengaruhi bisnis Anda, sehingga cocok untuk skenario di mana Anda perlu beralih arsitektur penyimpanan dengan cepat.
Tabel Hive dan data partisi ke OSS-HDFS
Untuk memigrasikan data terstruktur, gunakan perintah JindoTable MoveTo untuk memigrasikan tabel Hive dan data partisi ke OSS-HDFS. Setelah data dasar disalin, perintah ini secara otomatis memperbarui metadata sehingga tabel dan partisi sepenuhnya dimigrasikan ke path baru. Perintah ini mendukung kondisi filter, memigrasikan banyak partisi sekaligus, dan menggunakan berbagai mekanisme validasi data untuk menjaga integritas dan keamanan data. Perintah ini cocok untuk migrasi dataset terstruktur berskala besar.
Migrasi tanpa downtime dengan mirroring-based back-to-origin
Untuk menjaga kelangsungan bisnis selama migrasi, konfigurasikan mirroring-based back-to-origin. Setelah Anda beralih ke OSS, OSS secara otomatis mengambil data yang belum dimigrasikan dari origin saat data tersebut diminta. Transisi tetap transparan bagi pengguna Anda.
Tentukan metode migrasi terlebih dahulu. Kemudian, konfigurasikan mirroring-based back-to-origin sesuai kebutuhan bisnis Anda untuk mencapai migrasi tanpa downtime.
Migrasi tanpa downtime khas berjalan dalam urutan berikut:
Migrasikan data historis ke bucket OSS tujuan.
Beralihlah ke entri layanan OSS.
Mirroring-based back-to-origin mengambil data yang belum dimigrasikan saat klien memintanya. Data tersebut diisi ulang secara bertahap hingga semua data tersimpan di cloud.
Sebagai contoh, suatu layanan berjalan di platform penyimpanan cloud lain dan harus dimigrasikan ke OSS seiring pertumbuhan bisnis, tetapi layanan online tidak boleh dihentikan. Dalam kasus ini, konfigurasikan aturan mirroring-based back-to-origin untuk secara otomatis mengambil data yang belum dimigrasikan dan menyinkronkannya ke OSS selama migrasi. Layanan tetap tersedia dan stabil.