Migrasi data dari server HTTP HTTPS ke OSS | Migrasi Data Online - Data Online Migration

Migrasikan data dari sumber HTTP atau HTTPS ke bucket OSS. Panduan ini mencakup tindakan pencegahan, batasan migrasi, serta petunjuk langkah demi langkah untuk membuat alamat sumber dan tujuan serta tugas migrasi.

Tindakan pencegahan

Saat menggunakan Migrasi Data Online:

Layanan Migrasi Online mengakses data sumber melalui API publik penyedia sumber. Perilaku layanan bergantung pada implementasi API penyedia tersebut.
Migrasi mengonsumsi sumber daya di sumber dan tujuan, yang dapat memengaruhi beban kerja Anda. Untuk layanan kritis, tetapkan batas laju atau jalankan tugas selama jam sepi.
Layanan memeriksa file di sumber dan tujuan sebelum migrasi. Jika file dengan nama yang sama ada di kedua lokasi dan tugas dikonfigurasi untuk menimpa, file di tujuan akan ditimpa secara langsung. Cadangkan atau ubah nama file yang isinya berbeda untuk mencegah kehilangan data.
Migrasi online mempertahankan waktu modifikasi terakhir file sumber. Jika aturan siklus hidup dikonfigurasi pada bucket tujuan, file yang dimigrasikan dapat dihapus atau dialihkan berdasarkan waktu modifikasi terakhirnya.

Batasan migrasi

Atribut objek ditangani sebagai berikut selama migrasi HTTP/HTTPS:

Atribut berikut dipertahankan: LastModifyTime, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language, dan Expires.
Atribut lain tidak dijamin ikut dimigrasikan. Nilai akhir atribut ditentukan saat migrasi berlangsung.

Langkah 1: Pilih wilayah

Login ke Konsol Migrasi Data Online sebagai Pengguna RAM yang telah Anda buat.
Di bilah navigasi atas, gunakan pemilih wilayah di pojok kiri atas untuk memilih wilayah penerapan layanan migrasi. Pilih wilayah sumber data atau wilayah terdekat secara geografis.

Wilayah penerapan yang tersedia: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), Tiongkok (Shenzhen), dan Tiongkok (Ulanqab) di daratan Tiongkok, serta Tiongkok (Hong Kong), Singapura (Singapura), Jerman (Frankfurt), dan AS (Virginia).
Penting
- Alamat sumber data dan tugas migrasi bersifat spesifik untuk setiap wilayah. Pilih wilayah Anda dengan cermat.
- Pilih wilayah sumber data Anda. Jika wilayah tersebut tidak tersedia, buat tugas migrasi di wilayah terdekat secara geografis.
- Untuk migrasi lintas batas, aktifkan Transfer Acceleration guna meningkatkan kecepatan. Bucket yang diaktifkan Transfer Acceleration dikenai biaya akselerasi transfer. Akses OSS menggunakan Transfer Acceleration.

Langkah 2: Buat alamat sumber

Di panel navigasi kiri, buka Data Online Migration > Address Management lalu klik Create Address.
Di panel Create Address, atur parameter berikut lalu klik OK.

Parameter	Wajib	Deskripsi
Name	Ya	Masukkan nama untuk sumber. Nama harus memenuhi persyaratan berikut: Nama harus terdiri dari 3 hingga 63 karakter. Nama bersifat case-sensitive dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Type	Ya	Pilih HTTP/HTTPS.
Protocol	Ya	Pilih HTTP atau HTTPS.
Port	Ya	Masukkan nomor port. Default: 80 (HTTP) atau 443 (HTTPS). Nilai valid: 0 hingga 65535.
Inventory Location	Ya	Pilih layanan tempat menyimpan file inventaris: Alibaba Cloud OSS atau AWS S3.
Inventory Path	Ya	Masukkan path ke file manifest.json.
Inventory Domain Name atau Region	Ya	Jika Anda mengatur parameter Inventory Location ke Alibaba OSS, tentukan wilayah tempat daftar inventaris OSS berada. Jika Inventory Location diatur ke AWS S3, masukkan nama domain yang digunakan untuk mengakses inventaris AWS S3. Untuk informasi lebih lanjut, lihat Amazon S3 endpoint.
Role	Ya (jika Inventory Location diatur ke Alibaba Cloud OSS)	Jika bucket inventaris milik Akun Alibaba Cloud Anda saat ini: Otorisasi role di konsol migrasi. Otorisasi role secara manual di konsol migrasi (alternatif). Jika bucket inventaris milik Akun Alibaba Cloud yang berbeda: Otorisasi role di konsol OSS.
Bucket	Ya	Masukkan nama bucket inventaris. Bucket tersebut harus milik Akun Alibaba Cloud Anda saat ini.
Inventory AccessKeyId	Ya (jika Inventory Location diatur ke AWS S3)	Jika Inventory Location diatur ke AWS S3, masukkan kunci akses yang digunakan untuk mengakses daftar inventaris AWS S3. Demi keamanan, hapus kunci ini setelah migrasi selesai.
Inventory SecretAccessKey	Ya (jika Inventory Location diatur ke AWS S3)
Tunnel	Tidak	Pilih saluran yang ingin Anda gunakan. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan mandiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Agen diperlukan jika tujuan adalah sistem file lokal (LocalFs) atau saat migrasi melalui koneksi khusus untuk layanan seperti Finance Cloud atau Apsara Stack.
Agent	Tidak	Pilih satu atau beberapa agen. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan mandiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 3: Buat alamat tujuan

Di panel navigasi kiri, buka Data Online Migration > Address Management lalu klik Create Address.
Di panel Create Address, atur parameter berikut lalu klik OK.

Parameter	Wajib	Deskripsi
Name	Ya	Masukkan nama untuk alamat tujuan. Nama harus memenuhi persyaratan berikut: Nama harus terdiri dari 3 hingga 63 karakter. Nama bersifat case-sensitive dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Type	Ya	Pilih Alibaba OSS.
Custom domain name	Tidak	Nama domain kustom opsional untuk mengakses bucket OSS tujuan.
Region	Ya	Pilih wilayah bucket tujuan, misalnya, Tiongkok (Hangzhou).
Authorize Role	Ya	Jika bucket tujuan berada di Akun Alibaba Cloud Anda saat ini: Otorisasi role dari konsol migrasi (Direkomendasikan). Otorisasi role secara manual dari konsol migrasi (Alternatif). Jika bucket tujuan berada di Akun Alibaba Cloud yang berbeda: Otorisasi role dari konsol OSS.
Bucket	Ya	Masukkan nama bucket tujuan. Bucket tersebut harus berada di Akun Alibaba Cloud Anda saat ini.
Prefix	Tidak	Tentukan awalan untuk memigrasikan data ke direktori tertentu di bucket tujuan. Awalan tidak boleh diawali dengan garis miring (/) tetapi harus diakhiri dengannya. Contoh: `data/to/oss/`. Tentukan awalan: Jika awalan sumber adalah `example/src/` dan berisi file example.jpg, mengatur awalan tujuan ke `example/dest/` akan memigrasikan file tersebut ke `example/dest/example.jpg`. Tanpa awalan: Data sumber dimigrasikan ke Direktori root bucket tujuan.
Tunnel	Tidak	Pilih saluran yang ingin Anda gunakan. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan mandiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Agen diperlukan jika tujuan adalah sistem file lokal (LocalFs) atau saat migrasi melalui koneksi khusus untuk layanan seperti Finance Cloud atau Apsara Stack.
Agent	Tidak	Pilih satu atau beberapa agen. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan mandiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 4: Buat tugas migrasi

Di panel navigasi kiri, pilih Data Online Migration > Migration Tasks, lalu klik Create Task.

Di halaman Select Address, konfigurasikan parameter berikut, lalu klik Next.

Parameter	Wajib	Deskripsi
Name	Ya	Masukkan nama untuk tugas migrasi. Nama harus memenuhi persyaratan berikut: Nama harus terdiri dari 3 hingga 63 karakter. Nama bersifat case-sensitive dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Source Address	Ya	Pilih alamat sumber yang telah dibuat sebelumnya.
Destination Address	Ya	Pilih alamat tujuan yang telah dibuat sebelumnya.

Di halaman Task Configurations, atur parameter berikut.

Parameter	Wajib	Deskripsi
Pengaturan dasar
Migration Bandwidth	Tidak	Pengaturan bandwidth migrasi. Default: Menggunakan bandwidth maksimum yang tersedia. Kecepatan migrasi aktual bergantung pada ukuran file dan jumlah file. Specify an upper limit: Tentukan batas bandwidth seperti yang diminta di konsol. Penting Bandwidth migrasi aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan Pembatasan kecepatan di sisi tujuan. Bandwidth mungkin tidak mencapai batas atas yang ditentukan. Evaluasi sumber data, tujuan, beban kerja, dan bandwidth jaringan Anda sebelum menetapkan nilai ini. Pembatasan kecepatan yang tidak tepat dapat memengaruhi bisnis Anda.
Files Migrated Per Second	Tidak	Jumlah file yang dimigrasikan per detik. Default: Jumlah default file yang dimigrasikan per detik. Specify an upper limit: Tentukan batas atas seperti yang diminta di konsol. Penting Laju migrasi aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan Pembatasan kecepatan di sisi tujuan. Laju mungkin tidak mencapai batas atas yang ditentukan. Evaluasi sumber data, tujuan, beban kerja, dan bandwidth jaringan Anda sebelum menetapkan nilai ini. Pembatasan kecepatan yang tidak tepat dapat memengaruhi bisnis Anda.
Overwrite Mode	Tidak	Cara menangani file dengan nama yang sama di tujuan. Do not overwrite: Melewatkan migrasi file tersebut. Overwrite All: File sumber menimpa file tujuan. Overwrite based on the last modification time: File tujuan ditimpa jika waktu modifikasi terakhir file sumber lebih baru. Jika waktu modifikasi terakhir sama, file tujuan ditimpa jika Size atau Content-Type-nya berbeda. Peringatan Kebijakan Overwrite based on the last modification time tidak menjamin bahwa file lama tidak akan menimpa file baru. Jika Anda memilih Overwrite based on the last modification time, pastikan data sumber Anda dapat mengembalikan metadata seperti last modified time, Size, dan Content-Type. Jika tidak, kebijakan penimpaan mungkin tidak berfungsi sebagaimana mestinya dan dapat menghasilkan hasil migrasi yang tidak diinginkan. Jika Anda memilih Do not overwrite atau Overwrite based on last modified time, layanan akan meminta metadata objek dari sumber dan tujuan untuk melakukan perbandingan. Hal ini mengakibatkan biaya permintaan di sumber dan tujuan.
Audit
Migration Report	Ya	Metode pengiriman laporan migrasi. Do not push (Default): Laporan migrasi tidak dikirim ke bucket tujuan. Push: Laporan migrasi dikirim ke bucket tujuan. Langkah selanjutnya. Penting Pengiriman laporan mengonsumsi storage space di tujuan. Pengiriman laporan mungkin tertunda. Tunggu hingga laporan dihasilkan. Setiap eksekusi tugas memiliki ID unik. Laporan hanya dikirim sekali per eksekusi. Berhati-hatilah saat menghapus laporan.
Migration Logs	Ya	Metode pengiriman log migrasi. Do not push (Default): Log migrasi tidak dikirim. Push: Mengirim log migrasi ke Log Service. Anda dapat melihat log migrasi di Log Service. Push only file error logs.: Hanya mengirim log kesalahan migrasi file ke Log Service. Anda dapat melihat log kesalahan tersebut di Log Service. Jika Anda memilih Push atau Push only file error logs., Layanan Migrasi Online akan membuat proyek di Log Service bernama aliyun-oss-import-log-ID akun Alibaba Cloud-wilayah saat ini. Contoh: aliyun-oss-import-log-137918634953**-cn-hangzhou. Penting Pastikan Anda telah menyelesaikan tindakan berikut sebelum memilih Push atau Push only file error logs.. Jika tidak, tugas migrasi mungkin gagal. Anda telah mengaktifkan Log Service. Anda telah memberikan izin yang diperlukan di halaman Authorize**.
Authorize	Tidak	Opsi ini hanya muncul ketika Migration Logs diatur ke Push atau Push only file error logs.. Klik Authorize untuk membuka halaman Cloud Resource Access Authorization. Sistem akan membuat role bernama AliyunOSSImportSlsAuditRole dan memberikan izin kepada role tersebut. Klik Agree to Authorization untuk menyelesaikan otorisasi.
Konfigurasi migrasi
Preserve file last modified time	Ya	Apakah akan mempertahankan waktu modifikasi terakhir file sumber. Preserve (Default): Waktu modifikasi terakhir file sumber diterapkan pada objek tujuan. Do not preserve: Waktu modifikasi terakhir tidak diatur.
Specify storage class for destination objects	Tidak	Apakah akan menetapkan kelas penyimpanan untuk objek tujuan. Specify: Tetapkan salah satu kelas penyimpanan berikut untuk objek yang dimigrasikan: Standard Infrequent Access Archive Cold Archive Deep Cold Archive Do not specify (Default): Objek yang dimigrasikan menggunakan kelas penyimpanan default bucket tujuan. Penting Hanya tersedia setelah akun Anda ditambahkan ke allowlist. Saat ini hanya didukung untuk tugas migrasi yang tujuannya adalah OSS.
Penjadwalan tugas
Execution time	Tidak	Penting Jika tugas masih berjalan saat eksekusi berikutnya dijadwalkan, eksekusi saat ini akan diselesaikan, eksekusi yang dijadwalkan dilewati, dan tugas akan dijalankan pada interval berikutnya. Batas tugas migrasi konkuren: Maksimal 10 di wilayah daratan Tiongkok dan Tiongkok (Hong Kong), serta maksimal 5 di wilayah lainnya. Tentukan kapan tugas migrasi akan dijalankan. Immediately: Menjalankan tugas segera. At the Specified Time: Menetapkan jendela waktu harian untuk menjalankan tugas. Secara default, tugas dimulai pada waktu mulai yang ditentukan dan dijeda pada waktu berhenti yang ditentukan. Periodic Scheduling: Menjalankan tugas berdasarkan frekuensi dan jumlah eksekusi yang ditentukan. Execution Frequency: Frekuensi yang didukung adalah Hourly, Daily, Weekly, Specific days of the week, dan Custom. Execution frequency. Number of Executions: Menentukan jumlah kali tugas dijalankan. Jika tidak diatur, tugas dijalankan sekali secara default. Untuk jumlah maksimum eksekusi, lihat petunjuk di konsol. Penting Anda dapat menjalankan dan menjeda tugas secara manual kapan saja, terlepas dari waktu eksekusi yang dijadwalkan.

Baca Perjanjian Layanan Migrasi Online, centang kotak untuk Saya telah memahami dan mengonfirmasi pernyataan komitmen kepatuhan, serta mengakui kewajiban dan tanggung jawab saya untuk memverifikasi konsistensi data yang dimigrasikan setelah tugas migrasi selesai, lalu klik Next.
Tinjau informasi konfigurasi. Jika sudah benar, klik OK dan tunggu hingga tugas migrasi berjalan.

Frekuensi eksekusi

Frekuensi eksekusi	Deskripsi	Contoh
Hourly	Jalankan tugas setiap jam sekali. Anda dapat menggunakan opsi ini dengan jumlah maksimum eksekusi.	Waktu saat ini adalah 08.05. Frekuensi diatur menjadi setiap jam dengan maksimal 3 kali eksekusi. Eksekusi pertama dimulai pada jam berikutnya, yaitu 09.00. Jika eksekusi selesai sebelum jam berikutnya, eksekusi kedua dimulai pukul 10.00. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai. Jika eksekusi belum selesai pada jam berikutnya dan berakhir pukul 12.30, eksekusi kedua dimulai pada jam berikutnya, yaitu 13.00. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai.
Daily	Jalankan tugas sekali sehari. Anda harus menentukan jam (0–23) untuk memulai tugas. Anda dapat menggunakan opsi ini dengan jumlah maksimum eksekusi.	Waktu saat ini adalah 08.05. Tugas dijadwalkan berjalan setiap hari pukul 10.00, dengan maksimal 5 kali eksekusi. Eksekusi pertama dimulai pukul 10.00 hari ini. Jika eksekusi selesai sebelum pukul 10.00 keesokan hari, eksekusi kedua dimulai pukul 10.00 keesokan hari. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai. Jika eksekusi belum selesai pukul 10.00 keesokan hari dan berakhir pukul 12.05 keesokan hari, eksekusi kedua dimulai pukul 10.00 pada hari ketiga. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai.
Weekly	Jalankan tugas sekali seminggu. Anda harus menentukan hari dalam seminggu dan jam (0–23) untuk memulai tugas. Anda dapat menggunakan opsi ini dengan jumlah maksimum eksekusi.	Waktu saat ini adalah Senin, 08.05. Tugas dijadwalkan berjalan setiap Senin pukul 10.00, dengan maksimal 10 kali eksekusi. Eksekusi pertama dimulai pukul 10.00 hari ini. Jika eksekusi selesai sebelum pukul 10.00 Senin depan, eksekusi kedua dimulai pukul 10.00 Senin depan. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai. Jika eksekusi belum selesai pukul 10.00 Senin depan dan berakhir pukul 12.05 Senin depan, eksekusi kedua dimulai pukul 10.00 Senin berikutnya. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai.
Specific days of the week	Jalankan tugas pada hari-hari tertentu dalam seminggu. Anda harus menentukan hari-hari tersebut dan jam (0–23) untuk memulai tugas.	Waktu saat ini adalah Rabu, 08.05. Tugas dijadwalkan berjalan pada hari Senin, Rabu, dan Jumat pukul 10.00. Eksekusi pertama dimulai pukul 10.00 hari ini. Jika eksekusi selesai sebelum pukul 10.00 Jumat, eksekusi kedua dimulai pukul 10.00 Jumat. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai. Jika eksekusi belum selesai pukul 10.00 Jumat dan berakhir pukul 12.05 Senin depan, eksekusi kedua dimulai pukul 10.00 Rabu depan. Pola ini berlanjut hingga jumlah eksekusi yang ditentukan selesai.
Custom	Gunakan Ekspresi cron untuk menentukan jadwal kustom waktu mulai tugas.	Catatan Ekspresi cron terdiri dari enam bidang yang dipisahkan spasi yang menentukan jadwal eksekusi: detik, menit, jam, tanggal dalam bulan, bulan, dan hari dalam minggu. Interval minimum adalah 1 jam. Contoh ekspresi cron berikut hanya untuk referensi. Untuk opsi lainnya, gunakan generator ekspresi cron. `0 0 * * * `: Menjalankan tugas di awal setiap jam (menit ke-0, detik ke-0). `0 30 0/3 * ?`: Menjalankan tugas setiap 3 jam sekali pada menit ke-30 (misalnya, pukul 00.30, 03.30, 06.30, 09.30, 12.30, 15.30, 18.30, dan 21.30). `0 0 12 * * MON-FRI`: Menjalankan tugas pukul 12.00 setiap hari kerja dari Senin hingga Jumat. `0 0 12 1-15 * SAT,SUN`: Menjalankan tugas pukul 12.00 pada akhir pekan (Sabtu dan Minggu) yang jatuh antara tanggal 1 hingga 15 dalam bulan tersebut. `0 30 8 1,15 * *`: Menjalankan tugas pukul 08.30 pada tanggal 1 dan 15 setiap bulan.

Langkah 5: Validasi data

Layanan Migrasi mentransfer data tetapi tidak menjamin konsistensi atau integritasnya. Setelah migrasi selesai, validasi semua data yang dimigrasikan untuk memastikan konsistensi antara sumber dan tujuan.

Peringatan

Setelah tugas migrasi selesai, Anda harus memverifikasi data yang dimigrasikan di tujuan. Anda bertanggung jawab penuh atas kehilangan data dan semua konsekuensi terkait jika Anda menghapus data sumber sebelum memastikan integritas data tujuan.