Data Online Migration:Migrasi data dari Amazon S3 ke OSS

Pertimbangan

Saat menggunakan Layanan Migrasi Data Online, perhatikan hal-hal berikut:

• Layanan Migrasi Data Online mengakses data sumber melalui API publik penyedia sumber. Perilaku layanan bergantung pada implementasi API penyedia tersebut.

• Migrasi mengonsumsi sumber daya di sisi sumber dan tujuan, yang dapat memengaruhi beban kerja Anda. Untuk layanan mission-critical, tetapkan batas laju atau jalankan tugas selama jam sepi.

• Layanan memeriksa file di sumber dan tujuan sebelum migrasi. Jika file dengan nama yang sama ada di kedua lokasi dan tugas dikonfigurasi untuk menimpa, file di tujuan akan ditimpa secara langsung. Cadangkan atau ubah nama file yang memiliki konten berbeda untuk mencegah kehilangan data.

• Migrasi online mempertahankan waktu modifikasi terakhir file sumber. Jika aturan siklus hidup dikonfigurasi pada bucket tujuan, file yang dimigrasikan mungkin dihapus atau dialihkan berdasarkan waktu modifikasi terakhirnya.

Batasan migrasi

• Anda hanya dapat memigrasikan data dari satu bucket dalam satu waktu. Anda tidak dapat memigrasikan seluruh akun dalam satu operasi.

• Atribut ditangani sebagai berikut saat memigrasikan dari Amazon S3:

  • Atribut yang didukung: x-amz-meta-*, LastModifyTime, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language, dan Expires.

  • Atribut yang tidak didukung: StorageClass, Acl, server-side encryption, dan tagging.

    Catatan

    Daftar ini tidak lengkap. Perilaku migrasi untuk atribut yang tidak tercantum tidak dijamin. Verifikasi hasil setelah migrasi selesai.

• Sumber data yang tidak kompatibel dengan antarmuka S3, seperti Volcano Engine (TOS) dan NetEase Cloud, mungkin gagal atau menghasilkan hasil yang tidak dapat diprediksi. Gunakan migrasi berbasis HTTP untuk sumber-sumber tersebut.

Langkah 1: Pilih wilayah

1. Login ke Konsol Migrasi Data Online sebagai RAM user yang telah Anda buat.

2. Di bilah navigasi atas, gunakan pemilih wilayah di pojok kiri atas untuk memilih wilayah penerapan layanan migrasi. Pilih wilayah sumber data atau wilayah yang paling dekat secara geografis.

   Wilayah penerapan yang tersedia: Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), Tiongkok (Shenzhen), dan Tiongkok (Ulanqab) di Tiongkok daratan, serta Tiongkok (Hong Kong), Singapura (Singapura), Jerman (Frankfurt), dan AS (Virginia).

   Penting

   • Alamat sumber data dan tugas migrasi spesifik untuk setiap wilayah. Pilih wilayah Anda dengan cermat.

   • Pilih wilayah sumber data Anda. Jika wilayah tersebut tidak tersedia, buat tugas migrasi di wilayah yang paling dekat secara geografis.

   • Untuk migrasi lintas batas, aktifkan Transfer Acceleration untuk meningkatkan kecepatan. Bucket yang diaktifkan Transfer Acceleration akan dikenai biaya akselerasi transfer. Akses OSS menggunakan Transfer Acceleration.

Langkah 2: Buat alamat sumber

1. Di panel navigasi kiri, buka Data Online Migration > Address Management lalu klik Create Address.

2. Di halaman Create Data Address, konfigurasikan parameter berikut lalu klik OK.

   Parameter	Wajib	Deskripsi
   Name	Ya	Masukkan nama untuk sumber. Nama harus memenuhi persyaratan berikut: Nama harus terdiri dari 3 hingga 63 karakter. Nama peka huruf besar/kecil dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Type	Ya	Pilih AWS S3.
   Domain name	Ya	Masukkan titik akhir layanan AWS S3. Titik akhir tercantum di Amazon S3 endpoints.
   AccessKeyId	Ya	Masukkan kunci akses pengguna IAM. Kunci ini mengotentikasi akses baca ke data sumber.
   SecretAccessKey	Ya
   Bucket	Ya	Masukkan nama bucket AWS S3 sumber. Catatan Nama bucket tidak boleh diawali atau diakhiri dengan spasi, line break, atau tab.
   Prefix	Tidak	Tentukan awalan untuk memigrasikan subset data. Jika ditentukan, hanya data di bawah awalan tersebut yang dimigrasikan. Awalan tidak boleh diawali dengan garis miring (/) tetapi harus diakhiri dengannya. Jika Anda mengosongkan parameter ini, semua data di bucket akan dimigrasikan.
   Tunnel	Tidak	Pilih saluran yang ingin Anda gunakan. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan yang dikelola sendiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Agen diperlukan jika tujuan adalah sistem file lokal (LocalFs) atau saat memigrasikan melalui koneksi khusus untuk layanan seperti Finance Cloud atau Apsara Stack.
   Agent	Tidak	Pilih satu atau beberapa agen. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan yang dikelola sendiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 3: Buat alamat tujuan

1. Di panel navigasi kiri, buka Data Online Migration > Address Management lalu klik Create Address.

2. Di panel Create Address, konfigurasikan parameter berikut lalu klik OK.

Parameter	Wajib	Deskripsi
Name	Ya	Masukkan nama untuk alamat tujuan. Nama harus: Nama harus terdiri dari 3 hingga 63 karakter. Nama peka huruf besar/kecil dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
Type	Ya	Pilih Alibaba OSS.
Custom domain name	Tidak	Tentukan nama domain kustom untuk tujuan.
Region	Ya	Pilih wilayah tujuan, seperti China (Hangzhou).
RAM role	Ya	Jika bucket tujuan berada di Akun Alibaba Cloud Anda saat ini: Otorisasi peran di konsol migrasi (disarankan). Otorisasi manual (alternatif). Jika bucket tujuan berada di akun Alibaba Cloud yang berbeda: Otorisasi peran di konsol OSS.
Bucket	Ya	Masukkan nama bucket tujuan di akun Anda saat ini.
Prefix	Tidak	Tentukan awalan untuk memigrasikan data ke direktori tertentu. Awalan tidak boleh diawali dengan / tetapi harus diakhiri dengan /, seperti data/to/oss/. Sebagai contoh, jika awalan sumber adalah example/src/ dan berisi file bernama example.jpg, serta Anda menetapkan awalan tujuan menjadi example/dest/, maka path lengkap file setelah migrasi adalah example/dest/example.jpg. Jika Anda mengosongkan bidang ini, data akan dimigrasikan ke direktori root bucket tujuan.
Tunnel	Tidak	Pilih saluran yang ingin Anda gunakan. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan yang dikelola sendiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Agen diperlukan jika tujuan adalah sistem file lokal (LocalFs) atau saat memigrasikan melalui koneksi khusus untuk layanan seperti Finance Cloud atau Apsara Stack.
Agent	Tidak	Pilih satu atau beberapa agen. Penting Parameter ini hanya diperlukan saat Anda memigrasikan data dari penyimpanan yang dikelola sendiri ke cloud, atau saat memigrasikan data melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 4: Buat tugas migrasi

1. Di panel navigasi kiri, pilih Data Online Migration > Migration Tasks, lalu klik Create Task.

2. Di halaman Select Address, konfigurasikan parameter berikut, lalu klik Next.

   Parameter	Wajib	Deskripsi
   Name	Ya	Masukkan nama untuk tugas migrasi. Nama harus memenuhi persyaratan berikut: Nama harus terdiri dari 3 hingga 63 karakter. Nama peka huruf besar/kecil dan hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Source Address	Ya	Pilih alamat sumber yang telah dibuat sebelumnya.
   Destination Address	Ya	Pilih alamat tujuan yang telah dibuat sebelumnya.

3. Di halaman Task Configurations, konfigurasikan parameter berikut.

   Parameter	Wajib	Deskripsi
   Pengaturan Dasar
   Migration Bandwidth	Tidak	Pengaturan bandwidth migrasi. Default: Menggunakan bandwidth maksimum yang tersedia. Kecepatan migrasi aktual bergantung pada ukuran file dan jumlah file. Specify an upper limit: Tentukan batas bandwidth sesuai petunjuk di konsol. Penting Bandwidth migrasi aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan pembatasan kecepatan di sisi tujuan. Bandwidth mungkin tidak mencapai batas atas yang ditentukan. Evaluasi sumber data, tujuan, beban kerja, dan bandwidth jaringan Anda sebelum menetapkan nilai ini. Pembatasan kecepatan yang tidak tepat dapat memengaruhi bisnis Anda.
   Files Migrated Per Second	Tidak	Jumlah file yang dimigrasikan per detik. Default: Jumlah default file yang dimigrasikan per detik. Specify an upper limit: Tentukan batas atas sesuai petunjuk di konsol. Penting Laju migrasi aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan pembatasan kecepatan di sisi tujuan. Laju mungkin tidak mencapai batas atas yang ditentukan. Evaluasi sumber data, tujuan, beban kerja, dan bandwidth jaringan Anda sebelum menetapkan nilai ini. Pembatasan kecepatan yang tidak tepat dapat memengaruhi bisnis Anda.
   Overwrite Mode	Ya	Cara menangani file dengan nama yang sama di tujuan. Do not overwrite: Melewatkan migrasi file tersebut. Overwrite All: File sumber menimpa file tujuan. Overwrite based on the last modification time: File tujuan ditimpa jika waktu modifikasi terakhir file sumber lebih baru. Jika waktu modifikasi terakhir sama, file tujuan ditimpa jika Size atau Content-Type-nya berbeda. Peringatan Kebijakan Overwrite based on the last modification time tidak menjamin bahwa file lama tidak akan menimpa file baru. Jika Anda memilih Overwrite based on the last modification time, pastikan data sumber Anda dapat mengembalikan metadata seperti last modified time, Size, dan Content-Type. Jika tidak, kebijakan penimpaan mungkin tidak berfungsi sebagaimana mestinya dan dapat menyebabkan hasil migrasi yang tidak diinginkan. Jika Anda memilih Do not overwrite atau Overwrite based on last modified time, layanan akan meminta metadata objek dari sumber dan tujuan untuk melakukan perbandingan. Hal ini menimbulkan biaya permintaan di kedua sisi.
   Auditing
   Migration Report	Ya	Metode pengiriman laporan migrasi. Do not push (Default): Laporan migrasi tidak didorong ke bucket tujuan. Push: Mendorong laporan migrasi ke bucket tujuan. Untuk path lengkapnya, lihat Langkah selanjutnya. Penting Mendorong laporan migrasi mengonsumsi storage space di bucket tujuan. Pengiriman laporan migrasi mungkin mengalami penundaan. Setiap catatan eksekusi tugas memiliki ID unik. Laporan migrasi hanya didorong sekali per catatan. Berhati-hatilah saat menghapusnya.
   Migration Logs	Ya	Metode pengiriman log migrasi. Do not push (Default): Log migrasi tidak didorong. Push: Mendorong log migrasi ke Log Service. Anda dapat melihat log migrasi di Log Service. Push only file error logs.: Hanya mendorong log kesalahan migrasi file ke Log Service. Anda dapat melihat log kesalahan tersebut di Log Service. Jika Anda memilih Push atau Push only file error logs., Layanan Migrasi Online akan membuat proyek di Log Service dengan nama aliyun-oss-import-log-ID akun Alibaba Cloud-wilayah saat ini. Contoh: aliyun-oss-import-log-137918634953****-cn-hangzhou. Penting Pastikan Anda telah menyelesaikan tindakan berikut sebelum memilih Push atau Push only file error logs.. Jika tidak, tugas migrasi mungkin gagal. Anda telah mengaktifkan Log Service. Anda telah memberikan izin yang diperlukan di halaman Authorize.
   Authorize	Tidak	Opsi ini hanya muncul jika Migration Logs diatur ke Push atau Push only file error logs.. Klik Authorize untuk membuka halaman Cloud Resource Access Authorization. Sistem akan membuat peran bernama AliyunOSSImportSlsAuditRole dan memberikan izin kepada peran tersebut. Klik Agree to Authorization untuk menyelesaikan otorisasi.
   Filter
   File Name	Tidak	Filter untuk nama file. Anda dapat menggunakan aturan filter Include dan Exclude berdasarkan sintaks ekspresi reguler pustaka RE2 (hanya subset ekspresi yang didukung). Contoh: .*\.jpg$ cocok dengan semua file yang diakhiri .jpg. ^file.* cocok dengan semua file di direktori root yang namanya diawali dengan file. Jika alamat sumber dikonfigurasi dengan awalan, misalnya data/to/oss/, Anda harus menggunakan ^data/to/oss/file.* untuk mencocokkan semua file di bawah awalan tersebut yang namanya diawali dengan file. .*/picture/.* cocok dengan file apa pun dalam subdirektori bernama picture di tingkat mana pun. Penting Jika Anda mengonfigurasi aturan include, file apa pun yang cocok dengan minimal satu aturan akan dimigrasikan. Contohnya, pertimbangkan dua file: picture.jpg dan picture.png. Jika Anda menambahkan aturan include .*\.jpg$, hanya picture.jpg yang dimigrasikan. Jika Anda juga menambahkan aturan include .*\.png$, kedua file tersebut akan dimigrasikan. Jika Anda mengonfigurasi aturan exclude, file apa pun yang cocok dengan minimal satu aturan tidak akan dimigrasikan. Contohnya, pertimbangkan dua file: picture.jpg dan picture.png. Jika Anda menambahkan aturan exclude .*\.jpg$, hanya picture.png yang dimigrasikan. Jika Anda juga menambahkan aturan exclude .*\.png$, tidak ada file yang dimigrasikan. Aturan exclude memiliki prioritas lebih tinggi daripada aturan include. File tidak akan dimigrasikan jika cocok dengan aturan exclude dan include sekaligus. Contohnya, pertimbangkan file file.txt. Jika Anda mengonfigurasi aturan exclude .*\.txt$ dan aturan include file.*, file file.txt tidak akan dimigrasikan.
   File Modification Time	Tidak	Filter berdasarkan waktu modifikasi terakhir file. Tentukan rentang waktu untuk hanya memigrasikan file yang dimodifikasi dalam rentang tersebut: Jika Anda hanya menentukan waktu mulai (misalnya, 1 Januari 2019) tanpa waktu akhir, hanya file yang terakhir dimodifikasi pada atau setelah 1 Januari 2019 yang dimigrasikan. Jika Anda hanya menentukan waktu akhir (misalnya, 1 Januari 2022) tanpa waktu mulai, hanya file yang terakhir dimodifikasi pada atau sebelum 1 Januari 2022 yang dimigrasikan. Jika Anda menentukan waktu mulai 1 Januari 2019 dan waktu akhir 1 Januari 2022, hanya file yang terakhir dimodifikasi pada atau setelah 1 Januari 2019 dan pada atau sebelum 1 Januari 2022 yang dimigrasikan.
   Pengaturan Migrasi
   Retain file last modified time	Ya	Apakah akan mempertahankan waktu modifikasi terakhir file sumber. Retain (Default): Waktu modifikasi terakhir file sumber dipertahankan pada objek tujuan. Do not retain: Waktu modifikasi terakhir tidak dipertahankan.
   Convert appendable objects to Normal or Multipart	Tidak	Apakah akan mengonversi objek Appendable menjadi objek Normal atau Multipart. Yes: Objek Appendable sumber dikonversi menjadi objek Normal atau Multipart di tujuan. No: Tidak dilakukan konversi. Objek Appendable sumber tetap sebagai objek Appendable di tujuan. Penting Opsi ini hanya ditampilkan dan dapat dikonfigurasi jika akun Anda berada dalam daftar allowlist. Opsi ini hanya didukung untuk tugas dengan tujuan OSS.
   Specify storage class for destination objects	Tidak	Apakah akan menetapkan kelas penyimpanan untuk objek tujuan. Specify: Objek yang dimigrasikan diatur ke kelas penyimpanan yang Anda tentukan. Kelas penyimpanan berikut tersedia: Standard Infrequent Access Archive Cold Archive Deep Cold Archive Do not specify (Default): Kelas penyimpanan tidak diubah. Objek yang dimigrasikan menggunakan kelas penyimpanan default bucket tujuan. Penting Opsi ini hanya ditampilkan dan dapat dikonfigurasi jika akun Anda berada dalam daftar allowlist. Opsi ini hanya didukung untuk tugas dengan tujuan OSS.
   Penjadwalan tugas
   Execution time	Tidak	Penting Jika tugas masih berjalan saat eksekusi berikutnya dijadwalkan, eksekusi saat ini akan diselesaikan, eksekusi terjadwal dilewati, dan tugas akan dijalankan pada interval berikutnya. Batas tugas migrasi konkuren: Maksimal 10 di wilayah Tiongkok daratan dan Tiongkok (Hong Kong), dan maksimal 5 di wilayah lainnya. Tentukan kapan tugas migrasi akan dijalankan. Immediately: Menjalankan tugas segera. At the Specified Time: Menetapkan jendela waktu harian untuk menjalankan tugas. Secara default, tugas dimulai pada waktu mulai yang ditentukan dan dijeda pada waktu berhenti yang ditentukan. Periodic Scheduling: Menjalankan tugas berdasarkan frekuensi dan jumlah eksekusi yang ditentukan. Execution Frequency: Frekuensi yang didukung adalah Hourly, Daily, Weekly, Specific days of the week, dan Custom. Execution frequency. Number of Executions: Menentukan jumlah kali tugas dijalankan. Jika tidak diatur, tugas dijalankan satu kali secara default. Untuk jumlah maksimum eksekusi, lihat petunjuk di konsol. Penting Anda dapat secara manual memulai dan menjeda tugas kapan saja, terlepas dari waktu eksekusi yang dijadwalkan.

4. Baca Perjanjian Layanan Migrasi Online, centang kotak untuk Saya telah memahami dan mengonfirmasi pernyataan komitmen kepatuhan, serta mengakui kewajiban dan tanggung jawab saya untuk memverifikasi konsistensi data yang dimigrasikan setelah tugas migrasi selesai, lalu klik Next.

5. Tinjau informasi konfigurasi. Jika sudah benar, klik OK dan tunggu tugas migrasi berjalan.

Execution frequency

Langkah 5: Validasi data