Data Online Migration:Migrasi dari OSS ke sistem file lokal

Pertimbangan

Perhatikan hal-hal berikut saat melakukan migrasi data:

• Directory To Be Migrated harus merupakan jalur mutlak yang diawali dan diakhiri dengan garis miring (/). Jalur tersebut tidak boleh mengandung variabel lingkungan atau karakter khusus.

• Pastikan Directory To Be Migrated ada dan valid.

• Layanan migrasi menggunakan API publik standar dari penyedia storage sumber untuk mengakses data sumber. Perilaku layanan bergantung pada implementasi API spesifik penyedia tersebut.

• Migrasi mengonsumsi sumber daya baik di sumber maupun tujuan. Untuk menghindari dampak terhadap beban kerja yang kritis bagi bisnis, konfigurasikan pembatasan bandwidth atau jalankan tugas selama jam sepi.

• Layanan memeriksa file di kedua alamat sebelum migrasi. Jika mode overwrite diaktifkan, file tujuan dengan nama yang sama akan ditimpa. Untuk mencegah kehilangan data ketika isi file berbeda, ubah nama atau cadangkan file tujuan sebelum memulai migrasi.

Batasan migrasi

• Jika hosting situs web statis diaktifkan untuk bucket sumber, pemindaian migrasi dapat mendeteksi direktori yang tidak ada. Misalnya, mengunggah myapp/resource/1.jpg menyebabkan pemindaian mendeteksi myapp/, myapp/resource/, dan myapp/resource/1.jpg. Migrasi myapp/ dan myapp/resource/ gagal, tetapi myapp/resource/1.jpg berhasil dimigrasikan.

• Jika nama objek sumber diakhiri dengan garis miring (/), atributnya diterapkan ke direktori yang sesuai pada sistem file tujuan. Mode overwrite tugas diabaikan untuk objek semacam ini.

• Jika bucket sumber berisi objek yang namanya diakhiri dengan garis miring (/), objek tersebut diperlakukan sebagai direktori di tujuan. Misalnya, jika sumber berisi objek a/, a/b/, dan a/b/c/, ini akan membuat jalur direktori bersarang a/b/c/ setelah migrasi.

• Anda hanya dapat memigrasikan data dari satu bucket per tugas migrasi. Untuk memigrasikan data dari seluruh akun, Anda harus membuat tugas terpisah untuk setiap bucket.

• Migrasi dari Alibaba Finance Cloud atau Alibaba Gov Cloud tidak didukung.

• Migrasi data dari Alibaba Cloud OSS ke sistem file lokal tidak mempertahankan semua atribut objek:

  • Didukung: LastModifyTime dimigrasikan dan diatur sebagai ModifyTime pada sistem file lokal.

  • Tidak didukung (tidak lengkap): x-oss-meta-*, Content-Type, Cache-Control, Content-Encoding, Content-Disposition, Content-Language, Expires, StorageClass, Acl, server-side encryption, tagging, dan header yang ditentukan pengguna seperti x-oss-persistent-header.

    Catatan

    Perilaku atribut yang tidak tercantum tidak dijamin. Selalu verifikasi data Anda di tujuan setelah migrasi.

Langkah 1: Pilih wilayah

1. Login ke Konsol Data Online Migration dengan RAM user.

2. Di pojok kiri atas bilah navigasi atas, pilih wilayah agen.

   Penting

   • Tunnel, agen, alamat data, dan tugas migrasi bersifat spesifik wilayah. Pilih wilayah Anda dengan cermat.

   • Pilih wilayah agen. Jika tidak tersedia, pilih wilayah terdekat.

Langkah 2: Buat tunnel

1. Di panel navigasi kiri, pilih Data Online Migration > Channel Management, lalu klik Create Tunnel.

2. Pada kotak dialog Create Tunnel, konfigurasikan parameter berikut dan klik OK.

   Parameter	Wajib	Deskripsi
   Name	Ya	Nama tunnel. Nama tidak boleh kosong dan panjangnya maksimal 100 karakter. Nama dapat berisi huruf, angka, tanda hubung (-), dan garis bawah (_).
   Maximum Bandwidth	Ya	Bandwidth maksimum yang dapat digunakan oleh tunnel. Jika Anda tidak mengonfigurasi parameter ini, nilai default 0 digunakan, yang menunjukkan bahwa bandwidth untuk tunnel tidak dibatasi. Jika Anda mengonfigurasi parameter ini, masukkan nilai berdasarkan catatan di konsol. Penting Bandwidth yang tersedia untuk tunnel bergantung pada bandwidth aktual koneksi jaringan.
   Requests/s	Ya	Jumlah maksimum permintaan per detik melalui tunnel. Jika Anda tidak mengonfigurasi parameter ini, nilai default 0 digunakan, yang menunjukkan bahwa jumlah permintaan per detik melalui tunnel tidak dibatasi. Jika Anda mengonfigurasi parameter ini, masukkan nilai berdasarkan catatan di konsol. Peringatan Kami menyarankan Anda mengevaluasi kemampuan sistem storage sumber data sebelum mengonfigurasi parameter ini. Jika Anda mengatur parameter ini ke nilai yang terlalu besar, bisnis Anda akan terpengaruh. Kami menyarankan Anda memasukkan nilai berdasarkan catatan di konsol.

Langkah 3: Buat agen

1. Di panel navigasi kiri, pilih Data Online Migration > Agent Management, lalu klik New Agent.

2. Pada kotak dialog New Agent, konfigurasikan parameter berikut, lalu klik OK.

   Parameter	Wajib	Deskripsi
   Name	Ya	Nama agen. Nama harus terdiri dari 3 hingga 63 karakter. Nama dapat berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Nama bersifat case-sensitive. Nama harus dikodekan dalam UTF-8 dan tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Network Type	Ya	Jenis koneksi jaringan untuk agen. Opsi berikut tersedia: VPC (Direkomendasikan): Agen terhubung ke layanan Data Online Migration melalui VPC. Metode ini mengharuskan mesin yang menjalankan agen dapat mengakses titik akhir internal Data Online Migration di wilayah yang sesuai. Misalnya, jika Anda menggunakan Data Online Migration di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir internal {TunnelId}.cn-beijing.mgw-tc-internal.aliyuncs.com. Kami menyarankan menggunakan Instance ECS di wilayah yang sama dengan konsol Data Online Migration untuk men-deploy agen. Public network: Agen terhubung ke layanan Data Online Migration melalui jaringan publik. Metode ini mengharuskan mesin yang menjalankan agen dapat mengakses titik akhir publik Data Online Migration di wilayah yang sesuai. Misalnya, jika Anda menggunakan Data Online Migration di wilayah China (Beijing), mesin agen harus dapat mengakses titik akhir publik {TunnelId}.cn-beijing.mgw-tc.aliyuncs.com. Catatan {TunnelId} adalah placeholder untuk ID tunnel. Anda dapat menggunakan perintah ping untuk menguji konektivitas jaringan antara agen dan layanan Data Online Migration.
   Deployment method	Ya	Metode penyebaran agen. Saat ini, hanya penyebaran proses standalone yang didukung.
   Tunnel	Ya	Tunnel yang akan dikaitkan dengan agen. Satu agen hanya dapat dikaitkan dengan satu tunnel. Bandwidth agen dibatasi oleh total bandwidth tunnel. Sebagai contoh, tunnel bernama tunnel-1 dikonfigurasi dengan bandwidth maksimum 10 Gbit/s. tunnel-1 dikaitkan dengan tiga agen: agent-1, agent-2, dan agent-3. Total bandwidth ketiga agen tersebut tidak boleh melebihi 10 Gbit/s. Jika agent-1 dialokasikan bandwidth 3 Gbit/s, hanya tersisa 7 Gbit/s bandwidth untuk agent-2 dan agent-3. Rencanakan dan alokasikan bandwidth Anda dengan cermat.

3. Hasilkan skrip penyebaran agen. Untuk petunjuknya, lihat Generate agent deployment script.

Langkah 4: Buat alamat sumber

1. Di panel navigasi kiri, pilih Data Online Migration > Address Management, lalu klik Create Address.

2. Pada panel Create Address, konfigurasikan parameter berikut dan klik OK.

   Parameter	Wajib	Deskripsi
   Name	Ya	Masukkan nama sumber. Persyaratan: Panjang 3 hingga 63 karakter. Case-sensitive. Hanya mengizinkan huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Type	Ya	Pilih OSS.
   Region	Ya	Pilih wilayah bucket sumber, misalnya China (Hangzhou).
   RAM role	Ya	Jika bucket sumber milik Akun Alibaba Cloud Anda: Otorisasi peran secara otomatis di konsol migrasi (Direkomendasikan). Otorisasi peran secara manual di konsol migrasi (Alternatif). Jika bucket sumber milik Akun Alibaba Cloud yang berbeda: Otorisasi peran di konsol OSS.
   Bucket	Ya	Masukkan nama bucket sumber.
   Agent	Tidak	Pilih satu atau beberapa agen. Penting Hanya wajib untuk migrasi dari self-managed ke cloud, atau migrasi melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 5: Buat alamat tujuan

1. Di panel navigasi kiri, pilih Data Online Migration > Address Management, lalu klik Create Address.

2. Pada panel Create Address, konfigurasikan parameter berikut dan klik OK.

   Parameter	Wajib	Deskripsi
   Name	Ya	Masukkan nama tujuan. Persyaratan: Panjang 3 hingga 63 karakter. Case-sensitive. Hanya mengizinkan huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Type	Ya	Pilih LocalFS.
   Directory To Be Migrated	Ya	Awalan jalur untuk direktori tujuan. Data sumber dimigrasikan ke lokasi ini. Jalur harus merupakan jalur mutlak yang diawali dan diakhiri dengan garis miring (/). Variabel lingkungan dan karakter khusus tidak didukung. Sebagai contoh, pertimbangkan alamat data sumber dengan awalan /example/src/ yang berisi file example.jpg. Jika Anda mengatur parameter ini ke /example/dest/, file tersebut dimigrasikan ke /example/dest/example.jpg. Penting Jika alamat data dikaitkan dengan beberapa agen, pastikan setiap agen dapat mengakses direktori tersebut. Jika tidak, beberapa data mungkin gagal dimigrasikan.
   Tunnel	Ya	Pilih saluran yang akan digunakan. Penting Hanya wajib untuk migrasi dari self-managed ke cloud, atau migrasi melalui koneksi khusus atau VPN. Agen diperlukan ketika tujuan adalah sistem file lokal (LocalFs) atau ketika migrasi dilakukan melalui koneksi khusus untuk layanan seperti Finance Cloud atau Apsara Stack.
   Agent	Ya	Pilih satu atau beberapa agen. Penting Hanya wajib untuk migrasi dari self-managed ke cloud, atau migrasi melalui koneksi khusus atau VPN. Anda dapat memilih hingga 200 agen untuk saluran tertentu.

Langkah 6: Buat tugas migrasi

1. Di panel navigasi kiri, pilih Data Online Migration > Migration Tasks, lalu klik Create Task.

2. Pada halaman Select Address, konfigurasikan parameter berikut, lalu klik Next.

   Parameter	Wajib	Deskripsi
   Name	Ya	Masukkan nama tugas. Persyaratan: Panjang 3 hingga 63 karakter. Case-sensitive. Hanya mengizinkan huruf kecil, angka, tanda hubung (-), dan garis bawah (_). Tidak boleh diawali dengan tanda hubung (-) atau garis bawah (_).
   Source Address	Ya	Pilih alamat sumber yang telah dibuat sebelumnya.
   Destination Address	Ya	Pilih alamat tujuan yang telah dibuat sebelumnya.

3. Pada halaman Task Configurations, konfigurasikan parameter berikut.

   Parameter	Wajib	Deskripsi
   Pengaturan dasar
   Migration Bandwidth	Tidak	Batas bandwidth untuk migrasi. Default: Menggunakan bandwidth maksimum yang tersedia. Kecepatan migrasi aktual bergantung pada ukuran file dan jumlah file. Specify an upper limit: Tentukan batas bandwidth seperti yang diminta di konsol. Penting Bandwidth aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan pembatasan di tujuan. Batas tersebut mungkin tidak tercapai. Evaluasi sumber data, tujuan, beban kerja, dan kapasitas jaringan Anda sebelum mengatur nilai ini. Pembatasan yang tidak tepat dapat memengaruhi bisnis Anda.
   Files Migrated Per Second	Tidak	Jumlah file yang dimigrasikan per detik. Default: Menggunakan laju migrasi default. Specify an upper limit: Tentukan batas atas seperti yang diminta di konsol. Penting Laju aktual bergantung pada sumber data, ukuran file, kondisi jaringan, dan pembatasan di tujuan. Batas tersebut mungkin tidak tercapai. Evaluasi sumber data, tujuan, beban kerja, dan kapasitas jaringan Anda sebelum mengatur nilai ini. Pembatasan yang tidak tepat dapat memengaruhi bisnis Anda.
   Overwrite Mode	Tidak	Perilaku ketika file dengan nama yang sama sudah ada di tujuan. Do not overwrite: Melewati migrasi file tersebut. Overwrite All: File sumber menimpa file tujuan. Overwrite based on the last modification time: File tujuan ditimpa jika waktu modifikasi terakhir file sumber lebih baru. Jika waktu modifikasi terakhir sama, file tujuan ditimpa jika Size atau Content-Type-nya berbeda. Peringatan Kebijakan Overwrite based on the last modification time tidak menjamin bahwa file yang lebih lama tidak akan menimpa file yang lebih baru. Jika Anda memilih Overwrite based on the last modification time, pastikan data sumber Anda dapat mengembalikan metadata seperti last modified time, Size, dan Content-Type. Jika tidak, kebijakan overwrite mungkin tidak berfungsi sebagaimana mestinya dan dapat menyebabkan hasil migrasi yang tidak diinginkan. Jika Anda memilih Do not overwrite atau Overwrite based on last modified time, layanan akan meminta metadata objek dari sumber dan tujuan untuk melakukan perbandingan. Hal ini menimbulkan biaya permintaan di sumber dan tujuan.
   Pengaturan audit
   Migration Report	Ya	Metode pengiriman laporan migrasi. Jangan dorong (Bawaan): Laporan tidak didorong ke tujuan. Push: Laporan didorong ke LocalFS tujuan. Jalur laporan dijelaskan di Operasi selanjutnya. Penting Mendorong laporan migrasi mengonsumsi storage space di tujuan. Pengiriman laporan mungkin tertunda. Tunggu hingga laporan dihasilkan. Setiap eksekusi tugas memiliki ID unik. Laporan hanya didorong sekali. Berhati-hatilah saat menghapus laporan.
   Migration Logs	Ya	Metode pengiriman log migrasi. Do not push (Default): Tidak didorong. Push: Mendorong log migrasi lengkap ke Log Service. Push only file error logs.: Hanya mendorong log error ke Log Service. Jika Anda memilih Push atau Push only file error logs., layanan akan membuat proyek Log Service bernama aliyun-oss-import-log-{ID akun Alibaba Cloud}-{wilayah}. Contoh: aliyun-oss-import-log-137918634953****-cn-hangzhou. Penting Lengkapi hal berikut sebelum memilih Push atau Push only file error logs.. Jika tidak, tugas migrasi mungkin gagal. Log Service telah diaktifkan. Izin yang diperlukan telah diberikan di halaman Authorize.
   Authorize	Tidak	Opsi ini hanya muncul ketika Migration Logs diatur ke Push atau Push only file error logs.. Klik Authorize untuk membuka halaman Cloud Resource Access Authorization. Sistem akan membuat peran bernama AliyunOSSImportSlsAuditRole dan memberikan izin kepada peran tersebut. Klik Agree to Authorization untuk menyelesaikan otorisasi.
   Filter
   File Name	Tidak	Filter untuk nama file. Gunakan aturan Include dan Exclude berdasarkan sintaks ekspresi reguler pustaka RE2 (hanya subset yang didukung). Contoh: .*\.jpg$ cocok dengan semua file yang diakhiri dengan .jpg. ^file.* cocok dengan semua file di direktori root yang namanya diawali dengan file. Jika alamat sumber dikonfigurasi dengan awalan, misalnya data/to/oss/, Anda harus menggunakan ^data/to/oss/file.* untuk mencocokkan semua file di bawah awalan tersebut yang namanya diawali dengan file. .*/picture/.* cocok dengan file apa pun dalam subdirektori bernama picture di tingkat mana pun. Penting Jika Anda mengonfigurasi aturan include, file apa pun yang cocok dengan setidaknya satu aturan akan dimigrasikan. Sebagai contoh, pertimbangkan dua file: picture.jpg dan picture.png. Jika Anda menambahkan aturan include .*\.jpg$, hanya picture.jpg yang dimigrasikan. Jika Anda juga menambahkan aturan include .*\.png$, kedua file tersebut dimigrasikan. Jika Anda mengonfigurasi aturan exclude, file apa pun yang cocok dengan setidaknya satu aturan tidak akan dimigrasikan. Sebagai contoh, pertimbangkan dua file: picture.jpg dan picture.png. Jika Anda menambahkan aturan exclude .*\.jpg$, hanya picture.png yang dimigrasikan. Jika Anda juga menambahkan aturan exclude .*\.png$, tidak ada file yang dimigrasikan. Aturan exclude memiliki prioritas lebih tinggi daripada aturan include. File tidak dimigrasikan jika cocok dengan aturan exclude dan aturan include sekaligus. Sebagai contoh, pertimbangkan file file.txt. Jika Anda mengonfigurasi aturan exclude .*\.txt$ dan aturan include file.*, file file.txt tidak dimigrasikan.
   File Modification Time	Tidak	Filter berdasarkan waktu modifikasi terakhir. Tentukan rentang waktu untuk hanya memigrasikan file yang dimodifikasi dalam rentang tersebut: Jika Anda hanya menentukan waktu mulai (misalnya, 1 Januari 2019) dan tidak menentukan waktu akhir, hanya file yang terakhir dimodifikasi pada atau setelah 1 Januari 2019 yang dimigrasikan. Jika Anda hanya menentukan waktu akhir (misalnya, 1 Januari 2022) dan tidak menentukan waktu mulai, hanya file yang terakhir dimodifikasi pada atau sebelum 1 Januari 2022 yang dimigrasikan. Jika Anda menentukan waktu mulai 1 Januari 2019 dan waktu akhir 1 Januari 2022, hanya file yang terakhir dimodifikasi pada atau setelah 1 Januari 2019 dan pada atau sebelum 1 Januari 2022 yang dimigrasikan.
   Migrate special entities	Tidak	Mengontrol apakah jenis entitas khusus dimigrasikan. Symbolic link: Enabled: Tautan simbolik sumber ditambahkan ke antrean migrasi dan dihitung dalam statistik file dan storage. File tautan simbolik yang sesuai dibuat di tujuan dengan atribut berdasarkan atribut UserMeta yang dapat dimigrasikan. Atribut Target bergantung pada opsi Convert target. Disabled: Tautan simbolik sumber diabaikan dan tidak termasuk dalam hitungan file dan statistik storage. Penting Objek yang ditunjuk oleh tautan simbolik tidak dimigrasikan secara otomatis. Objek tersebut hanya dimigrasikan jika termasuk dalam cakupan tugas.
   Konfigurasi migrasi
   Convert target	Tidak	Mengontrol apakah atribut Target tautan simbolik sumber dikonversi untuk memastikan tautan yang dimigrasikan mengarah ke file target yang benar. Penting Opsi ini hanya berlaku ketika migrasi tautan simbolik diaktifkan. Terlepas dari apakah target dikonversi atau tidak, layanan migrasi tidak memeriksa apakah file target ada, apakah jenisnya valid, atau apakah Anda memiliki izin akses yang diperlukan. Enabled: Dilakukan penggantian string. Jika atribut Target tautan simbolik sumber cocok dengan awalan sumber (SrcPrefix), awalan tersebut diganti dengan awalan tujuan (DestPrefix). Hasilnya diatur sebagai atribut Target untuk tautan simbolik tujuan. Catatan Contoh: Asumsikan tugas migrasi dikonfigurasi dengan SrcPrefix="cloud_base/" dan DestPrefix="/mnt/nas1/". Objek tautan simbolik sumber ada di cloud_base/links/a.lnk. Jika atribut Target-nya adalah "cloud_base/data/a.txt", penggantian cocok. Target akhir di tujuan akan menjadi "/mnt/nas1/data/a.txt". Jika atribut Target-nya adalah "cloud_outer/data/a.txt", tidak ada kecocokan. Target akhir di tujuan tetap "cloud_outer/data/a.txt". Disabled: Tidak dilakukan konversi. Atribut Target asli dari tautan simbolik sumber diatur pada tautan simbolik tujuan.
   Preserve last modification time	Ya	Mengontrol apakah waktu modifikasi terakhir file sumber dipertahankan. Preserve (Default): Waktu modifikasi terakhir file sumber diatur pada file tujuan. Do not preserve: Waktu modifikasi terakhir tidak dipertahankan.
   Penjadwalan tugas
   Execution time	Tidak	Penting Jika tugas masih berjalan saat eksekusi berikutnya dijadwalkan, eksekusi saat ini akan selesai, eksekusi yang dijadwalkan dilewati, dan tugas akan dieksekusi pada interval berikutnya. Batas tugas migrasi konkuren: Maksimal 10 di wilayah daratan Tiongkok dan China (Hong Kong), serta maksimal 5 di wilayah lainnya. Tentukan kapan tugas akan dijalankan. Immediately: Menjalankan tugas langsung. At the Specified Time: Menetapkan jendela waktu harian untuk menjalankan tugas. Secara default, tugas dimulai pada waktu mulai yang ditentukan dan dijeda pada waktu berhenti yang ditentukan. Periodic Scheduling: Menjalankan tugas berdasarkan frekuensi dan jumlah eksekusi yang ditentukan. Execution Frequency: Frekuensi yang didukung adalah Hourly, Daily, Weekly, Specific days of the week, dan Custom. Execution frequency. Number of Executions: Menentukan jumlah kali tugas dijalankan. Jika tidak diatur, tugas dijalankan satu kali secara default. Untuk jumlah maksimum eksekusi, lihat petunjuk di konsol. Penting Anda dapat memulai atau menjeda tugas secara manual kapan saja, terlepas dari waktu eksekusi yang dijadwalkan.

4. Baca Online Migration Service Agreement, centang kotak untuk Saya telah memahami dan mengonfirmasi pernyataan komitmen kepatuhan, dan saya mengakui kewajiban serta tanggung jawab saya untuk memverifikasi konsistensi data yang dimigrasikan setelah tugas migrasi selesai, lalu klik Next.

5. Tinjau konfigurasi dan klik OK dan tunggu tugas migrasi berjalan.

Frekuensi eksekusi

Langkah 7: Verifikasi data