Data Online Migration：Persiapan

Langkah 1: Unggah file daftar

File daftar HTTP/HTTPS mencakup dua jenis file: file manifest.json dan satu atau beberapa file example.csv.gz. File example.csv.gz adalah file daftar CSV terkompresi dengan ukuran maksimum 100 MB per file. File manifest.json mendefinisikan skema manifes dan serangkaian file CSV.

1. Buat file daftar CSV

   Buat file daftar berformat CSV di mesin lokal Anda. Setiap baris merepresentasikan satu file, dipisahkan oleh line feed (\n), dan setiap file memiliki beberapa properti yang dipisahkan koma (,).

   Penting

   • Key dan Url wajib diisi; item lainnya bersifat opsional.

   • Setiap baris harus diakhiri dengan line feed. Jika tidak, tugas dapat terganggu akibat kegagalan penguraian CSV.

   • Item wajib

     Nama	Wajib	Deskripsi	Catatan
     Url	Ya	Data Online Migration menggunakan tautan ini untuk mengunduh konten file dengan permintaan GET dan untuk mendapatkan metadata file dengan permintaan HEAD. Catatan Pastikan bahwa Url dapat diakses melalui perintah seperti `curl --HEAD "$Url"` dan `curl --GET "$Url"`. Data Online Migration tidak mendukung pengalihan untuk `$Url`.	Item Url dan Key harus dikodekan. Jika tidak dikodekan dan mengandung karakter khusus, migrasi file mungkin gagal. Item Url: Lakukan URL encoding pada URL yang dapat diakses oleh alat baris perintah seperti curl (tanpa pengalihan). Prinsip pengkodean Key: Lakukan URL encoding pada nama objek yang diinginkan untuk file tersebut di OSS. Penting Setelah mengkodekan item Url dan Key, pastikan hal-hal berikut. Jika tidak, migrasi file mungkin gagal, atau jalur file di tujuan tidak sesuai harapan Anda. Tanda plus (+) dalam string asli dikodekan sebagai %2B. Tanda persen (%) dalam string asli dikodekan sebagai %25. Koma (,) dalam string asli dikodekan sebagai %2C. Sebagai contoh, jika string aslinya adalah a+b%c,d.file, maka string yang telah dikodekan seharusnya a%2Bb%25c%2Cd.file.
     Key	Ya	Nama objek setelah migrasi adalah `awalan + nama file`.

     Misalnya, Anda telah membuat file CSV bernama plain_example.csv yang belum dikodekan URL-nya. File tersebut hanya memiliki dua kolom: kolom pertama adalah Url, yang berisi URL yang dapat diakses langsung menggunakan perintah curl; kolom kedua adalah Key, yang merupakan nama objek yang diharapkan untuk file tersebut di OSS. Berikut contohnya:

     https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1354977961/p486238.jpg,assets/img/zh-CN/1354977961/p486238.jpg
     https://www.example-fake1.com/url-that-can-be-accessed-only-after-encoding/123.png,url-that-can-be-accessed-only-after-encoding/123.png
     https://www.example-fake2.com/url-that-can-be-accessed-without-encoding/123.png,url-that-can-be-accessed-without-encoding/123.png
     https://www.example-fake3.com/Chinese/Japanese/Korean/123.png,Chinese/Japanese/Korean/123.png

     Penting

     Jangan gunakan aplikasi Notepad bawaan Windows untuk mengedit manifest.json atau plain_example.csv karena aplikasi tersebut dapat menambahkan byte order mark (BOM) (0xefbbbf) pada tiga byte pertama file, yang dapat menyebabkan kesalahan penguraian di Data Online Migration. Di Linux atau macOS, jalankan perintah od -c plain_example.csv | less untuk memeriksa apakah tiga byte pertama file mengandung tanda tersebut. Di Windows, gunakan aplikasi seperti Notepad++ atau Visual Studio Code untuk membuat atau mengedit file.

     Kode Python contoh berikut membaca plain_example.csv baris demi baris dan menghasilkan keluaran berupa hasil pengkodean ke file example.csv. Kode ini hanya sebagai referensi dan dapat dimodifikasi sesuai kebutuhan.

     # -*- coding: utf-8 -*-
     import sys
     
     if sys.version_info.major == 3:
         from urllib.parse import quote_plus
     else:
         from urllib import quote_plus
         reload(sys)
         sys.setdefaultencoding("utf-8")
     
     # Jalur file CSV sumber.
     src_path = "plain_example.csv"
     # Jalur file hasil pengkodean URL.
     out_path = "example.csv"
     
     # Contoh CSV hanya berisi dua kolom: url dan key.
     with open(src_path) as fin, open(out_path, "w") as fout:
         for line in fin:
             items = line.strip().split(",")
             url, key = items[0], items[1]
             enc_url = quote_plus(url.encode("utf-8"))
             enc_key = quote_plus(key.encode("utf-8"))
             # Variabel enc_url dan enc_key berada dalam format terkodekan.
             fout.write(enc_url + "," + enc_key + "\n")
     

     Setelah menjalankan kode di atas, isi file example.csv adalah sebagai berikut:

     https%3A%2F%2Fhelp-static-aliyun-doc.aliyuncs.com%2Fassets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg,assets%2Fimg%2Fzh-CN%2F1354977961%2Fp486238.jpg
     https%3A%2F%2Fwww.example-fake1.com%2Furl-that-can-be-accessed-only-after-encoding%2F123.png,url-that-can-be-accessed-only-after-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake2.com%2Furl-that-can-be-accessed-without-encoding%2F123.png,url-that-can-be-accessed-without-encoding%2F123.png
     https%3A%2F%2Fwww.example-fake3.com%2FChinese%2FJapanese%2FKorean%2F123.png,Chinese%2FJapanese%2FKorean%2F123.png

   • Semua item

     Nama	Wajib	Catatan
     Key	Ya	Nama objek setelah migrasi adalah `awalan + nama file`.
     Url	Ya	Data Online Migration menggunakan tautan ini untuk mengunduh konten file dengan permintaan GET dan untuk mendapatkan metadata file dengan permintaan HEAD.
     Size	Tidak	Ukuran file yang akan dimigrasikan, dalam satuan byte. Catatan Bidang ini digunakan untuk menghitung penggunaan penyimpanan file yang dimigrasikan. Jika bidang ini tidak ada, grafik penggunaan penyimpanan di konsol tidak akan tersedia.

     Catatan

     Urutan item dalam contoh di atas tidak tetap dan harus sesuai dengan urutan item dalam bidang fileSchema di file manifest.json.

2. Kompres file CSV

   Kompres file CSV menjadi file .csv.gz. Metode kompresi berikut tersedia:

   • Kompres satu file

     Sebagai contoh, jika file bernama example.csv ada di direktori dir, jalankan perintah berikut untuk mengompresnya:

     gzip -c example.csv > example.csv.gz

     Catatan

     Saat menjalankan perintah gzip di atas untuk mengompres file, file sumber tidak disimpan. Untuk menyimpan file sumber, jalankan perintah gzip -c <source_file> > <source_file>.gz.

     Setelah kompresi, file .csv.gz dihasilkan.

   • Kompres beberapa file

     Sebagai contoh, jika tiga file bernama example1.csv, example2.csv, dan example3.csv ada di direktori dir, jalankan perintah berikut untuk mengompresnya:

     gzip -r dir

     Catatan

     Perintah gzip tidak memaketkan direktori, melainkan mengompres setiap file di direktori yang ditentukan secara terpisah tanpa menyimpan file sumber yang bersesuaian.

     Setelah kompresi, tiga file bernama example1.csv.gz, example2.csv.gz, dan example3.csv.gz dihasilkan di direktori dir.

3. Buat file manifest.json

   Anda dapat mengonfigurasi beberapa file CSV. Detailnya sebagai berikut:

   • fileFormat: Menentukan bahwa format file daftar adalah CSV.

   • fileSchema: Sesuai dengan item-item dalam file CSV. Perhatikan urutannya.

     Catatan

     Pastikan jumlah kolom dalam file CSV sama dengan jumlah bidang dalam konfigurasi ini. Layanan migrasi akan memeriksa konsistensinya.

   • files:

     • key: Lokasi file CSV di bucket.

     • MD5checksum: String MD5 heksadesimal 16 digit. Nilainya tidak peka huruf besar/kecil. Contoh: 91A76757B25C8BE78BC321DEEBA6A5AD. Jika nilai ini tidak ditentukan, tidak ada pemeriksaan yang dilakukan.

     • size: Ukuran file daftar.

   Contoh berikut hanya sebagai referensi.

   {
       "fileFormat":"CSV",
       "fileSchema":"Url, Key",
       "files":[{
           "key":"dir/example1.csv.gz",
           "MD5checksum":"",
           "size":0
       },{
           "key":"dir/example2.csv.gz",
           "MD5checksum":"",
           "size":0
       }]
   }

4. Unggah file manifes yang telah Anda buat ke OSS atau AWS S3.

   1. Unggah file manifest.json dan file daftar CSV terkompresi. Nama file daftar CSV harus sesuai dengan nama file CSV dalam file manifest.json.

   2. Catat jalur file manifest.json. Anda harus menentukan lokasi manifes saat membuat alamat data sumber.

Langkah 2: Buat bucket tujuan

Buat bucket Object Storage Service (OSS) sebagai tujuan untuk menyimpan data yang dimigrasikan. Untuk informasi selengkapnya, lihat Buat bucket.

Langkah 3: Buat Pengguna RAM dan berikan izin kepada Pengguna RAM

Masuk ke konsol RAM dengan Akun Alibaba Cloud. Di halaman Pengguna, temukan Pengguna RAM yang telah Anda buat dan klik Add Permissions di kolom Actions.

1. Kebijakan sistem: AliyunOSSImportFullAccess. Kebijakan ini memberikan izin untuk mengelola Data Online Migration.

2. Kebijakan kustom: Kebijakan harus mencakup izin ram:CreateRole, ram:CreatePolicy, ram:AttachPolicyToRole, dan ram:ListRoles.

   Untuk informasi selengkapnya tentang cara menyambungkan kebijakan kustom, lihat Buat kebijakan kustom. Kode contoh berikut memberikan contoh kebijakan kustom:

   {
       "Version":"1",
       "Statement":[
           {
               "Effect":"Allow",
               "Action":[
                   "ram:CreateRole",
                   "ram:CreatePolicy",
                   "ram:AttachPolicyToRole",
                   "ram:ListRoles"
               ],
               "Resource":"*"
           }
       ]
   }

Langkah 4: Berikan izin pada bucket manifes

Lakukan operasi yang sesuai berdasarkan apakah bucket yang menyimpan daftar inventaris dimiliki oleh Akun Alibaba Cloud saat ini.

Langkah 5: Berikan izin pada bucket tujuan

Lakukan operasi yang sesuai berdasarkan apakah bucket tujuan dimiliki oleh Akun Alibaba Cloud saat ini.

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "oss:List*",
        "oss:Get*",
        "oss:Put*",
        "oss:AbortMultipartUpload"
      ],
      "Principal": [
         "arn:sts::<myUid>:assumed-role/<roleName>/*"
      ],
      "Resource": [
        "acs:oss:*:<otherUid>:<otherDestBucket>",
        "acs:oss:*:<otherUid>:<otherDestBucket>/*"
      ]
    }
  ]
}