Prasyarat untuk menggunakan MaxCompute Migration Service (MMS) - MaxCompute

Topik ini menjelaskan prasyarat untuk menggunakan MaxCompute Migration Service (MMS).

Wilayah yang didukung

MMS tersedia di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), China (Shanghai) Finance, Indonesia (Jakarta), Singapura, Jepang (Tokyo), AS (Virginia), dan Jerman (Frankfurt).

Penting

Hentikan operasi write pada tabel sumber dan partisi sebelum memulai migrasi data untuk mencegah kegagalan validasi data.
Keamanan data sumber: Saat menggunakan MMS untuk memigrasikan data MaxCompute antar akun atau dalam akun yang sama, data yang dimigrasikan ditambahkan ke proyek tujuan tanpa menghapus data sumber.

Prosedur

Langkah 1. Buat proyek MaxCompute tujuan

Proyek adalah unit organisasi dasar dalam MaxCompute.

Sebelum Anda memigrasikan data, pilih proyek MaxCompute tujuan untuk data sumber.
Selama migrasi, proyek MaxCompute menjalankan berbagai pekerjaan migrasi.

Oleh karena itu, buat proyek MaxCompute sebelum memigrasikan data. Jika Anda sudah memiliki proyek yang ada, langkah ini dapat dilewati. Untuk membuat proyek di Konsol MaxCompute, ikuti langkah-langkah berikut:

Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih Manage Configurations > Projects.
Di tab Internal Project, klik Create Project.
Di kotak dialog Create Project, konfigurasikan pengaturan dan klik OK.
Untuk informasi lebih lanjut tentang parameter, lihat Buat proyek MaxCompute.

Langkah 2. Siapkan koneksi jaringan VPC

Jika Anda sudah memiliki koneksi jaringan VPC di wilayah saat ini, langkah ini dapat dilewati.

Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih Manage Configurations > Network Connection.
Di halaman Network Connection, klik Add Network Connection.

Di kotak dialog Add Network Connection, konfigurasikan parameter sesuai petunjuk dan klik OK. Saat menambahkan koneksi jaringan untuk pertama kalinya, Anda harus terlebih dahulu memberikan otorisasi agar proxy platform MaxCompute dapat meminta kartu antarmuka jaringan. Jika tidak, koneksi tidak dapat dibuat.

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Wajib	Deskripsi
Connection Name:	Wajib	Nama kustom untuk koneksi. Nama harus memenuhi persyaratan berikut: Dimulai dengan huruf. Hanya berisi huruf, garis bawah (_), dan angka. Panjangnya antara 1 hingga 63 karakter.
Type:	Wajib	Nilai default-nya adalah Passthrough. Koneksi Passthrough adalah koneksi VPC.
Region:	Wajib	Sistem secara otomatis mengisi parameter ini berdasarkan wilayah yang Anda pilih di pojok kiri atas. Untuk informasi lebih lanjut, lihat Wilayah yang didukung.
VPC Selected:	Wajib	Virtual private cloud (VPC) adalah jaringan virtual terisolasi. VPC menyediakan ruang jaringan pribadi yang aman dan dapat dikonfigurasi, mirip dengan pusat data tradisional. ID VPC. Untuk membuat VPC baru, lihat Buat atau hapus VPC. Untuk mendapatkan ID: Masuk ke Konsol Manajemen VPC. Di panel navigasi kiri, pilih VPC, lalu pilih wilayah di pojok kiri atas. Di halaman VPC, dapatkan Instance ID/Name VPC. Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
Switch:	Wajib	vSwitch digunakan untuk membuat subnet. vSwitch yang berbeda dalam VPC yang sama dapat saling berkomunikasi melalui jaringan internal. Anda dapat menempatkan sumber daya cloud di beberapa vSwitch di zona berbeda untuk melindungi aplikasi dari kegagalan di satu zona. ID vSwitch yang terhubung ke VPC. Jika tidak tersedia vSwitch, lihat Buat atau hapus vSwitch. Untuk mendapatkan ID: Login ke 专有网络管理控制台. Di panel navigasi kiri, pilih vSwitch, lalu pilih wilayah di pojok kiri atas. Di halaman vSwitch, dapatkan Instance ID/Name switch. Jika Anda menghubungkan ke kluster HBase atau Hadoop, informasi ini dapat ditemukan di detail koneksi jaringan pada konsol yang sesuai.
Security group:	Wajib	Security group bertindak sebagai firewall virtual untuk sumber daya cloud Anda. Dengan mengelola security group dan aturannya, Anda dapat menerapkan isolasi jaringan dan kontrol akses detail halus. ID security group. Untuk membuat security group, lihat Buat security group.

Pekerjaan migrasi perlu mengakses sumber data Anda. Pastikan VPC dapat mengakses internet atau koneksi privat ke sumber data Anda.
- Jika sumber data Anda berada di internet publik, gunakan NAT Gateway untuk menyediakan akses internet. Untuk informasi lebih lanjut, lihat Gunakan NAT Gateway untuk traffic outbound internet.
- Jika sumber data Anda berada di pusat data on-premises, hubungkan ke Alibaba Cloud menggunakan sirkuit Express Connect. Untuk informasi lebih lanjut, lihat Express Connect.

Langkah 3. Buat peran terkait layanan

Sebelum menggunakan MMS untuk pertama kalinya, Anda harus membuat peran terkait layanan. MMS menggunakan peran <a href="https://ram.console.alibabacloud.com/policies/AliyunServiceRolePolicyForMaxComputeMMS/System/content" id="50553e362a7fv" target="_blank">AliyunServiceRoleForMaxComputeMMS</a> untuk mengakses sumber daya Anda di MaxCompute dan layanan Alibaba Cloud lainnya.

Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat langsung membuat peran terkait layanan tersebut.
Jika Anda menggunakan Pengguna RAM, Anda harus terlebih dahulu memberikan kebijakan <a href="https://ram.console.alibabacloud.com/policies/detail?policyType=System&policyName=AliyunRAMFullAccess" id="72a764ec52c0q" target="_blank">AliyunRAMFullAccess</a> kepadanya. Untuk informasi selengkapnya, lihat Mengelola izin Peran RAM.
Anda dapat membuat peran terkait layanan melalui Konsol MaxCompute atau Konsol Resource Access Management (RAM).
Konsol MaxCompute
1. Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
2. Di panel navigasi sebelah kiri, pilih Data Transfer > Migration Service.
3. Di tab Data Source, klik Add Data Source.
4. Untuk membuat peran terkait layanan, klik OK di kotak dialog MaxCompute Service-linked Role. Jika kotak dialog ini tidak muncul, berarti peran tersebut sudah ada.
Konsol RAM
1. Login ke Konsol RAM.
2. Di bilah navigasi kiri, pilih Identities > Roles.
3. Di halaman Roles, klik Create Role.
4. Di pojok kanan atas halaman Create Role, klik Create Service Linked Role.
5. Di halaman Create Service Linked Role, di bawah Select Service, pilih AliyunServiceRoleForMaxComputeMMS, lalu klik Create Service Linked Role.

Langkah 4. Konfigurasikan izin

Berikan izin peran terkait layanan pada data MaxCompute

Konsol MaxCompute

Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih Manage Configurations > Projects.
Di halaman Projects, klik Manage di kolom Actions untuk proyek target.

Konfigurasikan izin operasi data

Peran admin

Di halaman Project Settings, klik tab Role Permissions.
Temukan peran admin dan klik Manage Members di kolom Actions.
Di kotak dialog Manage Members, masukkan RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS di bidang Add Member Manually. Ganti <account_id> dengan ID akun Alibaba Cloud Anda.
Klik OK.

Peran khusus untuk MMS

Buat peran tingkat proyek khusus di MaxCompute dan berikan hanya izin operasi data yang diperlukan untuk MMS.

Di halaman Project Settings, klik tab Role Permissions.

Klik Create Project-level Role, konfigurasikan parameter sesuai petunjuk, lalu klik Confirm.

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Required	Description
Role Name	Required	The name must be 1 to 64 characters in length, and can contain letters and digits. The name must start with a letter.
Role Type	Required	Admin: Sebuah role management. Anda dapat memberikan izin management dengan menggunakan policy, tetapi tidak dapat memberikan izin resource. Anda tidak dapat memberikan izin management dengan menggunakan ACL. Resource: Sebuah role tipe resource. Anda dapat memberikan izin resource dengan menggunakan policy atau ACL, tetapi tidak dapat memberikan izin management.
Authorization Method	Required	Access Control List (ACL): Mekanisme otorisasi berbasis daftar putih yang memungkinkan pengguna atau role melakukan aksi tertentu pada objek tertentu. Policy: Mekanisme yang mendukung aturan allow maupun deny, cocok untuk perusahaan besar dan skenario kompleks yang memerlukan kontrol detail halus.

Berikan izin kepada pengguna untuk melakukan operasi pada proyek, tabel, model, sumber daya, fungsi, atau instans. Tabel berikut mencantumkan izin yang dapat Anda berikan.

Objek	Izin
Table	Describe, Select, Update, Alter, Drop, ShowHistory, Download
Resource	Read, Write, Download, Delete
Function	Read, Write, Download, Execute, Delete
Package	Read
Project	Read, Write, List, CreateTable, CreateInstance

Kembali ke tab Role Permissions, temukan peran tingkat proyek yang baru dibuat, lalu klik Manage Members di kolom Actions. Pilih akun Alibaba Cloud atau Pengguna RAM yang diinginkan, lalu klik OK untuk memberikan izin. Jika Anda tidak menemukan akun tersebut saat mencari, Anda dapat menambahkannya di bagian Add Member Manually.

SQL

Hubungkan ke MaxCompute menggunakan klien MaxCompute (odpscmd) dan tambahkan peran terkait layanan sebagai pengguna ke proyek Anda.

USE <target_projectname>;

-- Tambahkan peran terkait layanan untuk pengguna.
Add USER  `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

Berikan izin kepada pengguna.

MaxCompute mendukung kontrol akses pada granularitas berbeda. Anda dapat memberikan izin berdasarkan cakupan operasional pengguna dalam proyek Anda.

Otorisasi kasar: Berikan peran admin langsung kepada pengguna. Ini menghindari pemberian izin berulang kepada pengguna yang sama untuk setiap tabel.
```
GRANT admin TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
```

Otorisasi detail halus: Berikan izin pada tingkat proyek, tabel, atau instans.

Izin tingkat proyek

-- Berikan izin operasi data tingkat proyek.
GRANT <actions> 
  ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
-- Tindakan yang didukung
Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource,All
-- Contoh 1
GRANT Read,Write,List,CreateTable,CreateInstance,CreateFunction,CreateResource
  ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
-- Contoh 2
GRANT ALL 
  ON project <project_name> TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

Izin tingkat tabel

-- Berikan izin operasi data tingkat tabel.
GRANT <actions> 
  ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
-- Tindakan yang didukung
Describe,Select,Alter,Update,Drop,ShowHistory,All
-- Contoh 1
GRANT Describe,Select,Alter,Update,Drop,ShowHistory
  ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
-- Contoh 2
GRANT All
  ON table <table_name> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

Izin tingkat instans

-- Berikan izin operasi data tingkat instans. 
GRANT <actions> 
  ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;
-- Tindakan yang didukung
Read,Write,All 

-- Contoh 1
GRANT Read,Write 
  ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

-- Contoh 2
GRANT All 
  ON instance <instance_id> [(<column_list>)] TO USER `RAM$<account_id>:role/AliyunServiceRoleForMaxComputeMMS`;

Deskripsi parameter:

target_projectname: Wajib. Nama proyek tujuan.
account_id: Wajib. ID akun Alibaba Cloud Anda.
privileges: Wajib. Nama izin yang akan diberikan. Anda dapat menentukan beberapa tindakan dalam satu pernyataan grant. Pisahkan nama tindakan dengan koma (,).

Konfigurasikan izin untuk Pengguna RAM

Bagian ini menjelaskan cara memberikan izin kepada Pengguna RAM untuk melakukan operasi MMS, seperti mengelola sumber data, metadata, dan pekerjaan migrasi. Jika Anda melakukan migrasi data menggunakan Akun Alibaba Cloud, Anda dapat melewati bagian ini.

Jika pengguna RAM sudah memiliki kebijakan <a href="https://ram.console.alibabacloud.com/policies/detail?policyType=System&policyName=AliyunMaxComputeFullAccess" id="58faac6875ati" target="_blank">AliyunMaxComputeFullAccess</a>, Anda dapat melewati bagian ini.

Untuk memberikan izin hanya untuk operasi MMS kepada Pengguna RAM, ikuti langkah-langkah berikut:

Login ke Konsol RAM.
Di bilah navigasi kiri, pilih Manage Permissions > Policies.
Di halaman Policies, klik Create Policy.

Di halaman Create Policy, pilih JSON Editor. Masukkan kebijakan berikut:

Semua operasi MMS

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "odps:ListMmsDataSources",
        "odps:CreateMmsDataSource",
        "ram:GetRole",
        "odps:GetMmsDataSource",
        "odps:UpdateMmsDataSource",
        "odps:DeleteMmsDataSource",
        "odps:CreateMmsFetchMetadataJob",
        "odps:GetMmsFetchMetadataJob",
        "odps:ListMmsFetchMetadataJobLogs",
        "odps:ListMmsDbs",
        "odps:GetMmsDb",
        "odps:ListMmsTables",
        "odps:GetMmsTable",
        "odps:ListMmsPartitions",
        "odps:GetMmsPartition",
        "odps:ListMmsJobs",
        "odps:GetMmsJob",
        "odps:CreateMmsJob",
        "odps:DeleteMmsJob",
        "odps:StartMmsJob",
        "odps:StopMmsJob",
        "odps:RetryMmsJob",
        "odps:ListMmsTasks",
        "odps:GetMmsTask",
        "odps:ListMmsTaskLogs",
        "odps:StopMmsTask",
        "odps:StartMmsTask",
        "odps:RetryMmsTask",
        "odps:GetMmsAsyncTask",
        "odps:GetMmsProgress",
        "odps:GetMmsSpeed",
        "odps:CreateMmsAuthFile",
        "odps:ListMmsAgents",
        "odps:ListMmsTimers",
        "odps:GetMmsTimer",
        "odps:UpdateMmsTimer",
        "odps:ListMmsTimerLogs",
        "odps:CreateMmsTimer",
        "odps:UpdateMmsTables",
        "odps:UpdateMmsTable",
        "odps:UpdateMmsDb",
        "odps:ListNetworkLinks"
      ],
      "Resource": "*"
    }
  ]
}

Manajemen data sumber MMS

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "odps:ListMmsDataSources",
        "odps:CreateMmsDataSource",
        "ram:GetRole",
        "odps:GetMmsDataSource",
        "odps:UpdateMmsDataSource",
        "odps:DeleteMmsDataSource",
        "odps:CreateMmsFetchMetadataJob",
        "odps:GetMmsFetchMetadataJob",
        "odps:ListMmsFetchMetadataJobLogs",
        "odps:ListMmsDbs",
        "odps:GetMmsDb",
        "odps:ListMmsTables",
        "odps:GetMmsTable",
        "odps:ListMmsPartitions",
        "odps:GetMmsPartition",
        "odps:GetMmsAsyncTask",
        "odps:GetMmsProgress",
        "odps:GetMmsSpeed",
        "odps:CreateMmsAuthFile",
        "odps:ListMmsAgents",
        "odps:UpdateMmsTables",
        "odps:UpdateMmsTable",
        "odps:UpdateMmsDb"
      ],
      "Resource": "*"
    }
  ]
}

Manajemen pekerjaan migrasi MMS

{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "odps:ListMmsDataSources",
        "odps:GetMmsDataSource",
        "odps:CreateMmsFetchMetadataJob",
        "odps:GetMmsFetchMetadataJob",
        "odps:ListMmsFetchMetadataJobLogs",
        "odps:ListMmsDbs",
        "odps:GetMmsDb",
        "odps:ListMmsTables",
        "odps:GetMmsTable",
        "odps:ListMmsPartitions",
        "odps:GetMmsPartition",
        "odps:ListMmsJobs",
        "odps:GetMmsJob",
        "odps:CreateMmsJob",
        "odps:DeleteMmsJob",
        "odps:StartMmsJob",
        "odps:StopMmsJob",
        "odps:RetryMmsJob",
        "odps:ListMmsTasks",
        "odps:GetMmsTask",
        "odps:ListMmsTaskLogs",
        "odps:StopMmsTask",
        "odps:StartMmsTask",
        "odps:RetryMmsTask",
        "odps:GetMmsAsyncTask",
        "odps:GetMmsProgress",
        "odps:GetMmsSpeed",        
        "odps:ListMmsTimers",
        "odps:GetMmsTimer",
        "odps:UpdateMmsTimer",
        "odps:ListMmsTimerLogs",
        "odps:CreateMmsTimer"
      ],
      "Resource": "*"
    }
  ]
}

Klik OK. Di kotak dialog Create Policy, masukkan Policy Name kustom. Anda juga dapat menambahkan deskripsi dan tag.
Hubungkan kebijakan MMS kustom ke Pengguna RAM. Untuk informasi lebih lanjut, lihat Kelola izin Pengguna RAM.

Langkah 5. Siapkan kuota

Pekerjaan migrasi data mengonsumsi sumber daya komputasi. Anda harus mengaitkan kuota komputasi dengan proyek MaxCompute yang menjalankan pekerjaan migrasi.

Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih Manage Configurations > Quotas.
Di halaman Quotas, klik New Quota.
Di halaman pembelian, pilih Data Transmission Service sebagai tipe spesifikasi.
Kami menyarankan Anda membeli kuota komputasi berlangganan untuk mengurangi biaya migrasi.
Jika Anda sudah memiliki kuota Data Transmission Service, Anda dapat melewati langkah ini.
Tetapkan kuota komputasi ke proyek MaxCompute yang menjalankan pekerjaan migrasi.
- Gunakan kuota komputasi default:
  Secara default, proyek diberi kuota komputasi untuk pekerjaannya. Tidak diperlukan konfigurasi tambahan. Anda dapat mengaitkan proyek baru dengan kuota default ini saat pembuatan.
- Ganti kuota komputasi:
  1. Di panel navigasi sebelah kiri, pilih Manage Configurations > Projects.
  2. Di halaman Projects, klik Manage di kolom Actions untuk proyek target.
  3. Di halaman Project Settings, klik tab Parameter Configuration.
  4. Di bagian Basic Properties, klik Edit untuk memodifikasi konfigurasi sesuai kebutuhan.
  5. Di daftar drop-down Authorized Tunnel Quota, pilih kuota komputasi untuk proyek tersebut dan klik Submit.
Saat menambahkan sumber data, pilih proyek yang telah Anda tetapkan kuota komputasinya sebagai Project to run migration jobs.
1. Di panel navigasi sebelah kiri, pilih Data Transfer > Migration Service.
2. Di halaman Migration Service, klik tab Data Source.
3. Di tab Data Source, klik Add Data Source.
4. Dari daftar drop-down MaxCompute project to run migration jobs in, pilih proyek yang telah Anda tetapkan kuota komputasinya.

Wilayah yang didukung

Prosedur

Langkah 1. Buat proyek MaxCompute tujuan

Langkah 2. Siapkan koneksi jaringan VPC

Langkah 3. Buat peran terkait layanan

Konsol MaxCompute

Konsol RAM

Langkah 4. Konfigurasikan izin

Konsol MaxCompute

Peran admin

Peran khusus untuk MMS

SQL

Izin tingkat proyek

Izin tingkat tabel

Izin tingkat instans

Semua operasi MMS

Manajemen data sumber MMS

Manajemen pekerjaan migrasi MMS

Langkah 5. Siapkan kuota