MaxCompute menyediakan kelompok sumber daya layanan transmisi data eksklusif untuk transfer data skala besar yang memerlukan stabilitas tinggi dan latensi rendah. Kelompok sumber daya ini menawarkan kecepatan transfer lebih tinggi serta sumber daya jaringan khusus guna mengurangi waktu transfer dan meningkatkan efisiensi. Topik ini menjelaskan cara membeli dan menggunakan sumber daya tersebut.
Latar Belakang
MaxCompute menyediakan dua jenis kelompok sumber daya untuk DTS:
Resource group type | Billing | Supported regions | Notes |
Public resource group for Data Transmission Service | Free | All MaxCompute regions | Dibagikan oleh semua tenant di suatu wilayah. Sumber daya tidak dijamin selama jam sibuk, dan konkurensi maksimum per pelanggan dibatasi (berbeda-beda tergantung wilayah). |
Subscription-based exclusive resource group for Data Transmission Service | Subscription-based, charged per concurrent connection |
| Sumber daya dikunci untuk penggunaan eksklusif Anda dan tidak dapat dibagikan dengan tenant lain, sehingga menjamin sinkronisasi data yang stabil dengan konkurensi tinggi. |
Prasyarat
Sebelum membeli dan menggunakan kelompok sumber daya layanan transmisi data eksklusif, pastikan lingkungan Anda memenuhi persyaratan jaringan dan wilayah berikut:
Network requirements: Hanya akses dari jaringan VPC yang didukung. Akses dari internet publik tidak didukung.
Region requirements: Transfer data lintas wilayah tidak didukung. Anda harus membeli kelompok sumber daya di wilayah yang sama dengan tugas transfer data Anda.
Untuk batasan lainnya, lihat Data Transmission Service limitations.
Membeli kelompok sumber daya transmisi data eksklusif
Login ke MaxCompute console dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Di halaman Quotas, klik New Quota.
Di halaman pembelian, pilih Data Transmission Service sebagai jenis spesifikasi.
Konfigurasikan Tunnel Concurrency sesuai kebutuhan Anda.
Setelah pembelian selesai, kembali ke konsol. Di halaman Quotas, Anda akan menemukan kelompok kuota baru dengan Quota Type berupa Data Transmission Service. Anda dapat melakukan upgrade, downgrade, atau renew kelompok kuota ini. Untuk informasi lebih lanjut, lihat Related operations.
Menggunakan kelompok sumber daya transmisi data eksklusif
Anda dapat menentukan kelompok sumber daya layanan transmisi data eksklusif untuk pekerjaan transfer atau integrasi data guna meningkatkan efisiensi pemrosesan dan memenuhi kebutuhan bisnis tertentu.
Hubungkan ke proyek MaxCompute Anda menggunakan MaxCompute client (odpscmd) atau alat koneksi lainnya, lalu jalankan perintah berikut untuk mengaktifkan routing kuota eksklusif:
setproject odps.tunnel.enable.quota.route.v2=true;CatatanPastikan SDK MaxCompute Anda versi 0.45 atau lebih baru.
Berikan izin untuk menggunakan fitur kuota kepada semua akun (termasuk Akun Alibaba Cloud) dan role yang diperlukan.
Login ke MaxCompute console dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Di halaman Tenants, klik tab Roles.
Di tab Roles, klik Add Role. Di kotak dialog Add Role, masukkan Role Name kustom, berikan Policy Content, lalu klik OK.
Policy Content adalah sebagai berikut:
{ "Statement": [{ "Action": [ "odps:List", "odps:Usage"], "Effect": "Allow", "Resource": ["acs:odps:*:regions/*/quotas/*"]}], "Version": "1" }Tetapkan role tersebut ke akun yang perlu menentukan kuota pada level pekerjaan.
Berikan izin ke Alibaba Cloud account.
-- Tambahkan Alibaba Cloud account ke tenant dan berikan role ke akun tersebut. ADD tenant USER <Aliyun$xxxx>; GRANT tenant role <role_name> TO USER <Aliyun$xxxx>; -- Lihat izin role atau user di tenant. SHOW grants FOR tenant role <role_name>; SHOW grants FOR tenant USER <user_name>; SHOW principals FOR tenant [role] <role_name>;Berikan izin ke RAM user.
Di halaman Tenants, klik tab Users.
Di tab Users, klik Add Member. Di kotak dialog Add Member, pilih atau tambahkan akun yang diinginkan. Di bagian Batch Set Roles, pilih role, klik
, lalu klik OK.
Tentukan secara manual kelompok kuota di SDK untuk tugas Data Transmission Service Anda.
-- Gunakan kelompok sumber daya bernama xxx untuk Data Transmission Service. final TableTunnel tunnel = new TableTunnel(odps); tunnel.getConfig().setQuotaName("xxx"); TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName); -- Dapatkan nama kelompok sumber daya yang sebenarnya digunakan oleh sesi tersebut. up.getQuotaName();Di panel navigasi sebelah kiri, pilih .
Di panel navigasi sebelah kiri, pilih .
Anda dapat melihat dan menyalin QuotaName. Contohnya:
ot_42854300324****_169821756****_p#ot_42854300324****_169821756****.
Menampilkan metrik kelompok sumber daya
Di halaman Quotas, klik Configure Resources di kolom Actions untuk kuota target.
Anda dapat melihat penggunaan kelompok sumber daya layanan transmisi data eksklusif berbasis langganan Anda.
Metric | Description |
Request Parallelism | Menampilkan grafik garis penggunaan slot berdasarkan kriteria filter. Grafik mencakup penggunaan saat ini dan batas kuota. Penggunaan diukur dalam slot. |
Throughput | Menampilkan grafik garis throughput berdasarkan kriteria filter. Satuan, seperti B/menit atau MB/menit, ditunjukkan pada sumbu vertikal. |
Table-level Request Parallelism | Menampilkan grafik garis jumlah permintaan konkuren untuk mengunggah data ke tabel Anda dapat memfilter berdasarkan Usage Type (misalnya, Tunnel Batch upload) dan Table Name (misalnya, testtable). |
Table-level IP Throughput | Menampilkan grafik garis throughput dari setiap alamat IP sumber saat mengunggah data ke tabel Anda dapat memfilter berdasarkan Usage Type (misalnya, Tunnel Batch upload) dan Table Name (misalnya, testtable). |
Total Requests and Error Requests | Menampilkan jumlah total permintaan dan jumlah permintaan gagal berdasarkan kriteria filter.
|
Total Throughput | Menampilkan jumlah total data untuk berbagai mode penggunaan dalam rentang waktu tertentu berdasarkan kriteria filter. Grafik lingkaran menunjukkan proporsi masing-masing mode penggunaan. |
Slot Average Transfer Rate | Menampilkan kecepatan transfer rata-rata per slot untuk permintaan mengunggah data menggunakan Tunnel Batch, berdasarkan kriteria filter. Anda dapat memfilter berdasarkan Usage Type (misalnya, Tunnel Batch upload). |
Konfigurasi kelompok sumber daya
Fitur konfigurasi kelompok sumber daya di MaxCompute console direncanakan akan dihentikan pada 30 September 2024 (UTC+8). Untuk memastikan konfigurasi kelompok sumber daya Anda tetap berlaku setelah tanggal tersebut, kembalikan ke konfigurasi default (atur Data Transmission Service resource group ke default), lalu konfigurasikan kelompok sumber daya dengan mengikuti petunjuk di Use an exclusive data transmission resource group.
Login ke MaxCompute console dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Di halaman Projects, klik Manage di kolom Actions untuk proyek target.
Di bagian Basic Properties, Anda dapat melihat konfigurasi Data Transmission Service untuk proyek saat ini. Tabel berikut menjelaskan parameter-parameter tersebut.
Parameter
Description
Default Tunnel Quota
Kuota kelompok sumber daya Data Transmission Service default yang digunakan ketika tidak ada kuota spesifik yang ditentukan untuk membaca atau menulis data ke proyek.
Umumnya bernilai
Default, yang merepresentasikan kelompok sumber daya Data Transmission Service bersama. Anda tidak dapat mengubah pengaturan ini di konsol.Authorized Tunnel Quota
Proyek memberikan otorisasi kepada semua pengguna dan role untuk menggunakan kelompok sumber daya eksklusif yang dikonfigurasi untuk pekerjaan baca-tulis data. Oleh karena itu, Anda dapat menentukan kuota kelompok sumber daya eksklusif yang dikonfigurasi di SDK untuk pekerjaan baca-tulis data di proyek, bahkan tanpa memberikan otorisasi manual.
Anda hanya dapat mengonfigurasi satu kelompok sumber daya eksklusif untuk satu proyek.
Overlay Tunnel Quota
Fitur tambahan untuk kelompok sumber daya eksklusif ini memungkinkan Anda menggunakan kelompok sumber daya eksklusif dan kelompok sumber daya default secara bersamaan.
Setelah Anda mengonfigurasi kelompok sumber daya eksklusif yang telah dibeli, jumlah maksimum pekerjaan konkuren yang diizinkan untuk proyek saat ini ditingkatkan menjadi sumber daya gabungan dari kelompok sumber daya Data Transmission Service bersama dan kelompok sumber daya eksklusif.
Fitur ini hanya didukung di beberapa wilayah. Ketersediaan bergantung pada tampilan di konsol.
Satu proyek hanya dapat dikonfigurasi dengan satu kelompok sumber daya eksklusif, tetapi beberapa proyek dapat berbagi satu kelompok. Saat menggunakan fitur overlay, biarkan pengaturan kelompok kuota kosong.
Jika Anda menggunakan Storage API, Anda harus menentukan kelompok sumber daya eksklusif. Format QuotaName adalah
ot_42854300324****_169821756****_p#ot_42854300324****_169821756****.
Di bagian Basic Properties, klik Edit untuk mengubah konfigurasi sesuai kebutuhan.