DataWorks:Mengaitkan sumber daya komputasi MaxCompute

Batasan

• Batasan wilayah: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).

• Proyek MaxCompute dan ruang kerja DataWorks harus berada di wilayah yang sama dan dalam Akun Alibaba Cloud yang sama.

• Izin:

  Produk	Operator	Izin
  DataWorks	Akun Alibaba Cloud	Tidak diperlukan izin tambahan.
  	RAM user/RAM role	Hanya anggota ruang kerja dengan peran O&M atau Workspace Administrator, atau anggota dengan izin AliyunDataWorksFullAccess, yang dapat membuat sumber daya komputasi. Anda dapat memberikan izin kepada anggota ruang kerja.
  MaxCompute	RAM user/RAM role	Untuk mengaitkan sumber daya komputasi: Anda harus memiliki izin odps:ListProjects untuk MaxCompute dan izin Super_Administrator untuk proyek MaxCompute target. Persyaratan identitas akses default: Identitas ini harus memiliki peran admin atau super_administrator untuk proyek MaxCompute. Setelah dikaitkan, platform memberikan identitas ini peran Role_Project_Scheduler untuk proyek produksi.

  Identitas akses default untuk lingkungan produksi memiliki akses ke seluruh data produksi. Akun lain harus meminta akses melalui Security Center.

• Untuk memeriksa wilayah sumber daya komputasi MaxCompute yang telah dikaitkan, buka halaman detail ruang kerja atau halaman daftar Computing Resources di Management Center, lalu lihat detail sumber daya komputasi tersebut. Detail tersebut mencakup wilayah proyek MaxCompute dan membantu Anda menemukan lokasi wilayah dengan cepat saat melakukan troubleshooting masalah seperti kegagalan kaitan lintas wilayah.

Prasyarat

• MaxCompute telah diaktifkan dan sebuah proyek telah dibuat di wilayah yang sama dengan ruang kerja DataWorks Anda.

• Sebuah ruang kerja DataWorks telah dibuat, dan Pengguna RAM Anda memiliki peran Workspace Administrator.

  Catatan

  DataWorks mendukung mode Simple dan mode Standard. Pahami perbedaan antara mode Simple dan mode Standard sebelum membuat ruang kerja.

• Kelompok sumber daya telah dikaitkan dengan ruang kerja dan konektivitas jaringan telah diverifikasi.

  • Jika Anda menggunakan kelompok sumber daya serverless, pastikan konektivitas jaringan antara sumber daya komputasi MaxCompute dan kelompok sumber daya serverless.

  • Jika Anda menggunakan kelompok sumber daya eksklusif lama, pastikan konektivitas jaringan antara sumber daya komputasi MaxCompute dan exclusive resource group for scheduling.

Data Studio Baru: Mengaitkan sumber daya komputasi

Kaitkan sumber daya komputasi MaxCompute dengan ruang kerja yang Use Data Studio (New Version).

Data Studio Lama: Mengaitkan sumber daya komputasi

Kaitkan sumber daya komputasi MaxCompute dengan ruang kerja yang tidak Use Data Studio (New Version).

Langkah selanjutnya

Setelah dikaitkan, DataWorks secara otomatis membuat sumber data MaxCompute di ruang kerja. Gunakan sumber data tersebut di Data Integration dan di node database (Data Studio Baru) atau node database (Data Studio Lama).

FAQ

• Masalah: Saat menjalankan tugas di sumber daya komputasi MaxCompute, terjadi error connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint.

  Solusi: Verifikasi konfigurasi endpoint. Gunakan endpoint VPC untuk wilayah sumber daya tersebut.

• Masalah: Saat menguji konektivitas, muncul error You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}.

  Solusi: Periksa status proyek MaxCompute. Jika proyek tersebut frozen atau ditangguhkan, Restore di Konsol MaxCompute.

• Masalah: Apakah DataWorks mendukung pengaitan proyek MaxCompute lintas Akun Alibaba Cloud, atau melakukan kueri data lintas akun menggunakan SQL?

  Solusi: Tidak. Saat Anda mengaitkan sumber daya komputasi MaxCompute dengan DataWorks, Anda hanya dapat mengaitkan proyek MaxCompute yang berada dalam Akun Alibaba Cloud yang sama dengan ruang kerja DataWorks Anda. Demikian pula, saat menjalankan kueri SQL di Data Studio, mesin komputasi yang digunakan juga harus berada dalam akun yang sama. Akses lintas akun ke data MaxCompute secara langsung menggunakan SQL tidak didukung. Jika Anda perlu mengakses data lintas akun, gunakan Data Integration atau pendekatan serupa sebagai gantinya.

• Masalah: Sumber daya komputasi MaxCompute sudah dikaitkan, tetapi saat saya memublikasikan task atau membuat sumber daya, DataWorks tetap menampilkan prompt "No compute resource is associated", "The ODPS information cannot be found", atau opsi tersebut dinonaktifkan. Apa yang harus saya lakukan?

  Solusi: Masalah ini biasanya disebabkan oleh salah satu alasan berikut. Periksa secara berurutan:

  1. Penundaan sistem: Setelah kaitan selesai, platform memerlukan waktu untuk memberikan otorisasi kepada identitas akses. Hal ini dapat menyebabkan penundaan singkat. Tunggu beberapa menit, refresh halaman, lalu coba lagi.

  2. Izin tidak mencukupi: Pastikan akun login memiliki izin Super_Administrator pada proyek MaxCompute target. Kurangnya izin dapat menyebabkan status kaitan tampak abnormal atau tidak terkait.

  3. Konfigurasi kaitan salah: Periksa apakah nama dan wilayah proyek MaxCompute yang dikaitkan sudah benar, serta pastikan sesuai dengan wilayah dan Akun Alibaba Cloud ruang kerja DataWorks.

  4. Belum dikaitkan secara manual: Mengaktifkan mesin MaxCompute di sisi MaxCompute saja tidak menyelesaikan kaitan. Anda harus mengaitkan sumber daya komputasi secara manual di halaman Computing Resources di Management Center.

  5. Masalah konektivitas: Klik Test Connectivity untuk sumber data MaxCompute di lingkungan pengembangan. Jika uji konektivitas gagal, periksa jaringan dan konfigurasi Endpoint.

• Masalah: Saat saya mengaitkan sumber daya komputasi MaxCompute, DataWorks menampilkan prompt "The project already exists". Apa yang harus saya lakukan?

  Solusi: Proyek MaxCompute hanya dapat dikaitkan sebagai sumber daya komputasi dengan satu ruang kerja DataWorks. Error ini menunjukkan bahwa catatan kaitan sudah ada di DataWorks untuk kombinasi proyek MaxCompute dan Endpoint tersebut. Untuk mengatasi masalah ini:

  1. Periksa daftar Computing Resources di setiap ruang kerja untuk memastikan sumber daya komputasi tersebut sudah ada. Jika sudah ada, Anda tidak perlu mengaitkannya lagi. Anda dapat langsung memilih mesin komputasi ini saat membuat task di Data Studio.

  2. Jika Anda perlu memperbarui konfigurasi, hapus catatan kaitan yang ada terlebih dahulu (atau bersihkan cache browser Anda dan coba lagi), lalu kaitkan kembali sumber daya komputasi tersebut.

• Masalah: Setelah saya memutus kaitan sumber daya komputasi MaxCompute dari ruang kerja lalu mengaitkannya kembali, task Data Integration (DI) yang dibuat sebelum pemutusan kaitan terbuka dalam mode read-only atau mengembalikan error. Apa yang harus saya lakukan?

  Solusi: Memutus kaitan sumber daya komputasi MaxCompute lalu mengaitkannya kembali merusak metadata task DI yang dibuat sebelum pemutusan kaitan, meskipun Anda mengaitkan kembali proyek MaxCompute yang sama. Gejala umum meliputi:

  • Saat membuka task lama, DataWorks melaporkan masalah konektivitas untuk sumber data asal, dan halaman task masuk ke mode read-only sehingga tidak dapat diedit.

  • Konsol browser mengembalikan error null pointer. Pesan tepatnya bervariasi tergantung versi produk, misalnya, Cannot read properties of undefined (reading 'type').

  • Bagian Field Mapping terus menampilkan bahwa informasi field sedang diambil dan tidak pernah selesai dimuat.

  Menggunakan Clone pada task lama tidak mengembalikan kemampuan edit, karena task yang dikloning juga terbuka dalam mode read-only. Untuk mengatasi masalah ini, buat task DI baru dengan konfigurasi yang sama untuk menggantikan task lama, lalu buka Operation Center untuk memastikan task lama tidak dideploy, sehingga task lama dan task baru tidak dijadwalkan secara bersamaan.