DataWorks:Asosiasikan resource komputasi Lindorm

Batasan

• Wilayah: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), dan Indonesia (Jakarta).

• Izin:

  • Anda harus menggunakan kelompok sumber daya Serverless DataWorks untuk menjalankan tugas-tugas Lindorm di DataWorks.

  • Hanya anggota ruang kerja dengan peran O&M atau Workspace Administrator, atau yang memiliki izin AliyunDataWorksFullAccess, yang dapat membuat resource komputasi. Untuk melihat peran anggota atau memberikan izin, lihat Tambahkan anggota ruang kerja dan kelola peran serta izin anggota.

Masuk ke halaman Sumber Daya Komputasi

1. Buka halaman Ruang Kerja DataWorks. Di bilah navigasi atas, pilih Wilayah target dan temukan ruang kerja tempat Anda ingin membuat resource komputasi. Klik nama ruang kerja atau Details di kolom Operation untuk membuka halaman detail ruang kerja.

2. Di panel navigasi kiri, klik Computing Resources.

Asosiasikan resource komputasi Lindorm

Di halaman Resource Komputasi, konfigurasikan parameter untuk mengasosiasikan resource komputasi Lindorm.

1. Pilih jenis resource komputasi yang akan diasosiasikan.

   1. Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.

   2. Di halaman Associate Computing Resources, pilih Lindorm sebagai jenis resource komputasi untuk membuka halaman konfigurasi Bind Lindorm Computing Resource.

2. Konfigurasikan resource komputasi Lindorm.

   Di halaman Associate Lindorm Computing Resource, konfigurasikan parameter berikut.

   Bagian	Parameter	Deskripsi
   Basic Information	Configuration Mode	Hanya ApsaraDB for RDS yang didukung.
   	Instance	Pilih instans Lindorm yang akan dikaitkan dengan DataWorks. Daftar drop-down menampilkan instans Lindorm di wilayah saat ini.
   	Database Name	Pilih database default untuk sumber daya komputasi ini. DataWorks terhubung ke database ini saat menjalankan tugas. Nilai default-nya adalah default.
   	Username/Password	Masukkan username dan password agar DataWorks dapat melakukan autentikasi terhadap sumber daya komputasi Lindorm ini. Untuk mendapatkan kredensial, buka Lindorm console, klik Instance Name, lalu temukan kredensial di bagian Database Connection pada panel navigasi sebelah kiri.
   	Computing Resource Instance Name	Gunakan nama ini untuk mengidentifikasi dan memilih sumber daya saat mengonfigurasi tugas.
   Connection Configuration	Connected state	Pada bagian konfigurasi koneksi, pilih kelompok sumber daya Serverless yang digunakan DataWorks untuk menjalankan tugas Lindorm, lalu klik Test Connectivity untuk memverifikasi bahwa kelompok sumber daya tersebut dapat mengakses instans Lindorm Anda. Untuk informasi selengkapnya, lihat Network connectivity solutions.

3. Klik Confirm untuk menyelesaikan konfigurasi resource komputasi Lindorm.

Latar Belakang

Di DataWorks, Anda dapat mengonfigurasi parameter Spark yang digunakan oleh node penjadwalan saat waktu proses dengan cara berikut:

Metode 1: Konfigurasikan parameter Spark global di tingkat ruang kerja untuk mengontrol pengaturan Spark yang digunakan setiap modul DataWorks untuk tugas-tugas Lindorm. Anda juga dapat menentukan apakah parameter global memiliki prioritas lebih tinggi daripada parameter spesifik modul. Untuk informasi lebih lanjut, lihat Konfigurasikan parameter Spark global.

Metode 2: Di Data Studio, atur properti Spark untuk masing-masing tugas node di halaman pengeditan node. Modul lain tidak mendukung konfigurasi properti Spark per tugas.

Kontrol akses

Hanya peran berikut yang dapat mengonfigurasi parameter Spark global:

• Akun Alibaba Cloud.

• Pengguna RAM atau Peran RAM dengan izin AliyunDataWorksFullAccess.

• Pengguna RAM dengan peran Workspace Administrator.

Lihat parameter Spark global

1. Buka halaman Resource Komputasi dan temukan resource komputasi Lindorm yang telah Anda asosiasikan.

2. Klik Spark Parameters untuk membuka panel konfigurasi parameter Spark.

Konfigurasikan parameter Spark global

Ikuti langkah-langkah berikut untuk mengonfigurasi parameter Spark global. Untuk detail mengenai parameter tertentu, lihat Konfigurasi pekerjaan.

1. Buka halaman Resource Komputasi dan temukan resource komputasi Lindorm yang telah Anda asosiasikan.

2. Klik Spark Parameters untuk membuka panel konfigurasi parameter Spark.

3. Atur parameter Spark global.

   Klik Edit Spark Parameters di pojok kanan atas panel Spark Parameters untuk mengonfigurasi parameter Spark global dan prioritasnya untuk setiap modul.

   Catatan

   Ini adalah pengaturan tingkat ruang kerja. Pastikan Anda berada di ruang kerja yang benar sebelum melanjutkan.

   Parameter	Langkah
   Spark Property	Konfigurasikan properti Spark yang digunakan setiap modul saat menjalankan tugas Lindorm. Untuk informasi lebih lanjut, lihat Konfigurasi pekerjaan. Klik Add dan masukkan Spark Property Name dan Spark Property Value yang sesuai. Catatan Untuk mengaktifkan alur data dan pengumpulan output, konfigurasikan properti berikut: Atur Spark Property Name menjadi spark.sql.queryExecutionListeners. Atur Spark Property Value menjadi com.aliyun.dataworks.meta.lineage.LineageListener. Untuk informasi lebih lanjut tentang pengaturan properti Spark, lihat Konfigurasi pekerjaan.
   Global Settings Take Precedence	Jika Anda memilih opsi ini, konfigurasi global akan menggantikan konfigurasi dalam modul Produk. Dalam hal ini, tugas dijalankan berdasarkan properti Spark yang dikonfigurasi secara global. Konfigurasi global: Properti Spark yang ditetapkan di halaman Spark Parameters untuk resource komputasi Lindorm di Management Center > Computing Resources. Saat ini, Anda hanya dapat menyetel parameter Spark global untuk modul Data Studio dan Pusat Operasi. Konfigurasi dalam modul Produk: Data Studio: Untuk node Lindorm Spark dan Lindorm Spark SQL, Anda dapat menyetel properti Spark untuk satu tugas node di tab Configuration Items pada halaman pengeditan node. Modul Produk lainnya: Menyetel properti Spark secara terpisah dalam modul tidak didukung.

4. Klik Confirm untuk menyimpan parameter Spark global.