Untuk mengembangkan dan mengelola tugas Lindorm di DataWorks, kaitkan instans Lindorm Anda sebagai sumber daya komputasi. Sumber daya tersebut kemudian dapat digunakan untuk berbagai operasi, seperti sinkronisasi data dan pengembangan.
Latar Belakang
Lindorm adalah layanan komputasi terdistribusi yang dibangun di atas arsitektur cloud-native. Layanan ini mendukung model komputasi edisi komunitas, kompatibel dengan antarmuka Spark, serta terintegrasi secara mendalam dengan mesin penyimpanan Lindorm. Dengan memanfaatkan fitur penyimpanan data dan kemampuan pengindeksan tingkat dasar, Lindorm mampu menangani pekerjaan terdistribusi secara efisien, sehingga ideal untuk skenario seperti pemrosesan data masif, analisis interaktif, pembelajaran mesin, dan komputasi graf.
Prasyarat
Anda telah membuat ruang kerja.
PentingFitur ini hanya tersedia di ruang kerja tempat Use Data Studio (New Version) diaktifkan.
Anda telah membuat instans Lindorm yang memenuhi kondisi berikut:
compute engine telah diaktifkan untuk instans Lindorm tersebut.
Instans Lindorm dan ruang kerja DataWorks berada di Wilayah yang sama.
Anda telah menggunakan kelompok sumber daya Serverless dan mengikatnya ke ruang kerja DataWorks target.
Kaitkan sumber daya komputasi Lindorm
Batasan
Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), dan Indonesia (Jakarta).
Batasan izin:
Hanya kelompok sumber daya Serverless DataWorks yang dapat digunakan untuk menjalankan tugas Lindorm.
Hanya anggota dengan peran O&M atau Workspace Administrator, atau yang memiliki izin
AliyunDataWorksFullAccess, yang dapat membuat sumber daya komputasi. Untuk informasi lebih lanjut tentang peran dan izin anggota, lihat Tambahkan anggota ruang kerja dan kelola peran serta izin mereka.
Buka halaman sumber daya komputasi
Buka halaman DataWorks Workspaces. Di bilah navigasi atas, alihkan ke Wilayah target dan temukan ruang kerja tempat Anda ingin membuat sumber daya komputasi. Klik nama ruang kerja atau Details di kolom Operation untuk membuka halaman detail ruang kerja.
Di panel navigasi sebelah kiri, klik Computing Resources dan pilih jenis sumber daya komputasi yang diperlukan untuk membuka halaman daftarnya.
Kaitkan sumber daya komputasi Lindorm
Di halaman sumber daya komputasi, konfigurasikan dan kaitkan sumber daya komputasi Lindorm seperti yang dijelaskan dalam tabel berikut.
Buka halaman asosiasi Lindorm.
Klik Associate Computing Resources untuk membuka halaman Associate Computing Resources.
Di halaman Associate Computing Resources, pilih Lindorm sebagai jenis sumber daya komputasi. Halaman konfigurasi Associate Lindorm Computing Resource akan muncul.
Konfigurasikan sumber daya komputasi Lindorm.
Di halaman Associate Lindorm Computing Resource, konfigurasikan parameter seperti yang dijelaskan dalam tabel berikut.
Bagian
Parameter
Deskripsi
Basic Information
Configuration Mode
Hanya Alibaba Cloud Instance Mode yang didukung.
Instance
Pilih instans Lindorm yang akan dikaitkan dengan DataWorks. Daftar drop-down ini menampilkan semua instans Lindorm di Wilayah saat ini.
Database Name
Pilih database yang secara default dihubungkan oleh DataWorks saat menggunakan sumber daya komputasi Lindorm ini. Database default adalah
default.Username/Password
Masukkan username dan password agar DataWorks dapat mengakses sumber daya komputasi Lindorm ini. Anda dapat menemukan kredensial Anda di Lindorm console. Temukan instans Lindorm Anda, klik Instance Name, lalu buka Database Connection di panel navigasi sebelah kiri untuk mendapatkan username dan password.
Computing Resource Instance Name
Masukkan nama kustom untuk instans sumber daya komputasi. Saat waktu proses, tugas dapat menggunakan nama ini untuk memilih sumber daya komputasi ini.
Connection Configuration
Connected state
Di bagian konfigurasi koneksi, pilih kelompok sumber daya Serverless untuk menjalankan tugas Lindorm. Klik Test Connectivity untuk memastikan kelompok sumber daya tersebut dapat mengakses instans Lindorm Anda. Untuk informasi lebih lanjut, lihat Ikhtisar solusi konektivitas jaringan.
Klik Confirm untuk menyelesaikan konfigurasi sumber daya komputasi Lindorm.
(Opsional) Konfigurasikan parameter Spark global
Di DataWorks, Anda dapat menentukan parameter Spark tingkat ruang kerja untuk modul seperti Data Studio, DataAnalysis, dan Operation Center. Modul-modul tersebut kemudian menggunakan parameter Spark yang ditentukan secara default untuk menjalankan tugas. Untuk detail tentang menyesuaikan parameter Spark global dan prioritasnya dibandingkan parameter lokal yang dikonfigurasi dalam modul tertentu, lihat Setel parameter Spark global.
Latar Belakang
Apache Spark adalah mesin untuk analisis data skala besar. Di DataWorks, Anda dapat mengonfigurasi parameter Spark yang digunakan oleh node penjadwalan saat waktu proses dengan cara berikut:
Metode 1: Anda dapat mengonfigurasi parameter Spark global untuk menetapkan parameter Spark tingkat ruang kerja yang digunakan oleh modul DataWorks saat menjalankan tugas Lindorm. Anda juga dapat menentukan apakah konfigurasi global ini memiliki prioritas dibandingkan konfigurasi spesifik modul. Untuk informasi lebih lanjut, lihat Konfigurasikan parameter Spark global.
Metode 2: Di Data Studio, Anda dapat menetapkan properti Spark tertentu untuk sebuah node di halaman editnya. Modul Produk lain saat ini tidak mendukung pengaturan properti Spark secara internal.
Kontrol akses
Hanya pengguna dengan peran berikut yang dapat mengonfigurasi parameter Spark global:
Akun Alibaba Cloud.
Pengguna RAM atau Peran RAM dengan izin
AliyunDataWorksFullAccess.Pengguna RAM dengan peran Workspace Administrator.
Lihat parameter Spark global
Buka halaman sumber daya komputasi dan temukan sumber daya komputasi Lindorm yang telah Anda kaitkan.
Klik Spark parameters untuk membuka panel konfigurasi dan melihat konfigurasi parameter Spark global.
Konfigurasikan parameter Spark global
Anda dapat mengonfigurasi parameter Spark global dengan mengikuti langkah-langkah berikut. Untuk mengonfigurasi parameter Spark untuk sumber daya komputasi Lindorm, lihat Job configuration.
Buka halaman sumber daya komputasi dan temukan sumber daya komputasi Lindorm yang telah Anda kaitkan.
Klik Spark parameters untuk membuka panel konfigurasi dan melihat konfigurasi parameter Spark global.
Tetapkan parameter Spark global.
Di pojok kanan atas halaman Spark parameters, klik Edit Spark parameters untuk mengonfigurasi parameter Spark global dan prioritasnya untuk setiap modul.
CatatanIni adalah konfigurasi global tingkat ruang kerja. Sebelum melanjutkan, pastikan Anda berada di ruang kerja yang benar.
Parameter
Langkah
Spark property
Konfigurasikan properti Spark yang digunakan modul saat menjalankan tugas Lindorm. Untuk informasi lebih lanjut, lihat Job configuration.
Klik Add di bawah ini, lalu masukkan Spark Property Name dan Spark Property Value yang sesuai.
CatatanUntuk mengaktifkan alur data dan pengumpulan informasi output, konfigurasikan hal berikut:
Tetapkan Spark Property Name ke
spark.sql.queryExecutionListeners.Tetapkan Spark Property Value ke
com.aliyun.dataworks.meta.lineage.LineageListener.
Untuk pengaturan properti Spark lainnya, lihat Job configuration.
Global Settings Take Precedence
Jika Anda memilih opsi ini, konfigurasi global akan memiliki prioritas dibandingkan konfigurasi yang ditetapkan dalam modul Produk. Tugas akan selalu menggunakan properti Spark global.
Konfigurasi global: Mengacu pada properti Spark yang dikonfigurasi di halaman Spark parameters untuk sumber daya komputasi Lindorm di bawah .
Saat ini, parameter Spark global hanya dapat ditetapkan untuk modul Data Studio dan Operation Center.
Konfigurasi tingkat modul:
Data Studio: Untuk node Lindorm Spark dan Lindorm Spark SQL, Anda dapat mengonfigurasi properti Spark untuk node tertentu di halaman edit node atau di bagian Configuration Items.
Modul Produk lain: Saat ini tidak mendukung pengaturan properti Spark di dalam modul.
Klik Confirm untuk menyimpan parameter Spark global Anda.
Langkah selanjutnya
Setelah Anda mengonfigurasi sumber daya komputasi Lindorm, Anda dapat menggunakannya untuk mengembangkan tugas node di Data Studio. Untuk informasi lebih lanjut, lihat Lindorm Spark node dan Lindorm Spark SQL node.
Saat Anda mengonfigurasi parameter Spark global, aktifkan alur data dan pengumpulan informasi output untuk Lindorm. Setelah Anda membuat dan menjalankan kolektor metadata, Anda dapat menggunakan Data Map untuk melihat dan mengelola metadata Lindorm.