DataWorks:Gunakan ossutil di node Shell

Ikhtisar

Node Shell DataWorks, termasuk common Shell nodes dan EMR Shell nodes, secara native mengintegrasikan alat baris perintah Alibaba Cloud Object Storage Service (OSS), ossutil. Anda dapat mengonfigurasi ossutil untuk mengakses OSS dengan menyediakan kredensial dalam file konfigurasi atau sebagai parameter baris perintah. Untuk informasi lebih lanjut tentang cara mengonfigurasi ossutil, lihat Configure ossutil.

Menggunakan parameter baris perintah

1. Di node Shell, edit konten node tersebut. Kode contoh berikut menggunakan ossutil untuk terhubung ke titik akhir OSS yang ditentukan dan menampilkan semua bucket yang dapat diakses oleh akun saat ini.

   /home/admin/usertools/tools/ossutil64 -e <OSSEndPoint> -i <AccessKeyID> -k <AccessKeySecret> ls -s 
   if [[ $? == 0 ]];then
       echo "access oss success"
   else
       echo "failed"
       exit 1
   fi
   echo "finished"

   Catatan

   Anda harus mengganti placeholder OSSEndPoint, AccessKeyID, dan AccessKeySecret dengan nilai aktual Anda. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Configure ossutil.

   Penting

   Menyertakan access key melalui parameter baris perintah akan mengekspos kunci tersebut, sehingga menimbulkan risiko keamanan.

2. Verifikasi hasilnya.

   Klik ikon , pilih kelompok sumber daya serverless, lalu jalankan tugas common Shell node.

Menggunakan file konfigurasi

1. Buat file konfigurasi ossutil dan unggah ke OSS.

   1. Buat file konfigurasi.

      Buat file bernama myconfig.txt di mesin lokal Anda. Kode contoh berikut menunjukkan isi file tersebut:

      [Credentials]
      language = CH
      endpoint = <Endpoint> # Contohnya: oss-cn-shanghai.aliyuncs.com
      accessKeyID = <AccessKeyID>
      accessKeySecret = <AccessKeySecret>

      Catatan

      Ganti placeholder Endpoint, AccessKeyID, dan AccessKeySecret dengan titik akhir OSS Alibaba Cloud dan access key dari RAM user yang memiliki izin yang diperlukan. Catatan: Jangan membungkus nilai parameter dengan tanda kutip. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Configure ossutil.

   2. Unggah file konfigurasi.

      Unggah file myconfig.txt ke OSS. Untuk informasi lebih lanjut, lihat Simple upload.

   3. Dapatkan URL unduhan.

      Pada kolom Operation objek yang diunggah, klik Details. Di panel yang muncul, nonaktifkan Use HTTPS, lalu klik Copy Object URL.

2. Unduh file konfigurasi ke kelompok sumber daya serverless.

   Di halaman Image Management konsol DataWorks, buat custom image untuk mengunduh file konfigurasi ke kelompok sumber daya serverless.

   1. Buat image.

      Login ke DataWorks console dan beralih ke wilayah target. Di panel navigasi sebelah kiri, klik Image Management. Di halaman Image Management, klik tab Custom Image, lalu klik Create Image. Di panel yang muncul, konfigurasikan parameter sebagai berikut:

      Parameter	Contoh nilai
      Image Name	Masukkan nama kustom untuk image tersebut.
      Image description	Masukkan deskripsi kustom untuk image tersebut.
      Reference type	DataWorks official image (default).
      Image namespace	DataWorks default (default).
      Image repository	DataWorks default (default).
      Image name/ID	Pilih dataworks_shell_task_pod:xxx. Ini adalah image resmi DataWorks untuk node Shell.
      Visibility Scope	Pilih cakupan berdasarkan kebutuhan Anda: Hanya terlihat oleh pembuat Terlihat oleh semua orang
      Module	Data Development (default).
      Supported task type	Shell (default).
      Installation package	Dari daftar drop-down Installation package, pilih Script. Kemudian, masukkan perintah berikut di kotak perintah: # Unduh wget 'http://<yourConfigURL>' -O /home/admin/usertools/tools/<configName> Catatan Ganti http://<yourConfigURL> dengan URL objek yang Anda salin dari panel detail OSS. Tetapkan <configName> sebagai nama file yang akan diunduh dari OSS, seperti myconfig.txt.

      Klik OK untuk membuat image.

   2. Uji dan publikasikan image.

      Klik Deploy di kolom Operation untuk image yang Anda buat. Di halaman Publish Image, pilih Test Resource Group, lalu klik Test di sebelah kanan Test Result. Setelah pesan Succeeded. ditampilkan, klik tombol Deploy di bagian bawah.

   3. Di kolom Actions untuk custom image yang telah dipublikasikan, klik ikon dan pilih Change Workspace. Bind image tersebut ke ruang kerja target.

3. Gunakan alat baris perintah ossutil dengan file konfigurasi.

   1. Buat common Shell node.

      1. Buka halaman Data Development.

         Login ke DataWorks console, beralih ke wilayah target, lalu pilih Data Development and O&M > Data Studio di panel navigasi sebelah kiri. Dari daftar drop-down, pilih ruang kerja target dan klik Go to DataStudio.

      2. Buat common Shell node.

         Di halaman Data Development, klik kanan proses bisnis target, pilih Create Node, lalu pilih Shell di bawah direktori General.

   2. Di node Shell, edit konten node tersebut. Kode contoh berikut menggunakan ossutil untuk terhubung ke titik akhir OSS yang ditentukan dalam myconfig.txt dan menampilkan semua bucket yang dapat diakses oleh akun yang ditentukan dalam myconfig.txt.

      /home/admin/usertools/tools/ossutil64 -c /home/admin/usertools/tools/myconfig.txt ls -s

   3. Klik ikon , pilih kelompok sumber daya serverless yang Anda gunakan untuk pengujian, tentukan custom image yang telah Anda buat dan publikasikan, lalu jalankan tugas common Shell node.

   4. Di tab Scheduling node tersebut, pilih kelompok sumber daya target di bagian Resource Group, tentukan custom image yang telah Anda buat dan publikasikan, simpan konfigurasi penjadwalan, komit node Shell ke lingkungan pengembangan, lalu publikasikan ke produksi.

Dokumen terkait

Di versi baru Data Development, Anda dapat mengikat peran RAM ke node Shell dan menggunakan STS untuk mendapatkan kredensial keamanan temporary secara dinamis guna mengakses OSS secara aman dengan menggunakan ossutil. Untuk informasi lebih lanjut, lihat Associate roles: Securely access other cloud resources.