DataWorks：Gunakan ossutil di node Shell untuk mengakses OSS

Ikhtisar fungsi

Node Shell DataWorks, termasuk node Shell umum dan EMR Shell, telah dilengkapi alat baris perintah Alibaba Cloud OSS ossutil yang dipra-instal. Fitur ini memungkinkan Anda melakukan berbagai tugas seperti mengunggah dan mengunduh file, menjalankan operasi batch, serta mengelola bucket. Anda dapat menggunakan ossutil untuk mengakses OSS dengan mengonfigurasi kredensial akses dalam file konfigurasi atau melalui parameter baris perintah. Untuk informasi lebih lanjut tentang cara mengonfigurasi ossutil, lihat Configure ossutil.

Akses OSS menggunakan parameter baris perintah

1. Pada node Shell, edit konten node tersebut. Kode contoh berikut menggunakan ossutil untuk menyambungkan ke Titik akhir OSS yang ditentukan dan menampilkan semua bucket yang memiliki izin akses oleh akun saat ini.

   /home/admin/usertools/tools/ossutil64 -e <OSSEndPoint> -i <AccessKeyID> -k <AccessKeySecret> ls -s 
   if [[ $? == 0 ]];then
       echo "access oss success"
   else
       echo "failed"
       exit 1
   fi
   echo "finished"

   Catatan

   Ganti OSSEndPoint, AccessKeyID, dan AccessKeySecret dalam kode dengan nilai aktual Anda. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Configure ossutil.

   Penting

   Meneruskan Pasangan Kunci Akses melalui parameter baris perintah menimbulkan risiko keamanan berupa eksposur kunci. Kami menyarankan agar Anda menggunakan metode ini dengan hati-hati.

2. Verifikasi hasilnya.

   Klik ikon dan pilih kelompok sumber daya arsitektur tanpa server untuk menjalankan tugas node Shell. Gambar berikut menunjukkan contoh hasilnya.

   

Akses OSS menggunakan file konfigurasi

1. Buat file konfigurasi ossutil dan unggah ke OSS.

   1. Buat file konfigurasi.

      Di mesin lokal Anda, buat file bernama myconfig.txt. Kode berikut memberikan contoh isi file tersebut.

      [Credentials]
      language = EN
      endpoint = <Endpoint> #Contohnya, oss-cn-shanghai.aliyuncs.com
      accessKeyID = <AccessKeyID>
      accessKeySecret = <AccessKeySecret>

      Catatan

      Ganti Endpoint, AccessKeyID, dan AccessKeySecret dengan Titik akhir OSS Alibaba Cloud Anda dan Pasangan Kunci Akses dari Pengguna RAM yang memiliki izin yang diperlukan. Jangan membungkus nilai parameter dengan tanda kutip. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Configure ossutil.

   2. Unggah file konfigurasi.

      Unggah file myconfig.txt ke OSS. Untuk informasi lebih lanjut, lihat Simple upload.

   3. Lihat tautan unduhan.

      Di kolom Actions untuk file yang diunggah di OSS, klik Details. Nonaktifkan Use HTTPS, lalu klik Copy File URL.

      

      

2. Unduh file konfigurasi ke kelompok sumber daya arsitektur tanpa server.

   Di halaman Image Management DataWorks, buat gambar kustom dan unduh file konfigurasi ke kelompok sumber daya Serverless.

   1. Buat gambar.

      Masuk ke konsol DataWorks dan beralih ke wilayah tujuan. Di panel navigasi sebelah kiri, klik Image Management. Pada halaman Image Management, buka tab Custom Images, lalu klik Create Image. Di panel Create Image, atur parameter berikut untuk membuat image.

      Parameter	Nilai Contoh
      Image Name	Anda dapat menyesuaikan nama perintah.
      Image Description	Deskripsi perintah kustom.
      Reference Type	DataWorks Official Image (default).
      Image Namespace	DataWorks Default (default).
      Image Repository	DataWorks Default (default).
      Image Name/ID	Pilih dataworks_shell_task_pod:xxx. Ini adalah gambar resmi DataWorks untuk node Shell.
      Visible Scope	Pilih cakupan sesuai kebutuhan. Visible Only to Creator. Visible to All.
      Using sub-products	Data Studio (default).
      Supported Task Type	Shell (default).
      Installation Package	Dari daftar drop-down Installation Package, pilih Script. Di kotak perintah, masukkan perintah berikut. # Download wget 'http://<yourConfigURL>' -O /home/admin/usertools/tools/<configName> Catatan Ganti http://<yourConfigURL> dengan URL file yang Anda salin dari konsol OSS. Anda dapat mengatur parameter <configName> menjadi myconfig.txt, yaitu nama file yang akan diunduh dari OSS.

      Klik Confirm untuk membuat gambar.

   2. Uji penerbitan.

      Di kolom Actions untuk gambar yang Anda buat, klik Publish. Di halaman Publish Image, pilih Test Resource Group, lalu klik Test di sebelah Test Result. Setelah muncul pesan Test Succeeded, klik Publish.

   3. Untuk gambar kustom yang telah Anda terbitkan, klik ikon di kolom Actions, lalu pilih Modify Workspace. Ikatkan gambar tersebut ke ruang kerja target.

      

      

3. Gunakan alat baris perintah ossutil dengan file konfigurasi.

   1. Buat node Shell umum.

      1. Buka halaman Data Studio.

         Login ke Konsol DataWorks dan alihkan ke Wilayah tujuan. Di panel navigasi sebelah kiri, pilih Data Development and O&M > Data Studio. Pilih ruang kerja target dari daftar drop-down, lalu klik Go to Data Studio.

      2. Buat node Shell umum.

         Di Data Studio, klik kanan alur bisnis target, pilih Create Node, lalu pilih Shell di folder General.

   2. Pada node Shell, edit konten node tersebut. Kode contoh berikut menggunakan ossutil untuk menyambungkan ke Titik akhir OSS yang ditentukan dalam myconfig.txt dan menampilkan semua bucket yang memiliki izin akses oleh akun yang ditentukan dalam myconfig.txt.

      /home/admin/usertools/tools/ossutil64 -c /home/admin/usertools/tools/myconfig.txt ls -s

   3. Klik ikon . Pilih kelompok sumber daya arsitektur tanpa server yang Anda gunakan untuk pengujian saat menerbitkan gambar, lalu tentukan custom image yang telah Anda buat dan terbitkan. Kemudian, jalankan tugas node Shell. Setelah eksekusi berhasil, gambar berikut menunjukkan contoh hasilnya.

      

   4. Di tab Scheduling Configuration untuk node tersebut, pada bagian Resource Property, pilih kelompok sumber daya target dan tentukan custom image yang telah Anda buat dan terbitkan. Simpan konfigurasi penjadwalan tersebut, lalu komit node Shell ke lingkungan pengembangan dan terbitkan ke lingkungan produksi.

Referensi

Di versi terbaru Data Studio, Anda dapat menyambungkan Peran RAM ke node Shell. Hal ini memungkinkan node tersebut menggunakan Security Token Service (STS) untuk memperoleh kredensial keamanan sementara secara dinamis dan memanggil ossutil secara aman untuk mengakses OSS. Untuk informasi lebih lanjut, lihat Configure a node to use a specific RAM role.