DataWorks:Shell düğümlerinde ossutil kullanma

Genel Bakış

DataWorks Shell düğümleri (standart Shell ve EMR Shell düğümleri dahil), Alibaba Cloud Object Storage Service (OSS) komut satırı aracı ossutil ile yerel olarak tümleşiktir. Kimlik bilgilerini bir yapılandırma dosyasında veya komut satırı parametrelerinde belirterek ossutil'i OSS'e erişecek şekilde yapılandırabilirsiniz. ossutil yapılandırması hakkında daha fazla bilgi için bkz. ossutil'i yapılandırma.

Komut satırı parametrelerini kullanma

1. Shell düğümünde düğüm içeriğini düzenleyin. Aşağıdaki örnek kod, ossutil kullanarak belirtilen OSS uç noktasına bağlanır ve mevcut hesabın erişebileceği tüm paketleri listeler.

   /home/admin/usertools/tools/ossutil64 -e <OSSEndPoint> -i <AccessKeyID> -k <AccessKeySecret> ls -s 
   if [[ $? == 0 ]];then
       echo "access oss success"
   else
       echo "failed"
       exit 1
   fi
   echo "finished"

   Not

   OSSEndPoint, AccessKeyID ve AccessKeySecret yer tutucularını gerçek değerlerinizle değiştirin. Parametreler hakkında daha fazla bilgi için bkz. ossutil'i yapılandırma.

   Önemli

   Erişim anahtarını komut satırı parametreleriyle iletmek anahtarı açığa çıkarır ve güvenlik riski oluşturur.

2. Sonucu doğrulayın.

   simgesine tıklayın, bir sunucusuz kaynak grubu seçin ve ardından standart Shell düğümü görevini çalıştırın.

Yapılandırma dosyası kullanma

1. Bir ossutil yapılandırma dosyası oluşturun ve bunu OSS'e yükleyin.

   1. Bir yapılandırma dosyası oluşturun.

      Yerel makinenizde myconfig.txt adlı bir dosya oluşturun. Aşağıdaki örnek kod dosya içeriğini göstermektedir:

      [Credentials]
      language = CH
      endpoint = <Endpoint> # For example, oss-cn-shanghai.aliyuncs.com
      accessKeyID = <AccessKeyID>
      accessKeySecret = <AccessKeySecret>

      Not

      Endpoint, AccessKeyID ve AccessKeySecret yer tutucularını gerçek Alibaba Cloud OSS uç noktanızla ve gerekli izinlere sahip bir RAM kullanıcısının erişim anahtarıyla değiştirin. Not: Parametre değerlerini tırnak içine almayın. Parametreler hakkında daha fazla bilgi için bkz. ossutil'i yapılandırma.

   2. Yapılandırma dosyasını yükleyin.

      myconfig.txt dosyasını OSS'e yükleyin. Daha fazla bilgi için bkz. Basit yükleme.

   3. İndirme URL'sini alın.

      Yüklenen nesnenin Operation sütununda Details seçeneğine tıklayın. Açılan panelde Use HTTPS özelliğini kapatın ve ardından Copy Object URL seçeneğine tıklayın.

2. Yapılandırma dosyasını bir sunucusuz kaynak grubuna indirin.

   DataWorks konsolunun Image Management sayfasında, yapılandırma dosyasını bir sunucusuz kaynak grubuna indirmek için özel bir görüntü oluşturun.

   1. Bir görüntü oluşturun.

      DataWorks konsolunda oturum açın ve hedef bölgeye geçiş yapın. Sol gezinme bölmesinde Image Management seçeneğine tıklayın. Image Management sayfasında Custom Image sekmesine tıklayın ve ardından Create Image seçeneğine tıklayın. Açılan panelde parametreleri aşağıdaki gibi yapılandırın:

      Parameter	Example value
      Image Name	Görüntü için özel bir ad girin.
      Image description	Görüntü için özel bir açıklama girin.
      Reference type	DataWorks resmi görüntüsü (varsayılan).
      Image namespace	DataWorks default (varsayılan).
      Image repository	DataWorks default (varsayılan).
      Image name/ID	dataworks_shell_task_pod:xxx seçeneğini belirleyin. Bu, Shell düğümleri için resmi DataWorks görüntüsüdür.
      Visibility Scope	İhtiyaçlarınıza göre bir kapsam seçin: Yalnızca oluşturana görünür Tüm kullanıcılara görünür
      Module	Data Development (varsayılan).
      Supported task type	Shell (varsayılan).
      Installation package	Installation package açılır listesinden Script seçeneğini belirleyin. Ardından komut kutusuna aşağıdaki komutu girin: # Download wget 'http://<yourConfigURL>' -O /home/admin/usertools/tools/<configName> Not http://<yourConfigURL> ifadesini OSS ayrıntıları panelinden kopyaladığınız nesne URL'siyle değiştirin. <configName> değerini OSS'ten indirilecek dosyanın adı olarak ayarlayın (örneğin myconfig.txt).

      Görüntüyü oluşturmak için OK seçeneğine tıklayın.

   2. Görüntüyü test edin ve yayınlayın.

      Oluşturduğunuz görüntünün Operation sütunundaki Deploy seçeneğine tıklayın. Publish Image sayfasında Test Resource Group seçeneğini belirleyin ve Test Result öğesinin sağındaki Test seçeneğine tıklayın. Succeeded. iletisi görüntülendikten sonra sayfanın alt kısmındaki Deploy düğmesine tıklayın.

   3. Yayınlanan özel görüntünün Actions sütununda simgesine tıklayın ve Change Workspace seçeneğini belirleyin. Görüntüyü hedef çalışma alanıyla ilişkilendirin.

3. Yapılandırma dosyasıyla birlikte ossutil komut satırı aracını kullanın.

   1. Standart bir Shell düğümü oluşturun.

      1. Data Development sayfasına gidin.

         DataWorks konsolunda oturum açın, hedef bölgeye geçiş yapın ve ardından sol gezinme bölmesinden Data Development and O&M > Data Studio seçeneklerini belirleyin. Açılır listeden hedef çalışma alanını seçin ve Go to DataStudio seçeneğine tıklayın.

      2. Standart bir Shell düğümü oluşturun.

         Data Development sayfasında hedef iş sürecine sağ tıklayın, Create Node seçeneğini belirleyin ve General dizini altındaki Shell seçeneğine tıklayın.

   2. Shell düğümünde düğüm içeriğini düzenleyin. Aşağıdaki örnek kod, ossutil kullanarak myconfig.txt dosyasında belirtilen OSS uç noktasına bağlanır ve myconfig.txt dosyasında belirtilen hesabın erişebileceği tüm paketleri listeler.

      /home/admin/usertools/tools/ossutil64 -c /home/admin/usertools/tools/myconfig.txt ls -s

   3. simgesine tıklayın, test için kullandığınız sunucusuz kaynak grubunu seçin, oluşturup yayınladığınız custom image öğesini belirtin ve ardından standart Shell düğümü görevini çalıştırın.

   4. Düğümün Scheduling sekmesinde, Resource Group bölümünde hedef kaynak grubunu seçin, oluşturup yayınladığınız custom image öğesini belirtin, zamanlama yapılandırmasını kaydedin, Shell düğümünü geliştirme ortamına gönderin ve ardından üretim ortamına yayınlayın.

İlgili belgeler

Data Development'ın yeni sürümünde, bir Shell düğümüne bir RAM rolü bağlayabilir ve STS kullanarak geçici güvenlik kimlik bilgilerini dinamik olarak elde edebilir; bu sayede ossutil ile OSS'e güvenli bir şekilde erişebilirsiniz. Daha fazla bilgi için bkz. Rolleri ilişkilendirme: Diğer cloud kaynaklarına güvenli erişim.