DataWorks:Uso do ossutil em nós Shell

Visão geral

Os nós Shell do DataWorks, incluindo nós Shell comuns e EMR Shell, integram nativamente a ferramenta de linha de comando do Alibaba Cloud Object Storage Service (OSS), ossutil. Configure o ossutil para acessar o OSS fornecendo credenciais em um arquivo de configuração ou como parâmetros de linha de comando. Para obter mais informações sobre como configurar o ossutil, consulte Configurar o ossutil.

Uso de parâmetros de linha de comando

1. Edite o conteúdo do nó Shell. O código de exemplo abaixo usa o ossutil para conectar-se a um endpoint do OSS especificado e listar todos os buckets acessíveis pela conta atual.

   /home/admin/usertools/tools/ossutil64 -e <OSSEndPoint> -i <AccessKeyID> -k <AccessKeySecret> ls -s 
   if [[ $? == 0 ]];then
       echo "access oss success"
   else
       echo "failed"
       exit 1
   fi
   echo "finished"

   Nota

   Substitua os espaços reservados OSSEndPoint, AccessKeyID e AccessKeySecret pelos valores reais. Para mais detalhes sobre os parâmetros, consulte Configurar o ossutil.

   Importante

   Transmitir uma chave de acesso via parâmetros de linha de comando expõe a chave e gera risco de segurança.

2. Verifique o resultado.

   Clique em , selecione um grupo de recursos serverless e execute a tarefa do nó Shell comum.

Uso de um arquivo de configuração

1. Crie um arquivo de configuração do ossutil e faça upload dele para o OSS.

   1. Crie um arquivo de configuração.

      Crie um arquivo chamado myconfig.txt na máquina local. O código de exemplo a seguir mostra o conteúdo do arquivo:

      [Credentials]
      language = CH
      endpoint = <Endpoint> # For example, oss-cn-shanghai.aliyuncs.com
      accessKeyID = <AccessKeyID>
      accessKeySecret = <AccessKeySecret>

      Nota

      Substitua os espaços reservados Endpoint, AccessKeyID e AccessKeySecret pelo endpoint real do Alibaba Cloud OSS e pela chave de acesso de um usuário RAM com as permissões necessárias. Observação: não coloque os valores dos parâmetros entre aspas. Para mais informações sobre os parâmetros, consulte Configurar o ossutil.

   2. Faça upload do arquivo de configuração.

      Envie o arquivo myconfig.txt para o OSS. Para mais informações, consulte Upload simples.

   3. Obtenha a URL de download.

      Na coluna Operation do objeto enviado, clique em Details. No painel exibido, desative a opção Use HTTPS e clique em Copy Object URL.

2. Baixe o arquivo de configuração para um grupo de recursos serverless.

   Na página Image Management do console do DataWorks, crie uma imagem personalizada para baixar o arquivo de configuração em um grupo de recursos serverless.

   1. Crie uma imagem.

      Faça login no console do DataWorks e mude para a região desejada. No painel de navegação à esquerda, clique em Image Management. Na página Image Management, clique na aba Custom Image e, em seguida, clique em Create Image. No painel exibido, configure os parâmetros conforme descrito abaixo:

      Parâmetro	Valor de exemplo
      Image Name	Insira um nome personalizado para a imagem.
      Image description	Insira uma descrição personalizada para a imagem.
      Reference type	Imagem oficial do DataWorks (padrão).
      Image namespace	Padrão do DataWorks (padrão).
      Image repository	Padrão do DataWorks (padrão).
      Image name/ID	Selecione dataworks_shell_task_pod:xxx. Esta é a imagem oficial do DataWorks para nós Shell.
      Visibility Scope	Escolha um escopo conforme sua necessidade: Visível apenas para o criador Visível para todos
      Module	Desenvolvimento de Dados (padrão).
      Supported task type	Shell (padrão).
      Installation package	Na lista suspensa Installation package, selecione Script. Em seguida, insira o seguinte comando na caixa de comando: # Download wget 'http://<yourConfigURL>' -O /home/admin/usertools/tools/<configName> Nota Substitua http://<yourConfigURL> pela URL do objeto copiada no painel de detalhes do OSS. Defina <configName> como o nome do arquivo a ser baixado do OSS, por exemplo, myconfig.txt.

      Clique em OK para criar a imagem.

   2. Teste e publique a imagem.

      Clique em Deploy na coluna Operation da imagem criada. Na página Publish Image, selecione Test Resource Group e clique em Test à direita de Test Result. Após a exibição da mensagem Succeeded., clique em Deploy na parte inferior.

   3. Na coluna Actions da imagem personalizada publicada, clique em e selecione Change Workspace. Vincule a imagem ao workspace desejado.

3. Use a ferramenta de linha de comando ossutil com o arquivo de configuração.

   1. Crie um nó Shell comum.

      1. Acesse a página de Desenvolvimento de Dados.

         Faça login no console do DataWorks, mude para a região desejada e escolha Data Development and O&M > Data Studio no painel de navegação à esquerda. Na lista suspensa, selecione o workspace alvo e clique em Go to DataStudio.

      2. Crie um nó Shell comum.

         Na página de Desenvolvimento de Dados, clique com o botão direito no processo de negócios desejado, escolha Create Node e selecione Shell no diretório General.

   2. Edite o conteúdo do nó Shell. O código de exemplo abaixo usa o ossutil para conectar-se ao endpoint do OSS especificado em myconfig.txt e listar todos os buckets acessíveis pela conta definida em myconfig.txt.

      /home/admin/usertools/tools/ossutil64 -c /home/admin/usertools/tools/myconfig.txt ls -s

   3. Clique em , selecione o grupo de recursos serverless usado para teste, especifique a custom image criada e publicada e execute a tarefa do nó Shell comum.

   4. Na aba Scheduling do nó, selecione o grupo de recursos desejado na seção Resource Group, especifique a custom image criada e publicada, salve a configuração de agendamento, envie o nó Shell para o ambiente de desenvolvimento e publique-o em produção.

Documentos relacionados

Na nova versão do Desenvolvimento de Dados, vincule uma função RAM a um nó Shell e use o STS para obter dinamicamente credenciais de segurança temporárias. Isso permite acessar o OSS com segurança via ossutil. Para mais informações, consulte Associar funções: Acesso seguro a outros recursos de nuvem.