Após criar um cluster, você pode usar a execução manual para executar um script nos nós selecionados. Este tópico descreve como adicionar e executar esses scripts.
Informações gerais
A execução manual permite executar imediatamente um script especificado nos nós selecionados de um cluster existente. Esse recurso é voltado para clusters de longa duração. Para clusters temporários sob demanda, use uma ação de bootstrap para inicializar o cluster. Para mais informações, consulte Run scripts by using bootstrap actions.
Assim como uma ação de bootstrap, a execução manual permite instalar softwares e serviços que ainda não são compatíveis com o cluster. Por exemplo, você pode:
Instalar pacotes de software disponíveis usando yum.
Baixar softwares públicos da internet.
Ler seus dados do OSS.
Instalar e executar serviços, como o componente Pig. Isso pode exigir scripts mais complexos.
Pré-requisitos
Você criou um cluster. Para mais informações, consulte Create a cluster.
O cluster deve estar no estado de execução.
Você desenvolveu ou obteve um script de cluster e o carregou no OSS. Para um exemplo, consulte Examples.
Considerações
Os registros de execução manual são retidos por até 60 dias.
Apenas um script de cluster pode ser executado em um cluster por vez.
Um script de cluster pode ser concluído com êxito em alguns nós e falhar em outros. Por exemplo, a reinicialização de um nó pode causar falha no script. Após resolver o problema, execute novamente o script apenas nos nós com falha. Após um scale-out do cluster, também é possível executar o script de cluster somente nos nós recém-adicionados.
Procedimento
-
Acesse a página Script operation.
Faça login no E-MapReduce console.
Na barra de navegação superior, selecione uma região e um grupo de recursos.
Clique em Services para o cluster de destino.
Clique na aba Script Operation.
Na página Script Operation, clique na aba Manual Execution.
Clique em Create and Execute.
-
Na caixa de diálogo, insira um Name, selecione um script na lista suspensa Script Address e especifique o Execution Scope.
NotaComo prática recomendada, teste o script de cluster em um único nó antes de executá-lo em todo o cluster.
O caminho do script deve estar no formato
oss://**/*.sh.
-
Após configurar os parâmetros, clique em OK.
Após a criação do script de cluster, ele aparece na lista de scripts e entra no estado de execução. Os status possíveis do script são Running, Complete e Submit Failed.
Para ver os detalhes do script executado manualmente, clique em Details na coluna Actions.
-
Para verificar o status de execução do script, clique em View Execution Result ao lado do nome do script.
O status do script em cada nó pode ser Waiting, Running, Complete, Failed, Submit Failed ou Cancel.
Para excluir o script executado manualmente, clique em Delete na coluna Actions.
Exemplos
Assim como um script de ação de bootstrap, você pode especificar arquivos para baixar do OSS no script de cluster. O exemplo a seguir mostra como baixar o arquivo oss://<yourBucket>/<myFile>.tar.gz e descompactá-lo no diretório /yourDir.
#!/bin/bash
osscmd --id=<yourAccessKeyId> --key=<yourAccessKeySecret> --host=oss-cn-hangzhou-internal.aliyuncs.com get oss://<yourBucketName>/<yourFile>.tar.gz ./<yourFile>.tar.gz
mkdir -p /<yourDir>
tar -zxvf <yourFile>.tar.gz -C /<yourDir>O OSS oferece endpoints internos, públicos e de VPC. Se o cluster estiver em uma rede clássica, especifique um endpoint interno. Por exemplo, o endpoint interno para a região China (Hangzhou) é oss-cn-hangzhou-internal.aliyuncs.com. Se o cluster estiver em uma VPC, especifique um endpoint acessível pela VPC, como vpc100-oss-cn-hangzhou.aliyuncs.com para a região China (Hangzhou).
Você também pode usar um script de cluster para instalar pacotes adicionais do sistema com yum. Por exemplo, instale ld-linux.so.2.
#!/bin/bash
yum install -y ld-linux.so.2Por padrão, o cluster executa o script como o usuário root. Você também pode usar o comando su hadoop para alternar para o usuário hadoop no script.