DataWorks:Gerenciamento do ambiente de desenvolvimento pessoal

Recursos

O Data Studio permite criar instâncias de ambiente de desenvolvimento pessoal no nível da conta com conectividade de rede para armazenamento NAS e repositórios git. É possível clonar código, desenvolver e depurar códigos Python e Notebook online, além de confirmar seu código em um workspace de projeto para agendamento.

Uma instância de ambiente de desenvolvimento pessoal:

• Oferece suporte aos ecossistemas SQL, AI Notebook e Python. Permite executar instruções SQL, scripts Python e comandos shell localmente, desenvolver tarefas para Notebook development e depurar seu código.

• Permite a instalação de extensões para o desenvolvimento de tarefas correspondentes, como DataWorks Agent tasks based on third-party clients.

• Inclui integração com git para gerenciamento de código, facilitando operações de clone, push e gestão do código-fonte.

• Compatível com OSS e NAS, simplificando o gerenciamento e o acesso a dados.

• Suporta imagens personalizadas do DataWorks, possibilitando a execução de diversas tarefas de desenvolvimento com base nas imagens criadas por você.

Com esses recursos, o Data Studio oferece um ambiente de desenvolvimento flexível que simplifica o processamento de dados, a análise e o treinamento de modelos.

Faturamento

Ao criar uma instância de ambiente de desenvolvimento pessoal, é necessário especificar um grupo de recursos e a quantidade de CUs. A cobrança refere-se às CUs consumidas pelo grupo de recursos com base no tempo de execução da instância. Para mais informações, consulte Serverless resource group billing.

• Quando uma instância de ambiente de desenvolvimento pessoal está no estado Running, as taxas de computação são cobradas conforme o método de faturamento do grupo de recursos. Se a instância utilizar um grupo de recursos de pagamento conforme o uso, as taxas serão calculadas com base em resource quota × instance runtime. Caso utilize um grupo de recursos por assinatura, ela consumirá a cota disponível desse grupo.

• Se uma instância de ambiente de desenvolvimento pessoal não estiver em uso, stop the instance prontamente pela página de gerenciamento de instâncias.

Notas de uso

• Limites de workspace: Este recurso está disponível apenas em workspaces onde a opção Use Data Studio (New Version) está ativada.

• Limites de grupo de recursos: Apenas serverless resource groups são suportados.

• Limites de quantidade: Cada membro pode criar até 10 instâncias de ambiente de desenvolvimento pessoal em um workspace.

• Limites de armazenamento: Cada instância de ambiente de desenvolvimento pessoal oferece 30 GiB gratuitos de disco em cloud (armazenamento integrado da instância). Esse armazenamento é recuperado 15 dias após a interrupção da instância. Certifique-se de salvar seus arquivos de código pessoal em tempo hábil.

• Controle de acesso: O Data Studio gerencia as permissões das instâncias de ambiente de desenvolvimento pessoal com base na identidade (administrador do tenant, administrador do workspace ou proprietário da instância).

  • Administrador do tenant ou administrador do workspace

    • Podem visualizar e gerenciar todas as instâncias de ambiente de desenvolvimento pessoal no workspace atual .

    • Podem apenas utilizar instâncias de ambiente de desenvolvimento pessoal de sua própria titularidade.

  • Proprietário da instância

    • Pode apenas visualizar, usar e gerenciar instâncias de ambiente de desenvolvimento pessoal de sua própria titularidade .

      As operações de gerenciamento incluem Change Configuration , Stop , Start , Delete , Create Image , Scheduled Shutdown e View Automatic Shutdown Policy .

• Controles de segurança: Administradores do tenant ou administradores de segurança do tenant podem usar o recurso personal development environment control no Security Center para configurar políticas de controle para ambientes de desenvolvimento pessoal. As seguintes operações podem ser restritas:

  • Download de arquivos: Os administradores podem definir se permitem downloads de arquivos de diretórios montados nas instâncias de ambiente de desenvolvimento pessoal. Quando desativado, o botão de download fica acinzentado.

  • Instalação de extensões: Os administradores podem definir se permitem a instalação de extensões. Quando desativado, o botão de instalação fica acinzentado.

  • Uso do terminal: Os administradores podem definir se permitem o uso do terminal. Quando desativado, o botão do terminal fica acinzentado.

Criar uma instância de ambiente de desenvolvimento pessoal

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

2. Clique em Personal development environment na parte superior e selecione uma instância existente ou crie uma nova conforme necessário.

   Parâmetro		Descrição
   Instance Name		Nome da instância de ambiente de desenvolvimento pessoal. Você pode definir um nome personalizado.
   Instance Owner		Por padrão, o usuário atual que cria o workspace é definido como proprietário da instância .
   Resource Details	Resource Group	Selecione o grupo de recursos serverless para a instância de ambiente de desenvolvimento pessoal.
   	Resource Type	É possível configurar os tipos de recursos CPU e GPU.
   	Resource Quota	Selecione a especificação de recursos para a instância de ambiente de desenvolvimento pessoal. A cota de recursos da especificação selecionada não deve exceder o valor de Maximum CUs configurado para o ambiente de desenvolvimento pessoal no grupo de recursos. Caso contrário, a especificação não poderá ser adicionada. Para ajustar a cota, entre em contato com o administrador para modificá-la na seção de gerenciamento de cotas, na página de detalhes do grupo de recursos. Após selecionar uma especificação, as seguintes informações são exibidas: Specification Name, CPU, Memory, Bandwidth e Resource Quota (quantidade de CUs deduzidas do grupo de recursos para a especificação selecionada). Em comparação com instâncias do tipo CPU, as instâncias do tipo GPU também exibem GPU Specification e GPU Memory. Você pode alocar o Maximum CUs ou Minimum CUs disponível para a instância atual de ambiente de desenvolvimento pessoal na quota management section do grupo de recursos serverless. Importante Preste atenção às informações de Resource Quota aqui. Quando uma instância de ambiente de desenvolvimento pessoal está em execução, se utilizar um grupo de recursos de pagamento conforme o uso, as taxas de computação são calculadas com base em resource quota × instance runtime. Se utilizar um grupo de recursos por assinatura, ela consumirá a cota disponível desse grupo.
   Image		Selecione uma imagem fornecida pelo sistema ou uma imagem personalizada conforme necessário. Imagens integradas do sistema: Para mais informações, consulte System built-in images. Imagens personalizadas: Além das imagens fornecidas pelo sistema, você pode selecionar uma imagem personalizada criada por você. Imagens personalizadas permitem pré-instalar pacotes de terceiros específicos para atender aos seus requisitos de desenvolvimento. Para saber como criar uma imagem personalizada, consulte Create a DataWorks image from a personal development environment.
   Storage Settings	System Disk	Cada instância de ambiente de desenvolvimento pessoal oferece 30 GiB gratuitos de disco em cloud (armazenamento integrado da instância). Esse armazenamento é recuperado 15 dias após a interrupção da instância. Certifique-se de salvar seus arquivos de código pessoal em tempo hábil. O caminho padrão do armazenamento integrado de uma instância de ambiente de desenvolvimento pessoal é /mnt/workspace.
   	Datasets	Se precisar ler ou gravar em armazenamentos OSS ou NAS em um ambiente de desenvolvimento pessoal, você pode adicionar datasets ao ambiente. Datasets: Selecione na lista suspensa um dataset do tipo de armazenamento de arquivos (OSS ou NAS) criado no workspace atual. Observe o seguinte: Ao selecionar um dataset do tipo NAS, se a VPC do grupo de recursos atual do DataWorks não estiver conectada ao ponto de montagem do NAS, ajuste a rede da VPC para garantir a conectividade. Nota A rede estará conectada quando a VPC associada ao grupo de recursos do DataWorks for a mesma VPC associada ao ponto de montagem do NAS. Mount Path: O caminho de montagem padrão baseia-se na configuração do dataset. Você pode modificá-lo manualmente para o nó atual. Advanced Settings: Ao ler datasets OSS ou NAS para desenvolvimento de nós, você pode configurar diferentes advanced settings para ajustar o método de leitura e o protocolo de montagem do dataset. Read Only: Quando o modo somente leitura está ativado, as tarefas executadas no ambiente de desenvolvimento pessoal podem apenas ler dados, sem permissão para gravar no OSS ou NAS. Importante Observações sobre exclusão de arquivos no armazenamento de instâncias de ambiente de desenvolvimento pessoal: Arquivos excluídos do espaço NAS montado em uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/data) não são movidos para a recycle bin no Data Studio. Se a the recycle bin feature estiver ativada no console do NAS, os arquivos excluídos serão movidos para a lixeira do sistema de arquivos. Arquivos excluídos do espaço OSS montado em uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/data) não são movidos para a recycle bin no Data Studio. É possível recuperar dados ativando o recurso versioning. Arquivos excluídos do armazenamento integrado de uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/workspace) não são movidos para a lixeira no Data Studio.
   Network Settings	VPC	Acessar recursos da VPC (como RDS): Configure a Proprietary Network correspondente aqui. Acessar recursos da Internet: Deixe este campo vazio. O ambiente de desenvolvimento suporta acesso à Internet por padrão. Acessar recursos da VPC e da Internet: Após configurar uma Proprietary Network aqui, você também deve configurar um Internet NAT Gateway para que a VPC acesse a Internet. Nota Para acessar endereços protegidos por controle de acesso baseado em lista de permissões, você também deve associar uma Proprietary Network que tenha capacidade de acesso à Internet.
   	Security Group	Selecione um grupo de segurança existente para associar.
   	vSwitch	Opcional. Se você não especificar um vSwitch, o sistema selecionará um aleatoriamente da VPC escolhida.
   Access Configuration	Enable SSH	Após ativar o SSH, você pode usá-lo para conectar-se diretamente ao ambiente de desenvolvimento pessoal através da VPC selecionada. Se utilizar uma imagem personalizada, certifique-se de que o sshd esteja instalado na imagem. Importante Para usar SSH, é necessário instalar o SSH Server no ambiente de desenvolvimento pessoal. Para mais informações, consulte Install and configure SSH Server.
   	SSH Public Key	Chave pública gerada localmente. Para mais informações, consulte Generate an SSH key pair.
   	SSH Access Method	Log on from VPC: Este método de acesso é suportado por padrão. Você pode acessar o ambiente de desenvolvimento pessoal a partir de outros terminais dentro da VPC, como instâncias ECS. Log on from Internet: Selecione esta opção para habilitar o acesso pela Internet. Também é necessário configurar um NAT Gateway e um EIP.
   	VPC Access Domain	Um nome de domínio autoritativo integrado (Private Zone) é criado para você. Use este nome de domínio dentro da VPC para acessar o service SSH ou outros services personalizados da instância atual, evitando a necessidade de rastrear mudanças nos endereços IP da instância. Note que o nome de domínio autoritativo integrado gera custos de fees.
   	NAT Gateway	Este parâmetro é obrigatório se você precisar de acesso à Internet. Selecione um Internet NAT Gateway criado para a VPC atual.
   	EIP	Este parâmetro é obrigatório se você precisar de acesso à Internet. Selecione um EIP criado para o NAT gateway atual.
   Advanced Information	Instance RAM Role	Uma função RAM de instância permite associar uma função a uma instância de ambiente de desenvolvimento pessoal. Dentro da instância, é possível acessar outros services da Alibaba Cloud usando credenciais temporárias STS, que são atualizadas periodicamente. Isso garante a segurança do seu AccessKey e permite controle de acesso granular via RAM. Por padrão, a Dataworks Default Role é selecionada. Para mais informações sobre funções, consulte Configure an instance RAM role for a personal development environment.

Gerenciar instâncias de ambiente de desenvolvimento pessoal

Usar datasets em um ambiente de desenvolvimento pessoal

Ambientes de desenvolvimento pessoal suportam datasets, permitindo leitura ou gravação em armazenamentos OSS ou NAS durante a execução de nós. Para mais informações, consulte Use datasets in a personal development environment.

Referências

• É possível criar uma imagem personalizada a partir de uma instância de ambiente de desenvolvimento pessoal e utilizá-la no desenvolvimento de outros nós. Para mais informações sobre como criar e usar imagens a partir de uma instância de ambiente de desenvolvimento pessoal, consulte Create and use custom images.

• Para instruções sobre como conectar um ambiente de desenvolvimento pessoal a um repositório git para clonar, enviar e gerenciar código, consulte Connect to a Git repository.

FAQ

P: A instância falha ao iniciar com o erro cu is not enough as max.

R: O grupo de recursos limita o máximo de CUs para ambientes de desenvolvimento pessoal. Acesse a página de detalhes do grupo de recursos e ajuste a cota na seção de gerenciamento de cotas.

P: Qual é a relação entre um ambiente de desenvolvimento pessoal e os ambientes de desenvolvimento e produção em um workspace de modo padrão?

R: Um ambiente de desenvolvimento pessoal e os ambientes de desenvolvimento e produção em um workspace de modo padrão servem a propósitos diferentes. O ambiente de desenvolvimento pessoal é uma instância baseada em cloud no nível da conta para codificação, depuração e testes. Os ambientes de desenvolvimento e produção são usados para agendar e executar workflows. Após escrever e depurar o código em um ambiente de desenvolvimento pessoal, envie-o para o workspace do projeto através do processo de implantação para configurar agendamentos no ambiente de desenvolvimento e implantar no ambiente de produção para execução.

P: Como implanto um workflow de um ambiente de desenvolvimento pessoal para o ambiente de desenvolvimento para agendamento?

R: Após concluir o desenvolvimento e a depuração do código no ambiente de desenvolvimento pessoal, envie o código para o workspace do projeto. Em seguida, acesse a página de desenvolvimento de dados no Data Studio, abra o nó de workflow correspondente no ambiente de desenvolvimento, configure o agendamento e as dependências e implante o workflow no ambiente de produção.

P: A lista suspensa na parte superior do ambiente de desenvolvimento pessoal está vazia e não consigo alternar para o ambiente de desenvolvimento ou produção.

R: A lista suspensa na parte superior do ambiente de desenvolvimento pessoal serve para selecionar e gerenciar instâncias de ambiente de desenvolvimento pessoal, não para alternar entre os ambientes de desenvolvimento ou produção. Se a lista suspensa estiver vazia, isso geralmente ocorre por um dos seguintes motivos:

• O workspace atual não está associado a um grupo de recursos serverless, ou nenhuma cota de CU foi alocada para ambientes de desenvolvimento pessoal no grupo de recursos.

• O usuário atual não criou nenhuma instância de ambiente de desenvolvimento pessoal. Clique na lista suspensa para criar uma instância.

• O workspace não tem o Data Studio ativado. Ambientes de desenvolvimento pessoal estão disponíveis apenas no Data Studio.