O console do DataWorks oferece configuração centralizada de ambiente e gerenciamento de recursos em dois níveis: global (funções e regras de alerta em todo o tenant) e workspace (recursos de computação, fontes de dados e membros para cada projeto).
Conceitos principais e arquitetura do sistema
Compreenda a arquitetura principal e as relações entre entidades no DataWorks antes de começar.
Conceito principal: Workspace
Um workspace é a unidade lógica fundamental no DataWorks para gerenciamento de projetos, controle de permissões e isolamento de recursos. Todas as atividades, como desenvolvimento de dados, operações de tarefas e gerenciamento de membros, ocorrem dentro de um workspace.
Isolamento: Os workspaces fornecem isolamento forte. Nós, tarefas, recursos e membros em workspaces diferentes são totalmente independentes.
Contêiner: O workspace atua como um contêiner que hospeda módulos funcionais, como Data Studio e Data Integration, e se associa a entidades externas, como fontes de dados, recursos de computação e grupos de recursos.
Arquitetura e relações entre entidades
A figura a seguir mostra as dependências entre as entidades principais do DataWorks.
Workspace: Unidade mínima para todas as operações. Módulos funcionais como Data Studio, Data Integration e Operation Center operam dentro de um workspace específico.
-
Grupo de recursos:
NotaUm grupo de recursos no DataWorks fornece recursos de computação para executar tarefas e corresponde a um pacote adquirido separadamente. Isso difere do resource group na sua conta Alibaba Cloud, usado para isolamento de recursos e gerenciamento de permissões.
Definição: Entidade que fornece recursos de computação (CPU e memória) para execução de tarefas. Existe independentemente dos workspaces.
Relacionamento: Associação obrigatória. Conforme mostrado no lado direito da figura, associe um grupo de recursos a um ou mais workspaces. Isso permite que tarefas do Data Integration e tarefas agendadas periodicamente no Data Studio obtenham recursos de computação em tempo de execução.
-
Recurso de computação:
Definição: Entidade que fornece o ambiente de análise de sintaxe, compilação e execução para o módulo Data Studio. Exemplos incluem MaxCompute, Hologres e EMR.
Relacionamento: Dependência de desenvolvimento. Conforme indicado pelas setas de entrada no módulo Data Studio na figura, associe um recurso de computação a um workspace. Isso possibilita que desenvolvedores escrevam, depurem e enviem código, como SQL e Spark, no módulo Data Studio.
-
Fonte de dados:
Definição: Informações de conexão para acessar armazenamentos de dados externos, como MySQL, Oracle e OSS.
Relacionamento: Dependência de integração. Conforme indicado pelas setas de entrada no módulo Data Integration na figura, a source e o destino de uma tarefa do Data Integration dependem de fontes de dados pré-configuradas no workspace.
-
Imagem personalizada:
Definição: Ambiente empacotado que contém um sistema operacional específico, ambiente de execução e bibliotecas de terceiros.
Relacionamento: Associação opcional. Conforme mostrado no lado esquerdo da figura, caso o ambiente de desenvolvimento pessoal (Studio) ou tipos específicos de nós do Data Studio (como PyODPS) exijam dependências fora do ambiente padrão (como uma versão específica de biblioteca Python), associe uma imagem personalizada conforme necessário. Este é um recurso avançado.
-
Serviços globais entre workspaces:
Conforme mostrado na parte superior da figura, módulos como Data Governance e Data Map operam acima do nível de workspace e fornecem visualizações globais de dados e capacidades de gerenciamento no nível do tenant. Seus sistemas de permissão são independentes de workspaces individuais.
Observações
Controle de permissões: Se não conseguir visualizar ou usar recursos específicos, entre em contato com o proprietário da conta Alibaba Cloud ou um administrador para verificar se você tem as permissões necessárias. Para obter mais informações, consulte Overview of Permission Control System.
Isolamento por região: Workspaces e recursos no DataWorks são isolados por região. Antes de realizar qualquer operação, certifique-se de ter selecionado a região correta na barra de navegação superior do console.
Fluxo de trabalho inicial
Se esta for a primeira vez que você configura o DataWorks, siga este fluxo de trabalho para estabelecer um ambiente completo e funcional.
Certifique-se de usar uma conta Alibaba Cloud ou um usuário RAM com a política AliyunDataWorksFullAccess anexada. Caso contrário, solicite ao seu administrador que grant permissions to the RAM user.
Etapa 1: Criar um workspace
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região desejada. No painel de navegação à esquerda, clique em Workspace e, em seguida, clique em Create Workspace. Selecione um modo de workspace de acordo com seus requisitos. Recomendamos o uso do Standard Mode para garantir o isolamento completo dos ambientes de desenvolvimento, teste e produção.
Para obter mais informações, consulte Create a workspace .
Etapa 2: Configurar e associar um grupo de recursos
Criar ou adquirir um grupo de recursos: No painel de navegação à esquerda do console, acesse a lista de Resource Group e adquira um grupo de recursos que atenda aos requisitos da sua carga de trabalho (por exemplo, um serverless resource group).
-
Associar a um workspace: Associe o grupo de recursos adquirido ao seu workspace. Esta etapa é pré-requisito para o funcionamento adequado de Data Integration, agendamento de tarefas, DataService Studio e outros recursos principais.
Na página Resource Groups, clique em Create Resource Group para criar um grupo de recursos e, em seguida, clique em Associate Workspace na coluna Actions do grupo de recursos desejado.
Etapa 3: Adicionar membros ao workspace
Acesse a lista de workspaces e clique em Details na coluna Actions do workspace desejado para abrir a página de detalhes.
-
Nesta página, adicione membros da equipe do projeto (usuários RAM) e atribua funções apropriadas no nível do workspace (como Workspace Administrator, desenvolvedor ou operador) para habilitar o desenvolvimento colaborativo e o controle de permissões.
Para obter mais informações, consulte Add members to a workspace .
No painel de navegação à esquerda, clique em Workspace Members and Roles, clique em Add Member, selecione contas na lista Accounts to Add para movê-las para a lista Added Accounts, selecione as funções desejadas (como Workspace Administrator) na seção Batch Set Roles e clique em OK.
Etapa 4: Associar recursos de computação
Acesse a lista de Computing Resource nos detalhes do workspace e associe uma instância existente de recurso de computação (como um projeto MaxCompute) ao workspace atual. Esta etapa é pré-requisito para o desenvolvimento de dados.
Etapa 5: Adicionar fontes de dados
Acesse Data Sources nos detalhes do workspace, clique em Add Data Source, configure as informações de conexão do banco de dados de source ou destino para sincronização de dados e teste a conectividade de rede.
Após concluir estas cinco etapas, seu workspace do DataWorks estará pronto para desenvolvimento de dados e execução de tarefas.
Visão geral dos recursos de gerenciamento
Visão geral e navegação
O painel de navegação à esquerda fornece acesso a todos os recursos de gerenciamento, incluindo a lista de workspaces, lista de grupos de recursos, gerenciamento de imagens, além de recursos e services adquiridos. Faça login no console do DataWorks. A página Overview é exibida por padrão e mostra cenários principais, workspaces usados frequentemente, atualizações de products e links rápidos.
Configuração no nível global
Estas configurações entram em vigor no nível do tenant e se aplicam a todos os workspaces na região atual.
Acesse no painel de navegação ou clique em no botão de gerenciamento na coluna Actions da lista de workspaces para acessar a Administration.
-
Visualize as configurações de Alerts, Tenant Members and Roles e Extension no nível do tenant.
Recurso
Descrição e operações principais
Configuração de alertas
Visualize e configure contatos de alerta e defina limites de alerta para o DataWorks.
• Recursos de alerta: Visualize o uso de recursos de alerta (SMS e telefone) e defina o limite diário de alertas. Os alertas param após o limite ser atingido.
• Contatos de alerta: Configure os contatos que recebem alertas de tarefas. É possível sincronizar contatos do RAM ou adicioná-los manualmente. Os contatos devem ser ativados antes de entrarem em vigor.Para obter mais informações, consulte View and configure alert contacts.
Membros e funções do tenant
• Membros do tenant: Configure membros com permissões em módulos globais, como Data Security Guard e Data Map.
• Funções do tenant: Visualize ou personalize funções globais e suas permissões.Para obter mais informações, consulte Permission control for global services.
Extensões
Ative ou configure aplicativos de extensão fornecidos pela Open Platform para implementar verificação e controle sobre fluxos de trabalho de desenvolvimento e operações.
Para obter mais informações, consulte Extensions.
Configuração de detalhes do workspace
Estas configurações têm efeito apenas no workspace atual.
|
Recurso |
Descrição e operações principais |
|
Configurações do workspace |
Gerencie propriedades básicas e configurações de segurança do workspace (como permitir ou não o download de resultados Para obter mais informações, consulte Configure a workspace. |
|
Fontes de dados |
Gerencie conexões de source e destino usadas para sincronização de dados no workspace atual. Para obter mais informações, consulte Data source configuration. |
|
Computing Resource |
Associe e gerencie recursos de computação para desenvolvimento de dados, como MaxCompute, Hologres e AnalyticDB for MySQL. Para obter mais informações, consulte Compute Resources Overview. |
|
Gerenciamento de clusters |
Registre e gerencie clusters CDH/CDP ou EMR autogerenciados e configure arquivos de autenticação e relações de mapeamento de contas. Este recurso fica visível apenas para workspaces que não utilizam o novo Data Studio. |
|
Workspace Members and Roles |
Visualize permissões de funções predefinidas, crie funções personalizadas e configure suas permissões de recursos e mapeamentos de função para recursos de computação. Também é possível adicionar ou remover membros do workspace e atribuir funções. Para obter mais informações, consulte Manage permissions on workspace-level services. |
Gerenciamento de workspaces
No painel de navegação à esquerda, clique em Workspace para visualizar todos os workspaces na região especificada. Gerencie os workspaces dos quais você participa ou crie novos.
Usuários RAM só podem visualizar workspaces dos quais participam. Para visualizar um workspace, o usuário RAM deve ser adicionado como membro. Para obter mais informações, consulte Add members to a workspace.
|
Área |
Recurso |
Descrição |
Referências |
|
1 |
Selecionar uma região |
Alterne a região do DataWorks. Regiões diferentes exibem listas de workspaces distintas. |
- |
|
2 |
Criar um workspace |
Crie um novo workspace do DataWorks. |
|
|
3 |
Visualizar informações básicas do workspace |
Consulte informações básicas do workspace, como modo e administradores:
|
|
|
4 |
Operações do workspace |
Visualize métricas principais, navegue rapidamente para módulos ou execute operações no workspace.
|
|
|
5 |
Atualização de versão |
Atualize a edição atual do DataWorks.
|
Para obter mais informações sobre as diferenças entre as edições, consulte DataWorks: Features by edition. |
|
Adquirir um grupo de recursos exclusivo |
Adquira um grupo de recursos serverless. Após a compra, clique em Resource Group no painel de navegação à esquerda para visualizar os detalhes do grupo de recursos. |
IA e Agent
O grupo de menus AI no painel de navegação à esquerda fornece acesso centralizado às capacidades de IA e Agent.
|
Recurso |
Descrição e operações principais |
|
Data Agent |
Interface conversacional de agente de IA com DataWorks Skills integrados, cobrindo cenários de Data Integration, desenvolvimento de dados, Data Governance e segurança de dados. Clique em para acessar a página de conversa do Data Agent. Para obter mais informações, consulte New data agent. |
|
AI Assistant Service |
O AI Assistant Service permite conversas diretas pelo console do DataWorks. Integra-se também a plataformas de IM como DingTalk e Lark, permitindo análise de alertas, diagnóstico de tarefas, modificação de código, operações de tarefas e governança de dados via linguagem natural. Para obter mais informações, consulte AI assistant service. |
|
Serviço de modelos grandes |
Implante e invoque modelos grandes de forma eficiente. Implante modelos usando grupos de recursos serverless do DataWorks e invoque-os diretamente em tarefas de Data Integration e desenvolvimento de dados. Para obter mais informações, consulte Large model service overview. |
|
Gerenciamento de assentos |
Gerencie a alocação e o uso de assentos do Data Agent na aba Seat Management da página de configurações do Data Agent. Para obter mais informações, consulte Seat management. |
Lista de grupos de recursos
No painel de navegação à esquerda, clique em Resource Group. Adquira recursos ou visualize detalhes e gerencie recursos adquiridos na região correspondente.
|
Área |
Recurso |
Descrição |
Referências |
|
1 |
Criar um grupo de recursos |
Crie um grupo de recursos serverless. |
|
|
2 |
Visualizar informações básicas do grupo de recursos |
Consulte informações básicas do grupo de recursos, como status de execução, horário de expiração e utilização.
|
|
|
3 |
|||
|
4 |
Operações do grupo de recursos |
Visualize informações detalhadas do grupo de recursos e realize operações de modificação.
Nota
O processo de modificação do grupo de recursos leva algum tempo. Aguarde a conclusão do processo. |
para executar operações como scale-up, scale-down, renovação, cancelamento de assinatura, gerenciamento de cotas, conversão de tipo de faturamento e modificar limite de concorrência de agendamento no grupo de recursos.Gerenciamento de imagens
No painel de navegação à esquerda, clique em Image Management. Visualize as imagens oficiais do DataWorks. Se tarefas em um grupo de recursos serverless exigirem um ambiente de desenvolvimento específico (como dependências de bibliotecas de terceiros), crie uma imagem personalizada que integre os pacotes e dependências necessários e, em seguida, especifique o grupo de recursos serverless como recurso de execução e a imagem como ambiente de execução ao rodar a tarefa. Para obter mais informações, consulte Custom image.
Recursos e services adquiridos
No painel de navegação à esquerda, clique em Purchased Resources and Services. Consulte detalhes de services e grupos de recursos do DataWorks adquiridos por assinatura ou pagamento conforme o uso, visualize faturas e regras de faturamento, ou realize operações como renovação, upgrade, downgrade e cancelamento de assinatura. Para obter mais informações, consulte View bill details e Overview.