O DataWorks Data Studio passa por uma atualização arquitetural abrangente para oferecer suporte a tecnologias cloud-native, lidar com cenários de processamento de dados cada vez mais complexos e melhorar a escalabilidade, a manutenibilidade e a experiência do usuário. A nova arquitetura oferece uma plataforma de desenvolvimento de dados de alto desempenho e alta disponibilidade, com recursos de desenvolvimento e governança mais eficientes, inteligentes e unificados.
Caso encontre problemas durante a atualização, obtenha suporte técnico no Grupo de Suporte à Atualização do DataWorks Data Studio.
1. Contexto
A arquitetura original do DataWorks foi criada há dezesseis anos. Embora atendesse às necessidades principais da era do processamento em lote, suas limitações tornaram-se mais evidentes com a evolução das stacks tecnológicas e dos cenários de negócios. Três fatores principais impulsionam esta atualização:
Requisitos técnicos para a evolução da arquitetura
Suporte à arquitetura lakehouse: A arquitetura existente precisa de uma atualização para oferecer suporte nativo a uma transição suave dos data warehouses tradicionais para uma arquitetura lakehouse, unificando o gerenciamento de metadados e o processamento de dados.
Processamento offline e em tempo real unificado: Para atender às demandas de negócios em tempo real, a nova arquitetura fornece um paradigma de desenvolvimento unificado e uma visualização de metadados que integra perfeitamente o processamento em lote e a computação de fluxo em tempo real.
Integração nativa de IA e grandes modelos de linguagem (LLMs): A nova arquitetura integra nativamente recursos de IA, como machine learning, deep learning e processamento de linguagem natural, em todo o ciclo de vida de desenvolvimento de dados.
Desafios da arquitetura existente
Limitações de um design monolítico centrado em lotes: A arquitetura legada baseia-se em um design monolítico antigo focado em processamento em lote. Ela possui limitações inerentes ao suporte de tecnologias cloud-native e computação de fluxo, o que restringe a elasticidade e o desempenho da plataforma.
Gargalos de escalabilidade e manutenibilidade: Módulos fortemente acoplados resultam em ciclos de iteração longos para novos recursos e altos custos de manutenção, dificultando o atendimento às demandas de acesso simultâneo em larga escala e extensões personalizadas de negócios.
Evolução das demandas dos usuários
Suporte a workflows complexos e em grande escala: Para lidar com dezenas de milhares de usuários ativos e dados na escala de exabytes, a nova arquitetura oferece maior estabilidade, throughput e isolamento de recursos.
Eficiência e inteligência aprimoradas no desenvolvimento: Os usuários esperam uma experiência de desenvolvimento tão fluida quanto a de uma IDE local. A nova arquitetura introduz assistência inteligente de código, diagnósticos de desempenho e implantação com um clique para reduzir significativamente a barreira de entrada no desenvolvimento de dados.
2. Escopo da atualização
|
Módulo |
Alterações |
|
Data Studio |
Apenas uma atualização da interface do usuário (UI) e da experiência do usuário (UX). |
Outros módulos, como Operation Center e Deployment Center, não têm relação com esta atualização e não estão incluídos no escopo.
3. Impacto da atualização
Impacto nos negócios existentes
|
Item |
Descrição do impacto |
|
Tarefas de produção implantadas |
Impacto zero. Todo o agendamento e execução de tarefas online continua rodando de forma estável, sem interrupções. |
|
Recursos principais de desenvolvimento de dados |
Totalmente mantidos e aprimorados. Tipos de nó, suporte a funções e recursos essenciais de edição e execução são mantidos e otimizados em termos de desempenho e experiência na nova versão. |
Migração de ativos do usuário
|
Tipo de ativo |
Plano de migração |
|
Nós existentes (como MaxCompute SQL e Shell) |
Há suporte para migração com um clique para a nova UI. |
|
Funções definidas pelo usuário (UDFs) |
|
|
Arquivos de recurso (como |
|
|
Componentes |
|
|
Consultas ad hoc |
4. Detalhes da migração de recursos
O novo Data Studio reorganiza e otimiza os recursos do Data Studio legado. As seções a seguir descrevem a nova localização e as alterações de cada módulo de recursos na nova IDE:
4,1 Módulo de desenvolvimento de dados
4.1.1. Soluções
-
Legado: Um menu "Solutions" independente para organizar e gerenciar workflows relacionados.
-
Novo: Atualizado para "Focus Mode". Acesse o Focus Mode a partir de qualquer diretório de arquivos para obter uma experiência de desenvolvimento mais imersiva e flexível.
4.1.2. Workflows
-
Legado: Uma hierarquia de diretórios fixa com suporte a painel de workflow.
-
Novo: Crie diretórios conforme necessário e marque-os flexivelmente como conteúdo proveniente dos diretórios de workflow legados.
-
Novo: O painel de workflow foi atualizado para um painel de diretórios. Agora, qualquer diretório oferece suporte ao recurso "Visualize".
-
Novo: Se precisar de recursos de orquestração de workflow, utilize o recurso "scheduled workflow" no novo Data Studio.
4.1.3. Desenvolvimento de nós
-
Legado: Apenas os tipos de nó disponíveis eram exibidos. Não era possível ver outros tipos de nó suportados pelo DataWorks ou escrever código para eles antes de associar um mecanismo de computação.
-
Novo: Integrado ao diretório do projeto no Data Studio. Visualize todos os tipos de nó e escreva código antes de associar um mecanismo de computação. As interações de criação de nós são otimizadas continuamente.
4.1.3.1 Executar / Executar com parâmetros
-
Legado: "Run" e "Run with Parameters" eram dois botões separados. Ao clicar em Run with Parameters, era possível selecionar o grupo de recursos e os parâmetros personalizados.
-
Novo:
Os botões legados "Run" e "Run with Parameters" foram consolidados em um único botão "Run" na nova versão.
-
A "Engine Instance" legada foi dividida em source de dados e recurso de computação, dependendo do tipo de nó:
Source de dados: Usada para sugestões de metadados no editor de código inteligente.
Recurso de computação: Usado para determinar o recurso de computação para depuração de código.
O "Resource Group" legado na caixa de diálogo foi movido para "Resource Group" na configuração de execução.
Os "Custom Parameters" legados na caixa de diálogo "Run with Parameters" foram movidos para "Parameters" na configuração de execução.
O painel "Debug Configuration" fica sempre visível no lado direito do nó. O recurso de computação, o grupo de recursos e os parâmetros de cada execução são obtidos dessa configuração.
4.1.3.2 Teste de fumaça / Visualizar registros de teste de fumaça
-
Legado: O teste de fumaça só podia ser iniciado após um envio bem-sucedido.
-
Novo:
Modo padrão: O teste de fumaça só pode ser iniciado após uma implantação bem-sucedida no ambiente de desenvolvimento (equivalente a um envio bem-sucedido na versão legada).
Modo básico: O teste de fumaça só pode ser iniciado após uma implantação bem-sucedida no ambiente de produção (equivalente a um envio bem-sucedido na versão legada).
4.1.3.3 Revisão de código / Visualizar registros de revisão de código
-
Legado: Os botões relevantes ficavam diretamente visíveis na barra de ferramentas do nó.
-
Novo: Durante o processo de implantação, inicie uma revisão de código na etapa do verificador de produção. Na árvore de diretórios à esquerda, clique em para visualizar a lista de revisões de código.
4.1.3.4 Enviar / Enviar e permitir edição por outros
-
Legado:
-
Novo: A ação legada "Submit" foi renomeada para "Deploy" na nova versão. Usuários autorizados podem implantar diretamente. No modo padrão, as tarefas também podem ser empacotadas e implantadas por meio do Deployment Center.
4.1.4. Desenvolvimento de tabelas
-
Legado: As tabelas eram criadas no Data Studio.
-
Novo: Atualizado para uma experiência completa de gerenciamento do "Data Catalog". Crie tabelas no Data Catalog usando criação visual baseada em formulários, criação baseada em código ou criação assistida por IA.
4.1.5. Desenvolvimento de recursos
-
Legado: Os recursos eram criados no Data Studio.
-
Novo: Consolidado no módulo "Resource Management".
4.1.6. Desenvolvimento de funções
-
Legado: As funções eram criadas no Data Studio.
-
Novo: Consolidado no módulo "Resource Management".
4,2 Módulo de gerenciamento de componentes
-
Legado:
-
Novo:
4,3 Módulo de tarefas manuais
-
Legado:
-
Novo:
4,4 Módulo de workflow manual
-
Legado:
-
Novo:
-
Para recursos mais completos de workflow manual, utilize: Project Directory > Workflow > Trigger-based Workflow.
4,5 Módulo de consulta ad hoc
-
Legado: Arquivos de consulta ad hoc de todos os usuários no workspace atual.
-
Novo:
Arquivos de consulta ad hoc do usuário atual em todos os workspaces da região atual.
Uso exclusivo para depuração de código. Quando confirmar que uma consulta precisa ser implantada como tarefa de produção, envie-a para o diretório do projeto, defina as configurações de agendamento e implante-a.
4,6 Módulo de gerenciamento de tabelas
-
Legado:
-
Novo: Atualizado para uma experiência completa de gerenciamento do "Data Catalog". Crie tabelas no Data Catalog usando criação visual baseada em formulários, criação baseada em código ou criação assistida por IA.
4,7 Módulo de tabela pública
-
Legado:
-
Novo: Atualizado para uma experiência completa de gerenciamento do "Data Catalog".
4,8 Módulo de lista de funções
-
Legado:
-
Novo: Agora é possível fazer perguntas sobre o uso de funções diretamente no Copilot.
No roadmap futuro do product, será adicionado um módulo de Gerenciamento de Funções para gerencie e crie funções nativas do mecanismo e funções definidas pelo usuário.
4,9 Módulo de pré-verificação
-
Legado:
-
Novo:
4,10 Módulo de histórico de execução
-
Legado:
-
Novo:
4,11 Módulo de registros de teste de fumaça
-
Legado:
-
Novo:
4,12 Módulo de recurso de computação
-
Legado:
-
Novo:
4,13 Módulo de configurações
-
Legado:
-
Novo: Alternância de tema.
-
Novo: Outras configurações.
-
Novo: Mais configurações para explorar.
4,14 Módulo de lixeira
-
Legado:
-
Novo:
5. Guia de atualização
5,1 Permissões de atualização
Somente usuários com permissões equivalentes a Workspace Administrator podem visualizar e execute a operação de atualização.
5,2 Procedimento de atualização
5.2.1 Acessar a entrada de atualização
Localizada na barra de navegação superior da interface principal do DataStudio (data studio).
Um botão azul "Upgrade to New Version" ao lado do seletor de workspace.
Apenas usuários com as permissões necessárias podem ver este botão.
5.2.2 Confirmar notas de atualização
Após clique em no botão "Upgrade to New Version", o sistema exibe a página de introdução da atualização.
Não há suporte para downgrade após a atualização. Confirme os pontos abaixo antes de prosseguir. Se precisar de assistência durante a atualização, participe do Grupo de Suporte à Atualização do DataWorks Data Studio.
Se você utilizou a OpenAPI legada do DataStudio ou precisa usar o Migration Assistant, entre em contato com o engenheiro de plantão no Grupo de Suporte à Atualização do DataWorks Data Studio antes de atualizar.
Não há suporte para implantação de tarefas entre workspaces no novo Data Studio e no Data Studio legado quando envolvem workspaces na versão atual e workspaces já atualizados.
Durante a atualização, nem o novo Data Studio nem o DataStudio legado no workspace atual podem crie novo conteúdo ou modifique conteúdo existente (incluindo operações de UI e operações de OpenAPI).
A atualização leva algum tempo. Execute-a durante um período de baixa demanda para desenvolvimento de tarefas.
Após a atualização, o nome e o ID do workspace permanecem inalterados.
Após a atualização, o DataStudio legado torna-se somente leitura. Alterações de código feitas no novo Data Studio não são sincronizadas de volta para o DataStudio legado.
Após a atualização, no diretório pessoal do novo Data Studio, apenas os arquivos de consulta ad hoc migrados do DataStudio legado dos quais você é proprietário estarão visíveis.
5.2.3 Executar a atualização
Quando o status atual da atualização for "Upgrade not started for the current workspace", clique em no botão "Start Upgrade" para iniciar o processo.
Após clique em no botão "Start Upgrade", o sistema exibirá o tempo estimado de atualização e o número de objetos a serem migrados para o workspace atual.
-
Clique em no botão "Confirm" para iniciar oficialmente a atualização.
-
Visualize o progresso e o status em tempo real durante a atualização.
-
Durante a atualização, clique em "Upgrade Details" para visualize os detalhes em tempo real.
-
Durante a atualização, clique em "Refresh" para visualize o status mais recente.
-
Após a conclusão da atualização, clique em "Go to Data Studio" para começar a usar o novo Data Studio.
6. Garantia da atualização
6,1 Serviços dedicados de atualização
Ajuda online: Orientações operacionais detalhadas estão disponíveis durante a atualização.
Consultoria técnica: Se encontrar problemas, entre em contato com o engenheiro de plantão no Grupo de Suporte à Atualização do DataWorks Data Studio. Suporte presencial pode ser fornecido se necessário.
Resposta de emergência: Um mecanismo de resposta rápida está disponível caso ocorram problemas durante a atualização.
Treinamento do product: Treinamento sobre os recursos pós-atualização pode ser fornecido se necessário.
6,2 Mecanismo de rollback
Se encontrar problemas durante a atualização, entre em contato com o engenheiro de plantão no Grupo de Suporte à Atualização do DataWorks Data Studio para solicitar um rollback para o estado anterior à atualização.