O DataWorks é uma plataforma de dados abrangente que se integra a serviços de big data e IA como MaxCompute, E-MapReduce, Hologres, Realtime Compute for Apache Flink, AnalyticDB, StarRocks e PAI. Ele oferece capacidades completas de integração, desenvolvimento, governança e análise de dados para arquiteturas de dados modernas, incluindo data warehouses, data lakes e lakehouses. Baseado nas metodologias comprovadas de big data do Alibaba Group desde 2009, o DataWorks ajuda as empresas a gerenciar todo o ciclo de vida dos dados e é utilizado por milhares de clientes nos setores financeiro, varejista e manufatureiro para impulsionar a transformação digital.
Capacidades
O DataWorks oferece um conjunto de recursos poderosos para otimizar os fluxos de trabalho de dados em todo o ciclo de vida dos dados. Suas capacidades são organizadas em seis módulos principais que abrangem desde a modelagem e integração de dados até a segurança e a análise.
|
Módulo principal |
Recursos principais |
|
Modelagem de Dados |
Projetar e gerenciar sistematicamente ativos de data warehouse padronizados e reutilizáveis. |
|
Integração de Dados |
Permitir a sincronização de dados em tempo real e em lote entre fontes diversas em ambientes de nuvem ou locais. |
|
Data Studio |
Desenvolver tarefas de processamento em lote, fluxo e aprendizado de máquina em um IDE online com suporte para SQL, Spark e Python. Configurar dependências e agendamentos complexos de tarefas. |
|
Governança de Ativos de Dados |
Governar ativos de dados com recursos como Qualidade de Dados, Mapa de Dados e Gestão de Ativos de Dados para definir regras de qualidade, rastrear a linhagem dos dados e gerenciar seu catálogo de dados. |
|
Segurança de Dados |
Garantir a conformidade e a segurança dos dados ao longo de todo o ciclo de vida com recursos como mascaramento de dados, controle de acesso de granularidade fina e auditoria de segurança. |
|
Análise de Dados |
Realizar análises interativas e obter insights de negócios usando ferramentas como SQL Query e Smart Data Discovery. Gerar APIs de dados de alto desempenho sem código para integração perfeita com aplicações. |
Vantagens
Recursos abrangentes e desempenho excepcional
As capacidades unificadas da plataforma cobrem todo o ciclo de vida dos dados, desde a integração e o desenvolvimento até a governança e os serviços. Ela é projetada para alto desempenho, processando petabytes de dados diariamente e agendando milhões de tarefas complexas para lidar com cargas de trabalho empresariais exigentes e de grande escala.
Inteligente e fácil de usar
Uma interface gráfica completa e um IDE flexível baseado na web reduzem a curva de aprendizado. Com suporte para SQL e Python, além de um Copilot inteligente integrado para geração de código e perguntas e respostas inteligentes, tanto usuários novos quanto experientes podem se tornar produtivos rapidamente.
Econômico e pronto para uso
Sua arquitetura cloud-native e totalmente gerenciada oferece capacidades de desenvolvimento e governança de dados prontas para uso. Esse modelo reduz significativamente os custos de P&D e O&M associados a plataformas próprias, liberando recursos para focar na inovação do negócio.
Seguro, estável e confiável
A segurança de nível financeiro é garantida por meio de isolamento rigoroso de tenants e um sistema de controle de acesso de granularidade fina. A estabilidade da plataforma é comprovada em escala empresarial, lidando com picos de carga durante eventos como o Global Shopping Festival do Alibaba Group.
Usuários-alvo e clientes típicos
Pessoal técnico: Engenheiros de dados e engenheiros de algoritmos que realizam o trabalho principal de desenvolvimento e modelagem de dados.
Pessoal de negócios: Especialistas em operações e analistas de BI que realizam consultas e análises de dados de autoatendimento.
Pessoal de gestão: Administradores de ativos de dados e responsáveis pela segurança de dados que lidam com governança de dados e controle de conformidade.
O DataWorks atende clientes de diversos setores, incluindo serviço público, finanças, varejo, internet, automotivo e manufatura. Os clientes típicos incluem:
China State Grid's big data center: Utiliza o DataWorks para gerenciar centralmente petabytes de dados de sua sede e de 27 empresas provinciais/municipais. Seu sistema de governança e monitoramento de plataforma de dados de ponta a ponta acelera a transformação digital geral.
Fortune 500 company Mondelēz China: Aproveita a modelagem de dados inteligente do DataWorks para governança de dados de ponta a ponta. Isso aumentou significativamente as capacidades de autoatendimento de sua plataforma de dados, permitindo a tomada de decisões descentralizada baseada em dados e a transformação digital do varejo.
Listed company iDreamSky: Substituiu seu sistema de agendamento próprio pelo DataWorks baseado no motor EMR de código aberto. Isso permite que a equipe técnica da empresa se concentre mais nas operações do negócio, apoiando decisões baseadas em dados no setor de jogos.
Para mais histórias de clientes, consulte Histórias de clientes.
Primeiros passos
Ativar o serviço
O DataWorks só pode ser usado em um PC com Chrome 69 ou superior.
Para a maioria dos usuários empresariais, o melhor é começar ativando o serviço DataWorks com a Edição Professional, que cobre a maioria dos recursos principais de desenvolvimento e governança de dados.
Antes de fazer uma compra, consulte Visão geral , Guia de compra e Seleção de edição e faturamento do DataWorks .
Trilha de aprendizado
Use a trilha de aprendizado na página inicial da documentação do DataWorks para entender rapidamente seus conceitos, operações básicas e recursos avançados.
Suporte do produto
Você pode abrir um chamado para dúvidas de pré-vendas e pós-vendas.
Apêndice: A evolução do DataWorks
Histórico de desenvolvimento no Alibaba Group
Desde sua criação em 2009, o DataWorks evoluiu junto com as operações de negócios do Alibaba. Ao aproveitar as capacidades dos motores de computação de big data como MaxCompute e Hologres, ele progrediu por múltiplos estágios tecnológicos, apoiando o desenvolvimento da plataforma de dados e das iniciativas de governança de dados do Alibaba. Atualmente, o DataWorks conta com mais de 50.000 usuários ativos diários no Alibaba Group, o que significa que, em média, um em cada três funcionários o utiliza. Ele suporta mais de 300 aplicações de dados e atende mais de 100 unidades de negócio em todo o Alibaba Group.
Fase (Ano) | Tema | Desenvolvimento de negócios | Desenvolvimento da plataforma |
Fase 1 (2012) | Crescimento diversificado dos negócios e descoberta do valor dos dados | Múltiplas equipes de negócios desenvolveram em paralelo, incluindo 1688, AliExpress, Taobao e eTao. | Diversas plataformas de dados coexistiram para apoiar a transformação digital:
|
Fase 2 (2015) | Silos verticais de negócios surgem | Desenvolvimento vertical de negócios:
| Plano Moon Landing lançado para unificar as plataformas de dados:
|
Fase 3 (2018) | Plataforma de dados apoia o crescimento sustentável dos negócios | Desenvolvimento de negócios orientado por dados:
| Construção da plataforma de dados e sua transformação em ativo:
|
Fase 4 (2021) | Plataforma de Dados na Nuvem Cresce junto com o Negócio | Totalmente cloud-native com profunda integração entre negócios e dados:
| A plataforma de dados serviu ao negócio, criando um ciclo de feedback positivo:
|
Histórico de desenvolvimento no Alibaba Cloud
O DataWorks foi oficialmente lançado no Alibaba Cloud em 2015, trazendo anos de expertise em big data para os clientes da nuvem. Por meio da iteração contínua de suas capacidades, o DataWorks trabalha com clientes e parceiros de diversos setores. Ao fornecer governança de dados de ponta a ponta, ele permite que gerenciem e utilizem os dados de forma eficaz, ajudando os clientes a melhorar a qualidade e a eficiência dos dados.
|
Ano |
Marco |
Descrição |
|
2009 |
Projeto DataWorks iniciado no Alibaba Group |
Desenvolveu o motor interno de sincronização de dados DataX e um motor de agendamento de tarefas para atender clusters Hadoop de ultra-grande escala. |
|
2013 |
"Plano Moon Landing" iniciado; transformação do stack tecnológico |
Codename: Plano Moon Landing. O grupo lançou um plano de unificação da plataforma, migrando totalmente do Hadoop para o MaxCompute. O DataWorks foi adaptado para servir plenamente o MaxCompute. |
|
2015 |
DataWorks oficialmente lançado na nuvem |
Codename: Plataforma Shujia. Como produto principal da "Plataforma Shujia", o DataWorks entrou no mercado de nuvem pública e começou a atender clientes empresariais e governamentais. |
|
2017 |
Expansão internacional |
Completou a implantação em mais de 12 regiões do Alibaba Cloud em todo o mundo e começou a atender clientes globais. |
|
2018 |
DataWorks V2.0 lançado |
Evoluiu para uma plataforma cloud inteligente e integrada de P&D de big data, cobrindo integração de dados, desenvolvimento de dados, serviços de dados e desenvolvimento de aplicações. |
|
2019 |
DataWorks V3.0 lançado |
Suportou orquestração híbrida de tarefas de múltiplos motores de computação e introduziu um novo sistema abrangente de governança de dados. |
|
2020 |
Abertura total e construção de ecossistema |
Lançou uma nova plataforma aberta para construir um ecossistema de parceiros. Reconhecido como Strong Performer no Forrester Wave™ para Cloud Data Warehouses. |
|
2022 |
Capacidades de governança de dados atualizadas |
Lançou o produto "Centro de Modelagem e Governança de Dados". Alcançou a primeira posição no mercado de governança de dados na China (IDC). |
|
2024 |
Abraçou a AIGC, lançou novas capacidades de Dados+IA |
Lançamento principal: Copilot. Atualizou as capacidades de desenvolvimento e análise de dados, lançou o produto Copilot e forneceu desenvolvimento e governança de Dados+IA de ponta a ponta com base na arquitetura lakehouse OpenLake. |
Mais informações
Conceitos do DataWorks e ecossistema do produto: Conceitos principais e Ecossistema do produto.