O que é o Alibaba Cloud MaxCompute - MaxCompute: Central de Documentação do Alibaba Cloud

O MaxCompute, service de computação de big data nativo da nuvem anteriormente conhecido como ODPS, é um data warehouse inteligente em cloud no modelo Software as a Service (SaaS) de nível empresarial desenvolvido pela Alibaba Cloud. Oferece excelente custo-benefício, é impulsionado por IA e fornece computação multimodal com segurança de nível empresarial.

Introdução ao product

O MaxCompute é um data warehouse inteligente em cloud de nível empresarial focado em análises, baseado em SaaS. Sua arquitetura serverless entrega um service de data warehouse online totalmente gerenciado e pronto para uso, eliminando os limites de escalabilidade e elasticidade das plataformas de dados tradicionais.

A otimização inteligente de computação e armazenamento, a arquitetura aberta de data lakehouse, a aceleração de consultas interativas e em tempo quase real, além das capacidades integradas de Dados+IA, permitem analisar grandes conjuntos de dados de forma econômica e eficiente, com sobrecarga operacional mínima.

Dezenas de milhares de empresas utilizam o maxcompute para computação e análise de dados, transformando informações em insights de negócios com eficiência.

Arquitetura do service

A arquitetura do maxcompute compreende uma camada de armazenamento, uma camada de computação e uma plataforma unificada de operações e gerenciamento. Esses componentes são construídos sobre uma infraestrutura estável com implantação multizona.

A camada de armazenamento utiliza seu mecanismo de armazenamento para integrar um sistema nativo com as classes de armazenamento Standard, Infrequent Access e Archive. Também suporta a arquitetura aberta de data lakehouse (OpenLake).
A camada de computação emprega múltiplos mecanismos para suportar diversas tarefas de processamento, incluindo operações offline, em tempo quase real e fluxos de Dados+IA.
A camada de operações e gerenciamento atua como o núcleo de controle da plataforma. Oferece administração de recursos para projetos, cotas e prioridades, além de monitoramento abrangente — incluindo observação de recursos, alertas e diagnósticos de jobs — com capacidades completas de auditoria de segurança.
A plataforma completa integra-se a products de camadas superiores, como DataWorks e pai, por meio de interfaces de acesso padrão, como kits de desenvolvimento de software (SDKs), APIs e Java Database Connectivity (JDBC).

Benefícios

Data warehouse empresarial com excelente custo-benefício
- Facilidade de uso: Pré-integrado a diversos services e compatível com SQL padrão para desenvolvimento imediato.
- Escalabilidade: A arquitetura serverless desacopla armazenamento e computação. Proporciona escalabilidade flexível sem planejamento prévio, utilizando o modelo de pagamento conforme o uso. Isso atende ao crescimento repentino dos negócios e permite alocação dinâmica de recursos durante picos e vales de demanda.
- Segurança e estabilidade: Inclui capacidades nativas de controle de acesso, segurança e recuperação de desastres. Também oferece recursos de observação de recursos e diagnóstico de jobs.
- Custo-benefício: Disponibiliza soluções analíticas inteligentes para otimização contínua de desempenho e custos.
Computação otimizada para dados incrementais e completos em múltiplos cenários
- Suporte a gravações em streaming e computação incremental em tempo quase real: A computação incremental do maxcompute desacopla processamento e armazenamento, oferecendo tratamento unificado de dados incrementais e completos, além de processamento unificado de stream e batch em um único mecanismo SQL. Por meio do Delta Live MV, detecta automaticamente alterações nos dados upstream e realiza atualizações contínuas, simplificando a construção de pipelines de computação incremental. É compatível com vários métodos de ingestão de dados, como sincronização em tempo real de banco de dados completo e gravações/atualizações em streaming via Flink.
- O recurso atualizado de MaxQA query acceleration retorna resultados de consulta para 2,8 bilhões de linhas de dados em apenas um segundo.
Data lakehouse com arquitetura aberta
- O data lakehouse do maxcompute suporta a solução OpenLake, permitindo que múltiplos mecanismos acessem os mesmos dados do OpenLakehouse.
- Compatível com análise de consulta federada e diversos formatos de dados open source predominantes.
- O maxcompute permite expor dados a mecanismos open source de terceiros via Storage API e conectores, simplificando a integração de motores de computação. Por exemplo, o Spark possui integração profunda com os recursos de computação, dados e sistema de permissões do maxcompute.
Dados+IA
- O MaxFrame distributed computing framework oferece interfaces de programação Python, compatibilidade com operadores Pandas e integração perfeita com o pai.
- O MaxFrame inclui pacotes de dependências de terceiros e modelos de uso geral. Suporta gerenciamento de imagens personalizadas e proporciona integração de Dados+IA para cenários de deep learning, como modelos grandes, por meio de suas capacidades nativas de pré-processamento de big data em cloud.
Ampla variedade de cenários

O maxcompute fornece soluções de data warehouse e services de modelagem analítica para diversos cenários de computação. Funciona como uma plataforma unificada para data warehousing, BI, análises em tempo quase real, análise de data lake, machine learning, entre outros. É utilizado em larga escala dentro do alibaba Group.
Ecossistema rico de products:

O maxcompute integra-se profundamente a products da alibaba cloud, como DataWorks, real-time data warehouse Hologres, pai e Quick BI, atendendo a variados cenários de análise de dados.
- Utilize o DataWorks para sincronização de dados, design de processos de negócio, desenvolvimento, gerenciamento e operações e manutenção (O&M) em uma única plataforma.
- Use os componentes algorítmicos da plataforma de machine learning pai para executar operações como treinamento de modelos em dados do maxcompute.
- Use o Hologres para acelerar consultas em dados do maxcompute via tabelas externas ou exporte dados para o Hologres visando análises interativas.
- Use o Quick BI para crie relatórios baseados em dados do maxcompute, habilitando análises visuais.

Recursos

O maxcompute oferece os seguintes recursos principais.

Categoria de recurso	Descrição
Capacidades básicas de data warehouse	Elasticidade sob demanda O alibaba cloud maxcompute entrega um service de data warehouse totalmente gerenciado e pronto para uso. Adota arquitetura serverless que desacopla armazenamento e computação, permitindo dimensionamento independente e dinâmico de ambos os recursos. Elimina a necessidade de planejar capacidade ou reservar recursos antecipadamente, facilitando o atendimento a crescimentos repentinos de negócios. Desenvolvimento SQL O maxcompute vem pré-integrado a múltiplos services. Utilize SQL padrão para desenvolvimento direto, de forma simples e fácil de aprender.
Capacidades de computação para múltiplos cenários	Framework de computação de IA O MaxFrame, framework de computação distribuída, oferece interfaces de programação Python, compatibilidade com interfaces Pandas e execução automática de computação distribuída. Indicado para cenários como processamento de dados em larga escala, computação científica, machine learning e desenvolvimento de IA. O maxcompute integra-se perfeitamente ao pai. Use os componentes algorítmicos da plataforma de machine learning para realizar operações como treinamento de modelos em dados do maxcompute. Fornece integração de Dados+IA para cenários de deep learning, como modelos grandes, através de capacidades nativas de pré-processamento de big data em cloud. Processamento de dados incrementais e completos O alibaba cloud maxcompute evoluiu sua arquitetura a partir do mecanismo original de processamento em batch offline para lançar uma solução de data warehouse em tempo quase real. Utiliza Delta tables para implementar armazenamento e gerenciamento integrados de dados incrementais e completos. Introduz ricas capacidades de computação incremental e aprimorou o recurso de aceleração de consultas curtas do maxcompute, o MaxQA (MCQA 2.0), para devolver resultados de consulta em segundos. Baseado no formato Delta Table, o maxcompute adiciona uma série de capacidades, como visualizações materializadas incrementais, Time Travel e Stream Tables. Integração de capacidades offline e em tempo real Integração profunda com o real-time data warehouse Hologres. O Hologres suporta importação em batch de metadados do maxcompute, eliminando a criação manual de tabelas externas. Também permite leituras diretas da camada de armazenamento. Utilize o Hologres para acelerar consultas em dados do maxcompute, obtendo melhoria de desempenho superior a 10 vezes.
Arquitetura aberta	Data lakehouse O maxcompute disponibiliza a solução Data Lakehouse 2.0. Essa solução permite crie objetos de gerenciamento que definem os metadados de fontes de dados externas e os métodos de acesso aos dados. Também utiliza um mecanismo de mapeamento de schema externo para acessar diretamente todas as tabelas dentro do escopo de um banco de dados ou schema de source externa. Essa solução rompe os silos entre data lakes e data warehouses. Combina a flexibilidade e o rico ecossistema multimotor de um data lake com as capacidades de nível empresarial de um data warehouse, ajudando você a construir uma plataforma integrada de gerenciamento de dados. OpenLake O OpenLake é uma solução integrada para big data, busca e IA, construída sobre um data lakehouse aberto e controlável. Utiliza a plataforma de gerenciamento de metadados DLF para gerencie dados estruturados, semiestruturados e não estruturados. Oferece acesso seguro e aceleração de I/O para tabelas e arquivos do data lakehouse. Suporta integração multimotor e computação colaborativa ponto a ponto, desenvolvimento unificado via DataWorks e agendamento de tarefas em larga escala. Acesso multimotor Execute diretamente tarefas SQL do maxcompute ou tarefas de mecanismos de terceiros, como Spark, MapReduce e Graph. Armazenamento aberto Para melhor integração com o ecossistema de big data e suporte ao acesso de motores externos aos dados no maxcompute, o service oferece a API open storage (Storage API). Mecanismos de computação de terceiros podem chamar a Storage API para acessar diretamente o armazenamento subjacente do maxcompute, aumentando significativamente a eficiência de acesso e interação com os dados.
Capacidades de nível empresarial	Operações e gerenciamento de nível empresarial Oferece os recursos resource observation e job O&M. Visualize o uso de diversos recursos e detalhes de jobs para detectar prontamente condições anômalas e problemas. Gerencie jobs problemáticos pelo console e otimize planos de execução e configurações de recursos, elevando a eficiência e o desempenho das execuções. Data warehouse inteligente Disponibiliza o recurso cost optimization. Com base nos volumes reais de solicitação de jobs e nas configurações esperadas de recursos, gera planos melhores de configuração e simula seus efeitos, auxiliando na otimização de custos e no aumento da utilização de recursos. Fornece o recurso intelligent materialized view recommendation. Analisa relacionamentos entre tabelas de dados e sugere visualizações materializadas com alto índice de impacto, permitindo otimizar consultas de forma inteligente, melhorar a eficiência computacional e reduzir cálculos redundantes. Controle de acesso granular O maxcompute oferece controle refinado sobre operações em objetos como projetos, cotas de recursos e objetos Networklink, além de itens internos ao projeto, como tabelas, funções, recursos e instâncias. Também suporta controle de comportamentos como downloads via Tunnel, acesso a dados sensíveis e acesso entre projetos. Durante a operação do projeto, conceda fine-grained permissions com base em funções de usuário para garantir a segurança de todos os objetos.
Segurança, recuperação de desastres e estabilidade	Recuperação de desastres e tolerância a falhas Zone-disaster recovery: Caso um data center fique indisponível devido a eventos catastróficos, como interrupção de rede de operadora, falha no sistema elétrico ou problema de infraestrutura, o mecanismo de recuperação de desastres de armazenamento garante que os services de leitura e escrita não sejam interrompidos e que nenhum dado seja perdido. Atende ao requisito de objetivo de ponto de recuperação (RPO) igual a zero. Mascaramento dinâmico de dados O data masking do maxcompute ocorre dinamicamente no momento em que os dados são lidos da camada de armazenamento. Garante segurança sem comprometer o desempenho, assegurando que os dados sejam mascarados antes de entrar em etapas subsequentes, como consultas, downloads, junções e cálculos UDF, prevenindo vazamento de informações sensíveis. As políticas de mascaramento incluem ocultação, hashing, substituição de caracteres, arredondamento de valores e arredondamento de datas. Suporta integração com os recursos de classificação e categorização de dados do Data Security Guard para atender a necessidades de mascaramento de informações como identidades, números de cartões bancários, endereços e telefones. Criptografia de armazenamento de dados O maxcompute suporta storage encryption de dados no nível do projeto por meio do Key Management Service (KMS). Oferece proteção de dados em repouso para atender a requisitos regulatórios e de conformidade de segurança empresariais. Os algoritmos de criptografia suportados incluem AES256, AESCTR e RC4. Lista de permissões de IP Além do controle de acesso, o maxcompute oferece controle baseado em IP whitelist. Quando o recurso de lista de permissões está ativado para um projeto maxcompute, apenas dispositivos incluídos na lista podem acessar o projeto. Se um dispositivo fora da lista tentar acessá-lo, a autenticação falhará mesmo que ele possua o AccessKey ID e o AccessKey secret corretos. SLA O alibaba cloud maxcompute é amplamente utilizado em diversos setores e oferece aos clientes um compromisso de disponibilidade de service de até 99,9%. Para mais informações, consulte o maxcompute Service-Level Agreement (SLA).

Comunicados e atualizações

Para mais atualizações do product, consulte Comunicados e Atualizações do maxcompute.