MaxCompute:O que é o MaxCompute?

Recurso

Descrição

Serviço online Serverless totalmente gerenciado

• Serviço online pronto para uso, acessado por meio de APIs.

• Oferece um cluster de recursos pré-provisionado em larga escala, utilizável sob demanda com modelo de pagamento conforme o uso.

• Não exige manutenção da plataforma, minimizando a carga operacional.

Elasticidade e escalabilidade

• Armazenamento e computação escalam independentemente, permitindo que empresas conectem e analisem todos os ativos de dados em uma única plataforma, eliminando silos de dados.

• Suporta alocação dinâmica de recursos com base nos picos e vales de negócios.

Capacidades unificadas e ricas de computação e armazenamento

• O MaxCompute suporta vários modelos de computação e UDFs diversificadas.

• Utiliza Columnar Storage, que geralmente atinge uma taxa de compressão de 5x, reduzindo significativamente os custos de armazenamento.

Capacidades de modelagem, desenvolvimento e governança de dados

Centralize, integre, processe e governe todos os seus dados com o DataWorks, uma plataforma completa de desenvolvimento e governança de dados. O DataWorks oferece suporte ao gerenciamento de projetos do MaxCompute e à edição de consultas via web.

Capacidades integradas de IA

• Integra-se perfeitamente ao Platform for AI (PAI) para fornecer recursos avançados de processamento de machine learning.

• Permite executar análises inteligentes usando o conhecido Spark-ML.

• Compatível com bibliotecas de machine learning Python de terceiros.

Integração profunda com o mecanismo Spark

• Fornece um mecanismo Apache Spark integrado com funcionalidade completa do Spark.

• Integra-se profundamente aos recursos de computação, dados e sistema de permissões do MaxCompute.

Lakehouse

• Integra acesso e análise para dados em um data lake (como OSS ou Hadoop Distributed File System (HDFS)). Analise dados no lake mapeando-os com uma External Table ou acessando-os diretamente com Spark.

• Possibilita análise conjunta de dados entre um data lake e um data warehouse dentro de um serviço e interface de usuário unificados de data warehouse.

Para mais informações, consulte Visão geral do data lakehouse do MaxCompute.

Processamento offline e em tempo real unificado

• Integra-se profundamente ao Hologres, um data warehouse em tempo real. Suporta consulta a tabelas externas associadas e leituras diretas da camada de armazenamento, alcançando eficiência de consulta mais de 5 vezes superior a outros tipos de tabelas externas.

• O Hologres fornece aceleração de consultas para o MaxCompute, oferecendo um aumento de desempenho de 10x ou mais sem mover dados.

• O Hologres suporta importação em lote de metadados do MaxCompute, eliminando a necessidade de criar tabelas externas manualmente.

Suporte a gravação de stream e análises quase em tempo real

• Suporta gravação em tempo real de dados de streaming para análise dentro do data warehouse.

• Integra-se profundamente aos principais serviços de streaming em nuvem, facilitando a ingestão de dados de streaming de várias fontes.

• Oferece consultas concorrentes elásticas de alto desempenho em nível de segundos para cenários de análise quase em tempo real.

Proteção contínua de dados baseada em SaaS na nuvem

Fornece mais de 20 recursos de segurança que atendem aos padrões de Nível 3 para proteção de segurança de informações classificadas. Esses recursos cobrem infraestrutura, data centers, redes, fornecimento de energia, segurança da plataforma, gerenciamento de permissões e proteção de privacidade, combinando as capacidades de segurança de big data open-source e bancos de dados gerenciados.

Módulo

Descrição

Mecanismo de armazenamento

O MaxCompute fornece o MaxCompute Storage Engine (armazenamento interno) para armazenar tabelas e recursos do MaxCompute. Também é possível ler diretamente dados armazenados em outros produtos, como OSS, Tablestore e RDS, usando tabelas externas.

O MaxCompute Storage Engine utiliza principalmente Columnar Storage, que geralmente atinge uma taxa de compressão de 5x.

Mecanismo de computação

O MaxCompute fornece o MaxCompute SQL Compute Engine e a plataforma de computação CUPID.

• MaxCompute SQL Engine: Executa diretamente tarefas SQL do MaxCompute. Para sintaxe de comandos, requisitos de funções e exemplos de desenvolvimento para tarefas SQL do MaxCompute, consulte Visão geral do SQL.

• Plataforma de computação CUPID: Executa tarefas de mecanismos de terceiros, como Spark e Mars. Para requisitos de desenvolvimento e exemplos para múltiplos mecanismos, consulte PyODPS.

Camada de serviço em nuvem

O MaxCompute permite criar diferentes filas de tarefas e configurar recursos e prioridades exclusivos para cada uma, possibilitando controle refinado sobre a execução de tarefas. Para aumentar a eficiência geral do sistema, seu poderoso sistema de agendamento gerencia e otimiza a alocação e o uso de recursos de computação. Para garantir segurança e privacidade dos dados, o MaxCompute também oferece proteção de dados em várias camadas, incluindo isolamento no nível de projeto, controle de acesso e criptografia de dados.

Sistemas unificados de metadados e segurança

Os metadados offline no nível de locatário do MaxCompute são fornecidos por meio do Information Schema. Use o Information Schema também para consultar logs históricos de uso de dados, permitindo analisar métricas como consumo de recursos, duração da execução e dados processados. Isso ajuda a otimizar jobs ou planejar a capacidade de recursos.

O MaxCompute oferece ainda um sistema abrangente de gerenciamento de segurança com recursos como controle de acesso, criptografia de dados e mascaramento dinâmico de dados para garantir a segurança das informações. Para mais informações relacionadas à segurança, consulte Recursos de segurança.

Interfaces de usuário e abertura

O MaxCompute fornece as seguintes interfaces de usuário:

• Tunnel: Serviço de transmissão de dados para o MaxCompute, que inclui clusters compartilhados e dedicados.

• API e SDK:

  • Restful API

  • Visão geral do Java SDK e PyODPS

• Driver Java Database Connectivity (JDBC)

• Conectores: Conectores para produtos de terceiros, incluindo Flink, Spark e Kafka. Para mais detalhes, consulte Gravar dados no MaxCompute com Flink e Carregar dados no MaxCompute com Kafka (offline e em tempo real).

Suporte ao ecossistema de dados

O MaxCompute integra-se profundamente ao Alibaba Cloud DataWorks para fornecer desenvolvimento, análise e governança de dados completos. Ele também suporta vários outros cenários de desenvolvimento e análise de dados:

• Data lake

• Integração de dados

• Governança de dados

• Desenvolvimento de dados usando um mecanismo de terceiros

• Análise de dados visualizada

TopConsole (console do MaxCompute)

Fornece capacidades básicas de configuração e gerenciamento, incluindo gerenciamento de projetos do MaxCompute, gerenciamento de cotas e gerenciamento de locatários. Oferece também recursos fundamentais de O&M, como O&M de jobs e observação de recursos, além de recursos aprimorados como visualizações materializadas e análise e otimização de custos. Para mais informações, consulte Gerenciamento e uso de recursos.