Este tópico descreve os anúncios de product do MaxCompute para 2024, abrangendo novos recursos, atualizações de sintaxe e alterações de permissão projetados para melhorar a eficiência do desenvolvimento de projetos.
23 de dezembro de 2024: MaxFrame adiciona suporte a novas regiões
Prezados usuários do MaxCompute,
O framework de computação distribuída do MaxCompute, MaxFrame, estará disponível nas regiões Singapore, Japan (Tokyo) e Indonesia (Jakarta) a partir de segunda-feira, 23 de dezembro de 2024 (horário de Beijing, UTC+8).
O MaxFrame é um framework de computação distribuída desenvolvido internamente pela Alibaba Cloud. Ele oferece uma interface de programação Python e utiliza diretamente os recursos de computação e as interfaces de dados do MaxCompute. O MaxFrame é compatível com as interfaces Pandas e XGBoost e gerencia automaticamente o processamento distribuído, permitindo que desenvolvedores Python processem dados em grande escala, pré-processem dados de ML/AI e desenvolvam modelos no MaxCompute com eficiência. Para mais informações, consulte MaxFrame: The distributed AI compute engine.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco na Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920), no seu grupo dedicado do DingTalk ou no grupo oficial de suporte ao usuário do MaxFrame (ID do grupo DingTalk: 37130012987).
Obrigado.
28 de novembro de 2024: Atualização do Acordo de Nível de Serviço do MaxCompute
Prezados usuários do MaxCompute,
A Alibaba Cloud está atualizando o acordo de nível de serviço (SLA) do MaxCompute, nosso service de computação de big data. As principais alterações são:
Inclusão de cláusulas que definem indisponibilidade do service nas Seções 1,1 a 1,10.
Adição das cláusulas de exceção (k), (l) e (m) à Seção 1,11.
Para detalhes completos, consulte o MaxCompute Service Level Agreement.
O novo acordo de nível de serviço (SLA) entrará em vigor na quarta-feira, 1º de janeiro de 2025 (UTC+8). Se tiver alguma dúvida, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos o seu apoio contínuo à Alibaba Cloud.
14 de novembro de 2024: Atualização de segurança do LogView do MaxCompute
Prezados usuários do MaxCompute,
O MaxCompute está implementando uma atualização abrangente de segurança para o LogView, com início às 14:00 de segunda-feira, 2 de dezembro de 2024 (UTC+8). Essa atualização será lançada gradualmente nas seguintes regiões: China (Hong Kong), China (Shanghai) Finance, China (Beijing) Finance (visualização apenas por convite), China (Beijing) Gov 1, China (Shenzhen) Finance, Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia), UAE (Dubai) e SAU (Riyadh - Partner Region). Após a atualização, os links do LogView para jobs enviados do DataWorks DataStudio ou DataAnalysis usando o grupo de recursos de agendamento público redirecionarão para o console do MaxCompute. Para acessar o LogView de um job, você deve atender aos seguintes requisitos:
Ter uma conta Alibaba Cloud válida com verificação de nome real.
Ser membro do projeto MaxCompute onde o job é executado. Um administrador do projeto pode adicionar você ao projeto.
Portanto, se a identidade de acesso configurada para a fonte de dados do MaxCompute no seu workspace do DataWorks for diferente da sua identidade de usuário, talvez você não consiga acessar o LogView de um job enviado. Isso ocorre porque você não é membro do projeto MaxCompute proprietário do job. Por exemplo, em um workspace padrão do DataWorks, se você enviar um job do ambiente de desenvolvimento para o ambiente de produção, não poderá acessar o LogView dele caso não seja membro do projeto MaxCompute do ambiente de produção.
Para evitar esse problema, garanta o seguinte:
Todos os membros da equipe que precisam acessar o LogView devem ter uma conta Alibaba Cloud com verificação de nome real.
-
Adicione prontamente os membros da equipe aos projetos MaxCompute relevantes e conceda a eles as permissões necessárias em objetos específicos.
NotaPara mais informações sobre gerenciamento de usuários e autorização, consulte User planning and management e MaxCompute permissions.
Além disso, após a atualização, o LogView não exibirá os resultados da execução do job por padrão.
Durante ou após a atualização, se encontrar problemas com o acesso ao LogView ou configuração de permissões, ou precisar de suporte técnico, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração!
13 de novembro de 2024: Diagnóstico inteligente de jobs do MaxCompute
Prezados usuários do MaxCompute,
O MaxCompute está lançando diagnósticos inteligentes para jobs, com uma implementação faseada em todas as regiões a partir de quarta-feira, 13 de novembro de 2024 (UTC+8). Este recurso analisa os detalhes de execução de jobs SQL para:
Jobs com falha: Identifica a causa da falha com base na mensagem de erro e fornece uma descrição detalhada com uma solução recomendada.
Jobs lentos: Analisa o uso de recursos e os detalhes de execução para diagnosticar exceções como insuficiência de recursos, skew de dados, aumento excessivo de dados e rollback de modo, fornecendo a causa raiz e a solução para cada caso.
Esse recurso ajuda você a identificar e resolver rapidamente problemas como falhas de job ou tempos de execução inesperados. Para mais informações e instruções de uso, consulte Intelligent Diagnostics for Jobs.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pela comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
30 de outubro de 2024: Atualização do tunnel do MaxCompute e governança de tráfego entre regiões
A partir de segunda-feira, 18 de novembro de 2024 (UTC+8), o MaxCompute iniciará uma atualização faseada do seu service de tunnel e implementará a governança de tráfego entre regiões. As principais mudanças incluem:
-
Melhoria no desempenho do tunnel e controle de tráfego
Para o Streaming Tunnel, o limite de throughput de gravação por slot aumenta de 1 MB/s para 10 MB/s, e o limite de requisições sobe de 10 para 100 requisições por segundo por slot. No Batch Tunnel, o limite de throughput de gravação por slot passa a ser 10 MB/s.
O cálculo de uso de slots para o Streaming Tunnel foi otimizado. Em vez de reservar um número específico de slots ao criar um StreamUploadSession, agora um slot é consumido quando um RecordPack é gravado e liberado imediatamente após a conclusão, alinhando-se ao método de cálculo usado no Batch Tunnel. Para mais informações, consulte Tunnel overview.
-
Governança de tráfego entre regiões
Para aumentar a segurança, o MaxCompute proibirá conexões a um projeto MaxCompute a partir de um endpoint fora da região do projeto. Use o endpoint ou Tunnel endpoint específico da região do seu projeto. Para obter uma lista de endpoints disponíveis, consulte Endpoints.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo DingTalk da Comunidade de Desenvolvedores do MaxCompute (ID: 11782920).
Agradecemos a sua colaboração!
28 de outubro de 2024: Alterações comportamentais em UPDATE/DELETE/MERGE INTO devido à conversão de partição
Prezados usuários do MaxCompute,
Desde quinta-feira, 24 de outubro de 2024 (UTC+8), o MaxCompute ativou por padrão a otimização de conversão de partição dinâmica para estática em todas as operações DML para melhorar o desempenho de consultas. Essa otimização afeta o comportamento das operações UPDATE/DELETE/MERGE INTO. Se você executar uma dessas operações em uma partição inexistente, a operação falhará e retornará um erro semelhante aos seguintes:
ODPS-0110061: Failed to run ddltask - Operation DELETE expect target partition exist, but object not found.ODPS-0422141: Partition not found - Partition 'projectName.tableName(pt=xxx)' does not exist.
Caso esse problema ocorra, desative essa otimização no nível de sessão executando o comando SET odps.optimizer.cbo.rule.filter.black=re;. Depois disso, execute as operações UPDATE/DELETE/MERGE INTO normalmente.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo privado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração!
22 de outubro de 2024: Lançamento do SDK do MaxCompute para Go
Prezados usuários do MaxCompute,
O SDK do MaxCompute para Go já está disponível geralmente, com vigência a partir de terça-feira, 22 de outubro de 2024 (UTC+8). O SDK para Go fornece APIs para operar e gerenciar services do MaxCompute, como acessar e gerenciar projetos, trabalhar com tabelas de dados e transferir dados. Para mais informações, consulte Overview of the SDK for Go.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos o seu apoio.
15 de outubro de 2024: Descontinuação da rede clássica do MaxCompute e atualizações de endpoint
Prezados usuários do MaxCompute,
A Alibaba Cloud descontinuará a conexão de rede clássica do MaxCompute em sábado, 30 de novembro de 2024 (UTC+8) e a substituirá pela rede interna para conexão de services cloud. Para evitar interrupções no service, mude para uma VPC ou para a rede interna de conexão de services cloud antes dessa data. Além disso, atualizamos os endpoints para conexões VPC e de rede interna na Alibaba Finance Cloud, Alibaba Gov Cloud e outras regiões internacionais. Revise e atualize suas configurações adequadamente. Para detalhes, consulte Endpoints.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
14 de outubro de 2024: Suporte a múltiplos recursos de assinatura
Prezados usuários do MaxCompute,
A partir de segunda-feira, 14 de outubro de 2024 (UTC+8), o MaxCompute suportará a compra de múltiplos recursos de computação por assinatura para uma única conta Alibaba Cloud na mesma região. Isso significa que agora é possível adquirir múltiplas cotas de nível 1, e os recursos de cada cota ficam isolados entre si.
Este recurso é ideal para os seguintes casos de uso:
Sua empresa exige forte isolamento de recursos de computação por assinatura entre diferentes departamentos ou projetos dentro de uma única conta Alibaba Cloud.
Sua empresa precisa separar o faturamento de diferentes departamentos ou projetos. Anteriormente, não era possível usar uma cota de nível 2 para separar cobranças de recursos de computação por assinatura. Agora, adquira múltiplas cotas de nível 1 para dividir suas faturas por pedido.
Para mais informações sobre cotas do MaxCompute, consulte Manage computing resources and quotas.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
27 de setembro de 2024: Otimização de custos de armazenamento do MaxCompute
Prezados usuários do MaxCompute,
A partir de sexta-feira, 27 de setembro de 2024 (UTC+8), o MaxCompute está lançando o recurso de otimização de custos de armazenamento nas regiões de cloud pública na China continental. Esse recurso ajuda a otimizar sua política de armazenamento em camadas analisando o último horário de acesso das suas tabelas e partições. Com base em uma política fixa, ele recomenda mover dados do armazenamento padrão para camadas de menor custo: para acesso pouco frequente (IA) após 30 dias de inatividade e para armazenamento de longo prazo após 180 dias de inatividade. O recurso também estima sua economia potencial de custos com base no preço de catálogo para ajudar você a tomar uma decisão informada.
Para mais informações, consulte Optimize tiered storage configurations.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pela comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
26 de setembro de 2024: Disponibilidade geral do MaxFrame para MaxCompute
Prezados usuários do MaxCompute,
O MaxFrame é um framework de computação distribuída da Alibaba Cloud que utiliza os recursos de computação e as interfaces de dados do MaxCompute. Ele fornece uma interface Python, é compatível com Pandas e XGBoost e gerencia automaticamente o processamento distribuído. Com o MaxFrame, desenvolvedores Python podem processar dados em grande escala e pré-processar dados de ML/AI no MaxCompute com eficiência. Para mais informações: MaxFrame: the distributed AI compute engine.
O MaxFrame para MaxCompute substituirá gradualmente as interfaces PyODPS DataFrame e Mars, oferecendo melhor compatibilidade de operadores e desempenho distribuído. Recomendamos o uso do MaxFrame para novos desenvolvimentos e jobs em Python. Também aconselhamos migrar jobs existentes que usam PyODPS DataFrame e Mars para o MaxFrame, a fim de aproveitar uma experiência de desenvolvimento aprimorada e melhor suporte ao service.
A partir de sexta-feira, 27 de setembro de 2024 (UTC+8), o MaxFrame está disponível geralmente nas regiões China (Beijing), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Ulanqab) e China (Hong Kong). O MaxFrame é cobrado com base nos recursos de computação usados pelos jobs. Os modelos de faturamento pagamento conforme o uso e assinatura são suportados. Para detalhes de faturamento, consulte Compute costs (subscription).
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pela Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920), pelo seu grupo dedicado do DingTalk ou pelo grupo oficial de suporte ao usuário do MaxFrame (ID do grupo DingTalk: 37130012987). Para participar da Comunidade de Desenvolvedores do MaxCompute, preencha o formulário de inscrição no grupo DingTalk.
Agradecemos o seu apoio contínuo.
20 de setembro de 2024: Gerenciamento de permissões RAM para recursos do console do MaxCompute
Prezados usuários do MaxCompute,
Para aumentar a segurança, o MaxCompute introduzirá o gerenciamento de permissões RAM para vários recursos do console em terça-feira, 8 de outubro de 2024. Embora uma conta Alibaba Cloud (conta primária) mantenha acesso total por padrão, os usuários RAM precisarão de ações de permissão específicas para usar esses recursos afetados. Os recursos e suas ações de permissão necessárias estão listados abaixo:
Módulo | Recurso | Ação de permissão |
Workspace > Notebook | Notebook |
|
Tenants > external data source |
| |
Tunnel > MMA | MMA |
|
Para detalhes sobre essas ações de permissão, consulte RAM permissions.
Para garantir acesso ininterrupto a esses recursos do console, conceda as permissões RAM necessárias aos usuários RAM afetados antes de terça-feira, 8 de outubro de 2024.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
19 de setembro de 2024: Visualização por convite de novos recursos do MaxCompute
Prezados usuários do MaxCompute,
Temos o prazer de anunciar uma visualização por convite dos principais novos recursos do MaxCompute, lançada na Apsara Conference 2024. Essas novas capacidades incluem data lakehouse 2.0 impulsionado pelo OpenLake, processamento de dados não estruturados em tabelas de objetos usando SQL ou MaxFrame, o formato incremental Delta Table, computação incremental baseada em visualizações materializadas incrementais e desempenho de consulta aprimorado com o mecanismo MaxCompute Query Acceleration (MCQA) 2.0. A visualização está disponível nas regiões de cloud pública China (Hangzhou), China (Shanghai), China (Beijing) e China (Shenzhen). Para explorar esses novos recursos, preencha o formulário de inscrição para visualização por convite.
Após o registro, explore os novos recursos de uma das seguintes maneiras:
No console do MaxCompute, ao criar um novo projeto, defina o Project Type como Project for Invitational Preview of New Features at Apsara Conference.
Na visualização pública do Data Studio do DataWorks, ao vincular recursos de computação do MaxCompute e criar um novo projeto interno, defina o Project Type como Project for Invitational Preview of New Features at Apsara Conference.
Esses recursos de visualização destinam-se apenas a testes e estão disponíveis somente em novos projetos criados para a visualização por convite da Apsara Conference. Como esses recursos ainda estão em desenvolvimento ativo, não são recomendados para cargas de trabalho de produção. Não use esses projetos ou recursos de visualização para dados críticos ou operações de produção.
Após o término da visualização por convite, esses projetos de visualização serão convertidos automaticamente em projetos de produção padrão. Todos os seus dados e informações de configuração serão preservados. O MaxCompute continuará refinando esses recursos com base no feedback da visualização. No entanto, não garantimos que todos os recursos de visualização serão lançados para disponibilidade geral em projetos padrão.
5 de setembro de 2024: Melhorias na UI de gerenciamento de cotas do MaxCompute
Prezados usuários do MaxCompute,
Na quarta-feira, 11 de setembro de 2024, o MaxCompute lançará progressivamente uma versão otimizada da UI do console para configurar cotas de computação por assinatura em todas as regiões. Esta versão é otimizada para dois casos de uso principais: com e sem necessidade de dimensionamento baseado em tempo. Se não precisar usar o recurso de dimensionamento baseado em tempo, conclua a configuração da sua cota de computação por assinatura na aba Basic Configurations na nova UI. Caso precise usar o recurso de dimensionamento baseado em tempo, conclua primeiro as Basic Configurations e depois acesse a aba Scaling Configuration para fazer as configurações relevantes.
Ao configurar cotas de computação por assinatura na página Quotas no console do MaxCompute, as seguintes alterações serão aplicadas:
-
O antigo quota template foi renomeado para Basic Configurations. As capacidades são as seguintes:
Use Edit Basic Configurations para adicionar uma cota de nível 2 e modificar seus parâmetros básicos, como Exclusive, CU Limit per Job, Enable Priority, Non-reserved CUs e Scheduling Policy. Edite também as Reserved CUs [minCU,maxCU] e Elastically Reserved CUs. No entanto, essas alterações aplicam-se apenas ao plano de configuração de recursos de cota ativo no momento (antigo plano de cota). Se usar dimensionamento baseado em tempo, recomendamos acessar a aba Scaling Configuration para configurar as Reserved CUs [minCU,maxCU] e Elastically Reserved CUs.
Na aba Basic Configurations, exclua cotas de nível 2 da lista de cotas. A lógica de exclusão é consistente com a do modelo de cota original.
-
Os antigos Quota Plans e Time Plan foram mesclados em Scaling Configuration, e a configuração limita-se a Reserved CUs [minCU,maxCU] e Elastically Reserved CUs. As capacidades são as seguintes:
Adicionar plano de configuração: Esta ação era anteriormente Add Plan e suporta a configuração apenas dos parâmetros Reserved CUs [minCU,maxCU] e elastically reserved CUs para uma cota.
Lista de planos de configuração de recursos: Esta lista, anteriormente a lista de planos de cota, agora pode ser expandida para visualizar e comparar os detalhes de configuração de cada plano.
Gerenciamento baseado em tempo: Este recurso chamava-se anteriormente Time Plan. A funcionalidade permanece a mesma.
Visualização de dimensionamento baseado em tempo: Este é um novo recurso que exibe um gráfico de tendências de alocação de CU em diferentes períodos para uma cota de nível 2 selecionada.
Visualização global de configuração de dimensionamento: Este é um novo recurso que fornece uma tabela com todos os detalhes dos planos de configuração. Isso permite verificar facilmente as CUs Mín/Máx e as CUs reservadas elasticamente para todas as cotas em diferentes intervalos de tempo.
Para instruções detalhadas, consulte Computing resources - Quota management. Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk, pelo grupo oficial de suporte ao usuário do MaxFrame (ID do grupo DingTalk: 37130012987) ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração!
29 de agosto de 2024: Controle de permissões RAM para recursos do console do MaxCompute
Prezados usuários do MaxCompute,
Para aumentar a segurança, o MaxCompute adicionará gerenciamento de permissões RAM a recursos específicos do console a partir de terça-feira, 10 de setembro de 2024. Por padrão, uma conta Alibaba Cloud (conta primária) tem acesso total a todos os recursos do console. No entanto, os usuários RAM precisarão das ações de permissão associadas para acessar esses recursos. Os recursos afetados e suas ações de permissão estão listados abaixo:
Módulo | Recurso | Ação de permissão |
Workspace > Project Management | odps:ListOutboundInternetAddress | |
Workspace > Project Management | odps:UpdateUsersToRole | |
Workspace > Quota Management |
| |
Workspace > Resource Observation |
| |
odps:ListTopJobInfo | ||
| ||
Workspace > Job O&M | odps:ListJobSnapshotInfos | |
Workspace > Materialized Views |
| |
Tenant Management > Network Connections |
| |
Tenant Management > Image Management |
|
Para detalhes sobre essas ações de permissão, consulte RAM permissions.
Para garantir o acesso contínuo dos seus usuários RAM, conceda a eles as permissões RAM necessárias antes de terça-feira, 10 de setembro de 2024. Por exemplo, para conceder a um usuário RAM permissão para gerenciar cotas, anexe a seguinte política:
{
"Version": "1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"odps:UpdateQuota",
"odps:UpdateQuotaPlan",
"odps:UpdateSubQuotas",
"odps:UpdateQuotaSchedule",
"odps:CreateQuotaPlan",
"odps:DeleteQuotaPlan",
"odps:CreateQuotaSchedule",
"odps:ListQuotaRoutingRules",
"odps:CreateQuotaRoutingRule",
"odps:GetQuotaRoutingRule",
"odps:RemoveQuotaRoutingRule",
"odps:UpdateQuotaRoutingRule"
],
"Resource": "*"
}
]
}
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração!
19 de agosto de 2024: Melhorias na observação de recursos do MaxCompute
Prezados usuários do MaxCompute,
O recurso de observação de recursos do MaxCompute agora inclui novas métricas para recursos de armazenamento e desempenho de jobs.
-
Recursos de armazenamento
Este recurso ajuda a rastrear mudanças no uso de armazenamento e entender sua distribuição. Visualize o uso total de armazenamento e a proporção de diferentes tipos de armazenamento em uma região selecionada. Observe também as tendências de armazenamento para projetos específicos durante um período escolhido e visualize informações detalhadas para cada tabela ou partição. Com esses insights, identifique picos repentinos no consumo de armazenamento e otimize prontamente os projetos, tabelas ou partições que mais consomem.
-
Novas métricas para desempenho de jobs
Identifique os 10 principais jobs que mais consomem
CPU-hoursoumemory-hoursdentro dos filtros selecionados. Veja também as 10 principaissignatureseExtNodeIdscom maior consumo total ou médio.Visualize os 10 principais jobs com maiores tempos totais de execução, juntamente com as 10 principais
signatureseExtNodeIdscom maiores tempos totais ou médios de execução, com base nos filtros selecionados.Acompanhe a tendência de
data scanned by jobsdurante um período específico.Monitore a tendência de
data scanned by jobsporCU-hour.
Essas métricas ajudam a identificar rapidamente jobs intensivos em recursos e de longa duração para otimização oportuna. Ao comparar os
data scanned by jobsporCU-hour, detecte períodos de desempenho anormal. Em seguida, use o recurso dejob managementpara investigar a causa raiz e resolver o problema.
Para mais informações, consulte Resource observation.
Se tiver dúvidas, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo DingTalk da Comunidade de Desenvolvedores do MaxCompute (ID: 11782920).
Obrigado.
31 de julho de 2024: Descontinuação de componentes legados do PyTorch
Prezados usuários do MaxCompute,
Devido a uma atualização de sistema em toda a plataforma, o Platform for AI (PAI) descontinuará os componentes de algoritmo legados do PyTorch em todos os clusters, com vigência a partir de 30 de agosto de 2024. Recomendamos fortemente que migre quaisquer jobs PyTorch enviados ao MaxCompute usando o comando PAI pai -name pytorch100/pytorch131/pytorch151. Sugerimos usar Deep Learning Containers (DLC) para enviar jobs PyTorch. Para mais informações, consulte Create a training job. A partir de 31 de agosto de 2024, nosso acordo de nível de serviço (SLA) não cobrirá mais jobs existentes que usem esses componentes descontinuados.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pela comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
18 de julho de 2024: Descontinuação de APIs específicas
Prezados usuários do MaxCompute,
Com vigência a partir de quarta-feira, 31 de julho de 2024 (UTC+8), o MaxCompute descontinuará as seguintes operações de API:
-
Operações de API descontinuadas e suas substitutas
API descontinuada
API substituta
Versão
Nome da API
2019-06-12
CreateProject
2022-01-04: CreateProject
DeleteProject
Não disponível
GetProject
2022-01-04: GetProject
OpenMaxComputeService
Não disponível
2022-01-04
2022-01-04: QueryQuota
-
Motivos da descontinuação
Estamos descontinuando as operações de API da versão 2019-06-12 porque a implementação subjacente do recurso mudou, e o monitoramento de longo prazo não mostra chamadas externas de clientes para esta versão.
Estamos atualizando a operação GetQuota na versão 2022-01-04 para fornecer informações de cota mais abrangentes. Como o monitoramento não mostra chamadas externas de clientes para a operação atual, estamos descontinuando-a.
-
Impacto
Após a data de descontinuação, todas as chamadas para essas operações de API falharão e retornarão o código de erro
InvalidApi.NotFoundouInvalidAction.NotFound. -
Ações recomendadas
Se o seu código tiver dependência do SDK para essas operações de API descontinuadas, como objetos de requisição ou resposta específicos, encontre dependências ausentes ao atualizar para uma versão mais recente do SDK. Recomendamos atualizar seu código para usar as operações de API substitutas ou remover os recursos relacionados. Se o seu código chamar essas operações de API diretamente, atualize também essas chamadas.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pela comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
4 de julho de 2024: O&M de Jobs adiciona novos parâmetros de tempo
Prezados usuários do MaxCompute,
O MaxCompute agora fornece os parâmetros de hora de início, tempo de espera e duração da execução na lista de O&M de Jobs e na página de visão geral da análise de jobs.
Hora de início: O momento em que um job adquire seus primeiros recursos de computação. Para jobs de curta duração ou que não consomem recursos de computação, como instruções DDL, usa-se a hora de envio do job.
Tempo de espera: A duração desde a hora de envio do job até a hora de início.
Duração da execução: A duração desde a hora de início até a hora de término.
Esses parâmetros ficam ocultos por padrão na lista de O&M de Jobs. Clique em colunas personalizadas para exibi-los. Esses parâmetros ajudam a determinar rapidamente se um job está lento devido a longas esperas por recursos. Use então a análise de jobs para diagnosticar se a causa raiz é insuficiência de recursos de computação ou contenção de recursos entre jobs. Com base nesse diagnóstico, otimize a execução do job, ajuste prioridades de jobs ou gerencie recursos de computação.
Para mais informações, consulte Job O&M.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
3 de julho de 2024: Lançamento do recurso MaxFrame
Prezados usuários do MaxCompute,
O framework de computação distribuída MaxFrame já está disponível geralmente. Com vigência a partir de quarta-feira, 3 de julho de 2024 (horário de Beijing), o MaxFrame está disponível nas regiões China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen) e China (Chengdu). A disponibilidade será expandida gradualmente para outras regiões.
O MaxFrame é um framework de computação distribuída desenvolvido pela Alibaba Cloud que fornece uma interface de programação Python e se conecta diretamente aos recursos de computação e interfaces de dados do MaxCompute. Isso permite que desenvolvedores Python processem dados em grande escala e desenvolvam modelos de AI com eficiência. Totalmente compatível com a interface Pandas, o MaxFrame gerencia automaticamente o processamento distribuído. Isso permite aproveitar os massivos recursos de computação e dados do MaxCompute em um ambiente familiar para processamento de dados, exploração visual de dados, computação científica e desenvolvimento de ML/AI.
Para detalhes dos recursos e instruções de uso, consulte MaxFrame: The distributed AI compute engine.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk, pelo grupo oficial de suporte ao usuário do MaxFrame (ID do grupo DingTalk: 37130012987) ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
1º de julho de 2024: Otimização de custos de computação em quatro novas regiões
Prezados usuários do MaxCompute,
O recurso de otimização de custos de computação do MaxCompute agora está disponível em quatro novas regiões: China (Hong Kong), Singapore, Indonesia (Jakarta) e Germany (Frankfurt). Esse recurso analisa sua carga de trabalho de jobs e a configuração de recursos alvo para recomendar um plano de recursos otimizado para seus recursos de computação de cota de nível 1 por assinatura. Ele também projeta custos e fornece recomendações para mudar projetos do modelo pagamento conforme o uso para assinatura, ajudando a otimizar custos de computação e melhorar a utilização de recursos. Com este lançamento, o recurso está agora disponível em um total de dez regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Indonesia (Jakarta) e Germany (Frankfurt).
Para mais detalhes, consulte Computing cost optimization.
Em caso de dúvidas, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo DingTalk da Comunidade de Desenvolvedores do MaxCompute (ID: 11782920).
Obrigado.
17 de maio de 2024: Atualização de segurança do LogView do MaxCompute
Prezados usuários do MaxCompute,
O MaxCompute está implementando uma atualização abrangente de segurança para o LogView, com início às 14:00 de segunda-feira, 3 de junho de 2024 (UTC+8). Essa atualização será implantada progressivamente nas seguintes regiões: China (Chengdu), China (Zhangjiakou), China (Shenzhen), China (Beijing), China (Shanghai), China (Hangzhou) e China (Ulanqab). Após a atualização, os links do LogView para jobs enviados do DataWorks DataStudio ou DataAnalysis usando um grupo de recursos compartilhado redirecionarão para o console do MaxCompute. Para acessar o LogView de um job, você deve atender a ambas as condições abaixo:
Ter uma conta Alibaba Cloud válida que tenha concluído a verificação de nome real.
Ser membro do projeto MaxCompute onde o job é executado. Um administrador do projeto pode adicionar você ao projeto.
Portanto, se a identidade de acesso configurada para o mecanismo MaxCompute em um workspace do DataWorks for diferente da sua identidade de usuário, talvez você não consiga acessar o LogView dos jobs enviados. Isso ocorre se você não for membro do projeto MaxCompute proprietário do job. Por exemplo, em um workspace do DataWorks no modo padrão, se enviar um job do ambiente de desenvolvimento para o ambiente de produção, não poderá acessar o LogView dele caso não seja membro do projeto MaxCompute do ambiente de produção.
Para evitar esse problema, tome as seguintes medidas:
Garanta que todos os membros da equipe que precisam acessar o LogView tenham uma conta Alibaba Cloud com verificação de nome real.
-
Adicione prontamente os membros da equipe aos projetos MaxCompute apropriados e conceda a eles as permissões necessárias.
NotaPara detalhes sobre gerenciamento de usuários e operações de autorização, consulte User planning and management e MaxCompute permissions.
Durante ou após a atualização, se tiver dúvidas sobre o acesso ao LogView e configuração de permissões ou precisar de suporte técnico, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920). Agradecemos a sua colaboração.
13 de maio de 2024: Atualização de certificado etcd do MaxCompute
Prezados usuários do MaxCompute,
Atualizaremos o certificado etcd do cluster na região de Singapore das 10:00 às 16:00 de segunda-feira, 20 de maio de 2024 (UTC+8). Essa atualização não deve afetar seus jobs em execução. No entanto, na improvável eventualidade de falha de um job, execute-o novamente.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
8 de maio de 2024: Observação de desempenho de jobs do MaxCompute
Prezados usuários do MaxCompute,
O recurso de observação de desempenho de jobs do MaxCompute será lançado às 20:00 de quarta-feira, 8 de maio de 2024 (UTC+8). Este recurso permite visualizar tendências no número de jobs, uso de CU e tempos de execução de jobs.
Filtre essas métricas por intervalo de tempo, projeto e cota, e agrupe as estatísticas por tipo de job, status de execução, projeto e cota.
Essas métricas ajudam a identificar rapidamente problemas, como picos anormais na contagem de jobs ou uso de recursos, para que você possa agir oportunamente. Ao comparar os tempos de execução de jobs ao longo do tempo, identifique também jobs lentos que degradam o desempenho geral.
Para mais detalhes e instruções de uso, consulte job performance observation.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da comunidade de desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
30 de abril de 2024: Atualização de armazenamento do MaxCompute
Prezados usuários do MaxCompute,
O MaxCompute passará por uma atualização de armazenamento e na região China (Hong Kong) das 10:00 às 16:00 de quarta-feira, 15 de maio de 2024 (UTC+8). Esta atualização de baixo risco não deve afetar seus jobs em execução. Na improvável eventualidade de um job ser afetado e falhar, tente executá-lo novamente.
Se tiver dúvidas ou precisar de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração!
23 de abril de 2024: Alterações no ciclo de vida de projetos MaxCompute em regiões internacionais
Prezados usuários do MaxCompute,
A partir de quinta-feira, 25 de abril de 2024 (UTC+8), ao ativar o service de pagamento conforme o uso em China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia), UAE (Dubai) ou SAU (Riyadh - Partner Region), o ciclo de vida de todos os projetos nessa região se alinhará ao do service de pagamento conforme o uso. Para uso de pagamento conforme o uso, como armazenamento e downloads, tanto os Detalhes do Produto quanto o Item Faturável (em Registros de Uso) serão listados como MaxCompute (Pay-As-You-Go). Se comprar recursos de assinatura nessa região, apenas o ciclo de vida deles permanecerá alinhado ao da instância de assinatura.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado!
7 de abril de 2024: Novos descontos de assinatura do MaxCompute
Prezados usuários do MaxCompute,
Com vigência a partir das 10:00 (UTC+8) de 7 de abril de 2024, novos descontos serão aplicados a várias especificações de recursos de assinatura do MaxCompute, incluindo recursos de computação padrão e o service Tunnel.
Os novos descontos são: 15% para um prazo de 1 ano; 30% para um prazo de 2 anos; 50% para um prazo de 3 anos .
14 de março de 2024: MaxCompute suporta ingestão de eventos do ActionTrail
Prezados usuários do MaxCompute,
Agora é possível criar uma trilha no ActionTrail para entregar eventos do ActionTrail ao MaxCompute.
O ActionTrail retém eventos por 90 dias. Para armazenar e analisar eventos além desse período, crie uma trilha no ActionTrail para entregá-los ao MaxCompute.
Para mais informações, consulte Deliver ActionTrail events to MaxCompute.
Em caso de dúvidas ou suporte, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.
29 de fevereiro de 2024: Atualização de nó PyODPS para grupos de recursos exclusivos do DataWorks
Prezados usuários do MaxCompute,
Para aprimorar o suporte ao PyODPS, o DataWorks atualizará gradualmente os grupos de recursos exclusivos em várias regiões de segunda-feira, 8 de abril de 2024 a quinta-feira, 30 de maio de 2024 (UTC+8). A tabela abaixo detalha os principais aprimoramentos e o cronograma específico de atualização para cada região. A versão do pacote PyODPS nos nós permanecerá inalterada após a atualização.
Aprimoramentos | Região | Cronograma de atualização |
| China (Chengdu) e China (Zhangjiakou) | 8 de abril de 2024 a 11 de abril de 2024 |
China (Shenzhen) | 15 de abril de 2024 a 18 de abril de 2024 | |
China (Beijing) | 22 de abril de 2024 a 25 de abril de 2024 | |
China (Shanghai) | 6 de maio de 2024 a 9 de maio de 2024 | |
China (Hangzhou) | 13 de maio de 2024 a 16 de maio de 2024 | |
China (Hong Kong) e regiões fora da China | 20 de maio de 2024 a 23 de maio de 2024 | |
China East 1 (Hangzhou Finance) e China East 2 (Shanghai Finance) | 27 de maio de 2024 a 30 de maio de 2024 |
A atualização pode interromper jobs PyODPS em execução. Se um job PyODPS em um grupo de recursos exclusivos falhar, ou se precisar de ajuda com problemas relacionados, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo DingTalk da Comunidade de Desenvolvedores do MaxCompute (ID: 11782920).
Agradecemos a sua colaboração!
28 de fevereiro de 2024: Simulação de confiabilidade do MaxCompute
Prezados usuários do MaxCompute,
O MaxCompute realizará uma simulação de confiabilidade de acesso ao service nas regiões China (Zhangjiakou) e China (Chengdu) das 15:00 às 16:00 de quarta-feira, 28 de fevereiro de 2024 (UTC+8). Não esperamos que esta simulação afete seus jobs. Caso um job falhe, tente executá-lo novamente.
Para quaisquer dúvidas ou assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Agradecemos a sua colaboração.
25 de janeiro de 2024: Lançamento do recurso de otimização de custos de computação do MaxCompute
Prezados usuários do MaxCompute,
Na quinta-feira, 25 de janeiro de 2024 (UTC+8), o recurso de otimização de recursos de computação do MaxCompute foi atualizado para o recurso de otimização de custos de computação.
O recurso de otimização de custos de computação baseia-se no recurso existente de otimização de recursos de computação, que gera planos de configuração de recursos otimizados para recursos de computação de cota de assinatura de nível 1. Além disso, esta atualização fornece um plano de configuração de recursos recomendado e uma projeção de seus efeitos para ajudar você a decidir se deve mudar de recursos de computação pagamento conforme o uso para recursos de computação por assinatura. Isso ajuda a otimizar ainda mais os custos de computação e melhorar a utilização de recursos. Para mais informações e instruções de uso, consulte computing resource configuration optimization.
Em caso de dúvidas ou necessidade de assistência, entre em contato conosco pelo seu grupo dedicado do DingTalk ou pelo grupo da Comunidade de Desenvolvedores do MaxCompute (ID do grupo DingTalk: 11782920).
Obrigado.