Todos os produtos
Search

Este produto

    DataWorks:Visão geral do Data Studio

    Central de documentação

    DataWorks:Visão geral do Data Studio

    Última atualização: Sep 23, 2026

    O Data Studio é uma plataforma inteligente de desenvolvimento de data lakehouse integrada aos serviços de computação da alibaba cloud para ETL, gerenciamento de catálogo de dados e orquestração de fluxos de trabalho entre motores. Com ambientes de desenvolvimento pessoal, análise em Notebook, suporte a Python, integração com git e um ecossistema robusto de plugins, a plataforma unifica o processamento em tempo real e offline com IA em todo o ciclo de vida de Data+AI.

    Data Studio

    O Data Studio é uma plataforma inteligente de desenvolvimento de data lakehouse baseada nas melhores práticas de big data da alibaba. Integra-se a serviços de big data e IA da alibaba cloud, como MaxCompute, E-MapReduce, Hologres, Flink e PAI, e oferece recursos de desenvolvimento inteligente de ETL para data warehouses, data lakes e arquiteturas OpenLake. Os principais recursos incluem:

    • Suporte a data lakehouse e múltiplos motores Acesse dados de forma transparente em data lakes (como o OSS) e data warehouses (como o MaxCompute) por meio de um catálogo de dados unificado e um amplo conjunto de nós de mecanismo para permitir o desenvolvimento híbrido com múltiplos motores.

    • Fluxos de trabalho e agendamento flexíveis Utilize um amplo conjunto de nós de controle de fluxo para orquestrar visualmente tarefas entre motores em um fluxo de trabalho. A plataforma suporta tanto o agendamento periódico orientado por tempo quanto o agendamento baseado em gatilhos orientado por eventos.

    • Ambiente de desenvolvimento aberto de Data+AI Construa uma estação de trabalho flexível para pesquisa e desenvolvimento de IA com um ambiente de desenvolvimento pessoal com suporte a dependências personalizadas, um Notebook para codificação mista em SQL e Python, e recursos como gerenciamento de conjuntos de dados e integração com git.

    • Assistência inteligente e engenharia de IA O poderoso Copilot integrado auxilia durante todo o processo de desenvolvimento de código. Nós de algoritmo do PAI e nós de modelos grandes profissionais fornecem suporte nativo para engenharia de IA de ponta a ponta.

    Conceitos principais

    Conceito

    Definição

    Valor principal

    Palavras-chave

    Fluxo de trabalho

    Uma unidade para organizar e orquestrar tarefas

    Permite o gerenciamento de dependências e o agendamento automatizado para tarefas complexas. Um fluxo de trabalho atua como o contêiner para desenvolvimento e agendamento.

    Visual, DAG, periódico/baseado em gatilhos, orquestração

    Nó

    A menor unidade de execução em um fluxo de trabalho

    Local onde você escreve código e implementa lógica de negócios específica. Um nó é a operação atômica para processamento de dados.

    SQL, Python, Shell, Data Integration

    Imagem personalizada

    Um snapshot padronizado de um ambiente

    Garante a extensibilidade, consistência e reprodutibilidade do ambiente.

    Congelamento de ambiente, padronização, replicação, consistência

    Agendamento

    Regras para acionar tarefas automaticamente

    Automatiza a produção de dados ao converter tarefas manuais em cargas de trabalho automatizadas e prontas para produção.

    Agendamento periódico, agendamento baseado em gatilhos, dependência, automação

    Catálogo de Dados

    Uma bancada de metadados unificada

    Organiza e gerencia ativos de dados (como tabelas) e recursos de computação (como funções e recursos) de forma estruturada.

    Metadados, gerenciamento de tabelas, análise de perfil

    Conjunto de dados

    Um mapeamento lógico para armazenamento externo

    Conecta dados não estruturados externos (imagens, documentos) ao ambiente de desenvolvimento, servindo como uma ponte de dados fundamental para o desenvolvimento de IA.

    Integração com OSS/NAS, montagem de dados, dados não estruturados

    Notebook

    Uma tela interativa de desenvolvimento de Data+AI

    Combina código SQL e Python para acelerar a exploração de dados e a validação de algoritmos.

    Interativo, multilíngue, visual, análise exploratória

    Guia de processos do Data Studio

    O Data Studio suporta tanto o desenvolvimento de data warehouse quanto o desenvolvimento de IA. Esta seção descreve dois caminhos comuns. Adapte-os de acordo com as suas necessidades.

    Caminho comum: Processo de desenvolvimento de data warehouse (tarefas periódicas de ETL)

    Este processo é ideal para construir data warehouses de nível corporativo com processamento de dados em lote estável e automatizado.

    • Público-alvo: Engenheiros de dados e desenvolvedores de ETL.

    • Objetivo principal: Construir um data warehouse corporativo estável, padronizado e com agendamento automático para processamento de dados em lote e geração de relatórios.

    • Tecnologias-chave: Catálogo de Dados, fluxos de trabalho agendados, nós SQL e configurações de agendamento.

    image

    Etapa

    Fase

    Operações e objetivos principais

    Caminho principal e referências

    1

    Associar um motor de computação

    Associe um ou mais motores de computação principais (como o MaxCompute) ao workspace como ambiente de execução para todas as tarefas SQL.

    Console > Workspace Settings

    Para mais informações, consulte Associate compute engines.

    2

    Gerenciamento do Catálogo de Dados

    Crie ou explore as estruturas de tabelas necessárias para cada camada do data warehouse (ODS, DWD, ADS, etc.) no Catálogo de Dados para definir as entradas e saídas do processamento de dados.

    Recomendamos o uso do módulo Data Modeling para construir o sistema de data warehouse.

    Data Studio > Data Catalog

    Para mais informações, consulte Data Catalog Management.

    3

    Crie um fluxo de trabalho agendado

    Crie um fluxo de trabalho agendado no diretório do projeto como um contêiner para organizar e gerenciar tarefas de ETL relacionadas.

    Data Studio > Project Directory > Scheduled Workflow

    Para mais informações, consulte Scheduled workflows.

    4

    Desenvolvimento e depuração de nós

    Crie nós ODPS SQL ou outros nós, escreva a lógica principal de ETL (limpeza, transformação e agregação de dados) no editor e depure os nós.

    • Data Studio > Node Development > Node Editor

    • Data Studio > Node Development > Run Configuration

    Para mais informações, consulte Node Development Overview.

    5

    Desenvolvimento assistido pelo Copilot

    Use os recursos do DataWorks Copilot para gerar, corrigir, reescrever e converter códigos SQL e Python.

    • Data Studio > Node Development > Copilot

    • Data Studio > Copilot > Agent

      Para mais informações, consulte Copilot.

    6

    Orquestração e agendamento de nós

    Na tela DAG do fluxo de trabalho, defina as dependências upstream e downstream entre os nós ao arrastá-los e conectá-los. A plataforma oferece suporte a vários nós de controle de fluxo para orquestrações complexas.

    defina as configurações de agendamento para o ambiente de produção no nível do fluxo de trabalho ou do nó, incluindo a frequência, o horário e as dependências. A plataforma suporta agendamento em escala ultra grande, processando dezenas de milhões de instâncias por dia.

    • Data Studio > Workflow > Workflow Canvas

    • Data Studio > Node Development > Schedule Settings

    Para mais informações, consulte General flow control nodes e Schedule settings.

    7

    Implantação e O&M de fluxos de trabalho/nós

    • Implantação: Implante os nós ou fluxos de trabalho depurados no ambiente de produção por meio do processo de implantação.

    • O&M: Monitore, configure alertas, execute backfill de dados e faça validações periódicas em tarefas de produção no Operation Center. Use linhas de base inteligentes para garantir a conclusão das tarefas no prazo e utilize alertas de monitoramento para tratar exceções de tarefas prontamente.

    • Data Studio > Node/Workflow Details > Node/Workflow Deployment

    • Operation and Maintenance Center > Auto Triggered Task O&M > Auto Triggered Task

      Para mais informações, consulte Deploy nodes and workflows e Operation Center.
    Nota

    Para um tutorial de primeiros passos relacionado, consulte Getting started tutorial.

    Caminho avançado: Processo de desenvolvimento de IA para big data

    Este processo é adequado para o desenvolvimento de modelos de IA, exploração de ciência de dados e aplicações de IA em tempo real, com foco na flexibilidade e interatividade do ambiente.

    • Público-alvo: Engenheiros de IA, cientistas de dados e engenheiros de algoritmos.

    • Objetivo principal: Realizar exploração de dados, treinamento de modelos e validação de algoritmos, ou construir aplicações de IA em tempo real (como serviços RAG e de inferência em tempo real).

    • Tecnologias-chave: Ambiente de desenvolvimento pessoal, Notebook, fluxos de trabalho baseados em gatilhos, conjuntos de dados e imagens personalizadas.

    image

    Etapa

    Fase

    Operações e objetivos principais

    Caminho principal e referências

    1

    Crie um ambiente de desenvolvimento pessoal

    Crie uma instância de contêiner na cloud isolada e personalizável para instale dependências Python e desenvolver soluções de IA.

    Data Studio > Personal Development Environment

    Para mais informações, consulte Personal Development Environment Management.

    2

    Crie um fluxo de trabalho baseado em gatilhos

    Crie um fluxo de trabalho orientado por eventos no diretório do projeto como um contêiner de orquestração para aplicações de IA em tempo real.

    Data Studio > Project Directory > Trigger-based Workflow

    Para mais informações, consulte Trigger-based workflows.

    3

    Crie e configure um gatilho

    configure um gatilho no Operation Center para definir quais eventos externos (como eventos do OSS ou eventos de mensagens do Kafka) iniciarão o fluxo de trabalho.

    • Create: Operation Center > Trigger Management

    • Use: Data Studio > Trigger-based Workflow > Schedule Settings

    Para mais informações, consulte Trigger management e Trigger-based workflow schedule settings.

    4

    Crie um nó Notebook

    Crie a unidade de desenvolvimento principal para escrever código de IA/Python. Recomendamos fazer a exploração inicial em um Notebook no diretório pessoal.

    Project Directory > Trigger-based Workflow > Notebook Node

    Para mais informações, consulte Notebook node development.

    5

    Crie e use conjuntos de dados

    Registre dados não estruturados (imagens, documentos, etc.) armazenados no OSS ou NAS como conjuntos de dados e monte-os no ambiente de desenvolvimento ou nas tarefas para acesso via código.

    • Create: Data Map > Data Catalog > Dataset

    • Use: Data Studio > Personal Development Environment > Dataset Configuration

    Para mais informações, consulte Create a dataset e Use datasets.

    6

    Desenvolver e depurar Notebooks/nós

    Escreva a lógica do algoritmo no ambiente de desenvolvimento pessoal. Faça a exploração de dados, a validação de modelos e iterações rápidas.

    Data Studio > Notebook Editor

    Para mais informações, consulte Notebook.

    7

    Instale pacotes de dependência personalizados

    No terminal do ambiente de desenvolvimento pessoal ou em uma célula do Notebook, use ferramentas como pip para instalar todas as bibliotecas Python de terceiros necessárias para o modelo.

    Data Studio > Personal Development Environment > Terminal

    Para mais informações, consulte Install custom dependency packages.

    8

    Crie uma imagem personalizada

    Congele o ambiente de desenvolvimento pessoal com todas as dependências configuradas como uma imagem padronizada, garantindo total consistência entre o desenvolvimento e a produção.

    Se você não instalou pacotes de dependência personalizados, pule esta etapa.

    • Data Studio > Personal Development Environment > Manage Environment

    • Console > Custom Image

    Para mais informações, consulte Custom images.

    9

    Configurações de agendamento do nó

    Nas configurações de agendamento do nó de produção, especifique a imagem personalizada criada na etapa anterior como ambiente de execução e monte os conjuntos de dados necessários.

    Data Studio > Notebook Node > Schedule Settings

    Para mais informações, consulte Schedule settings.

    10

    Implantação e O&M de nós/fluxos de trabalho

    • Implantação: Implante o fluxo de trabalho baseado em gatilhos configurado no ambiente de produção.

    • O&M: Acione um evento real (como o upload de um arquivo) e verifique se o processo de ponta a ponta funciona corretamente e execute a validação de gatilhos.

    Módulos principais do Data Studio

    image

    Módulo principal

    Principais capacidades

    Orquestração de fluxos de trabalho

    Fornece uma tela DAG visual para construir e gerencie pipelines de tarefas complexas ao arrastar e conectar nós. Suporta scheduled workflows, trigger-based workflows e manual workflows para atender às necessidades de automação em diferentes cenários.

    Ambientes e modos de execução

    Oferece ambientes de desenvolvimento abertos e flexíveis para melhorar a eficiência e a colaboração no desenvolvimento.

    • Ambientes de execução: Suporta o ambiente de desenvolvimento padrão, personal development environments e custom images para atender às necessidades de desenvolvimento personalizado. Também suporta Git integration para gerenciamento de versões de código, permitindo o uso de ferramentas familiares.

    • Modos de desenvolvimento: Fornece um project directory (colaboração em equipe), um personal directory (desenvolvimento e teste pessoais) e um diretório manual (tarefas ad hoc) para isolar e gerenciar ativos de desenvolvimento de forma eficaz.

    Desenvolvimento de nós

    Suporta uma ampla variedade de tipos de nós e motores de computação para processamento e análise de dados flexíveis.

    • Motores de computação: Integra-se de forma transparente a motores de computação de big data como MaxCompute, EMR, Hologres e Flink, além de serviços de computação de IA como o PAI.

    • Tipos de nós: Oferece Data Integration, SQL, Python, Shell, Notebook, nós de modelos grandes e vários nós interativos de IA para atender a diversas necessidades, como sincronização, limpeza, processamento de dados e treinamento de IA.

    Para mais informações, consulte Compute engines e Node Development Overview.

    Agendamento de nós

    Fornece agendamento automatizado flexível para garantir a execução das tarefas no prazo e na ordem correta.

    • Mecanismo de agendamento: Suporta agendamento periódico baseado em tempo (por ano, mês, dia, hora, minuto ou segundo) e agendamento orientado por eventos ou acionado por OpenAPI.

    • Dependências de agendamento: Suporta dependências complexas no mesmo ciclo, entre ciclos, entre fluxos de trabalho e entre workspaces, bem como dependências entre tarefas com diferentes agendamentos e tipos.

    • Políticas de agendamento: Suporta políticas avançadas, como intervalos de tempo efetivos, nova execução em caso de falha, execuções simuladas e congelamento.

    • Parâmetros de agendamento: Suporta parâmetros de fluxo de trabalho, parâmetros de workspace, parâmetros de contexto e parâmetros de nó.

      Para mais informações, consulte Schedule settings.

    Gerenciamento de recursos de desenvolvimento

    Fornece gerenciamento unificado de ativos usados no desenvolvimento de dados.

    • Catálogo de Dados: Oferece recursos de gerenciamento de metadados de lakehouse, com suporte à criação, visualização e gerenciamento de tabelas de dados.

    • Funções e recursos: Suporta o gerenciamento e a referência de UDFs e vários arquivos de recursos (como arquivos JAR e Python).

    • Conjuntos de dados: Suporta a montagem e o gerenciamento de conjuntos de dados de armazenamentos externos, como OSS e NAS.

      Para mais informações, consulte Data Catalog Management, Functions and resources e Datasets.

    Controle de qualidade

    Fornece mecanismos de controle integrados para padronizar os processos de produção de dados e garantir a precisão dos dados de saída.

    • Revisão de código: Suporta revisão manual de código antes da implantação da tarefa para garantir a qualidade do código.

    • Controle de processo: Combina smoke tests, verificações de itens de governança e extensões para realizar validações automatizadas durante o envio e a implantação de tarefas.

    • Data Quality: Associa regras de monitoramento de qualidade de dados acionadas automaticamente após a execução da tarefa para detectar problemas de dados o mais cedo possível.

      Para mais informações, consulte Code review, Process control, Extensions e Data quality rules configuration.

    Abertura e extensibilidade

    Fornece interfaces abertas e pontos de extensão para integração com sistemas externos e desenvolvimento personalizado.

    • OpenAPI: Fornece interfaces de api abrangentes para gerenciar e operar tarefas de desenvolvimento de forma programática.

    • Mensagens de eventos: Suporta a assinatura de mensagens de eventos de desenvolvimento de dados para integração com sistemas externos.

      Para mais informações, consulte Open API, Open Event e Extensions.

    Faturamento do Data Studio

    • Custos faturados pelo DataWorks (aparecem na sua fatura do DataWorks)

      • Taxas de grupo de recursos: O desenvolvimento de nós e os ambientes de desenvolvimento individual usam um grupo de recursos. Dependendo do tipo de grupo de recursos, há cobrança por um serverless resource group ou um exclusive resource group for scheduling.

        Ao usar o large model services , também há cobrança por um grupo de recursos serverless.

      • Taxas de agendamento de tarefas: Se uma tarefa for implantada no ambiente de produção para execuções agendadas, haverá cobrança do task scheduling fees (ao usar um grupo de recursos serverless) ou de um exclusive resource group for scheduling (ao usar um grupo de recursos exclusivo).

      • Taxas do Data Quality: Se você configurar o monitoramento de qualidade para uma tarefa periódica e uma instância for acionada com sucesso, haverá cobrança do Data Quality instance fees.

      • Taxas de linha de base inteligente: Se você configurar uma linha de base inteligente para uma tarefa periódica, haverá cobrança do intelligent baseline instance fees para cada linha de base inteligente ativada.

      • Taxas de SMS e chamadas de alerta: Se você configurar alertas de monitoramento para uma tarefa periódica e um alerta por SMS ou telefone for acionado, haverá cobrança do alert SMS and phone call fees.

        Nota

        Módulos envolvidos: Data Studio, Data Quality e Operation Center.

    • Custos relacionados não faturados pelo DataWorks (não aparecem na sua fatura do DataWorks)

      Ao executar tarefas de nós de desenvolvimento de dados, o DataWorks não fatura as taxas de motor de computação e armazenamento relacionadas, como as taxas de armazenamento do OSS.

    Primeiros passos com o Data Studio

    Crie ou ative o novo Data Studio

    • Ao criar um workspace, selecione Use Data Studio (New Version). Para mais informações, consulte Create a workspace.

    • No Data Studio legado, clique em Upgrade to New Version na parte superior da página DataStudio e siga as instruções na tela para migrar seus dados para o novo Data Studio. Para mais informações, consulte Upgrade to the new Data Studio.

    Abrir o novo Data Studio

    acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

    Perguntas frequentes

    • P: Como diferenciar o novo Data Studio do Data Studio legado?

      R: Os dois possuem estilos de página completamente diferentes. O novo Data Studio apresenta uma barra superior com tema escuro e um diretório em estrutura de árvore no lado esquerdo, enquanto o Data Studio legado usa um fundo claro e um layout de painel tradicional.

    • P: Após atualizar para o novo Data Studio, posso reverter para o Data Studio legado?

      R: A atualização do Data Studio legado para a nova versão é uma operação irreversível. Após a conclusão da atualização, não é possível reverter para o Data Studio legado. Antes de atualizar, recomendamos criar primeiro um workspace com o novo Data Studio ativado para testes, a fim de garantir o atendimento aos seus requisitos de negócios. Além disso, os dados no novo Data Studio e no Data Studio legado são independentes entre si.

    • P: Por que não vejo a opção Use Data Studio (New Version) ao criar um workspace?

      R: Se esta opção não estiver disponível na página, seu workspace já possui o novo Data Studio ativado por padrão.

      Importante

      Caso encontre algum problema ao usar o novo Data Studio, participe do Grupo de Suporte à Atualização do DataWorks Data Studio no DingTalk para obter assistência.