Crie e gerencie conjuntos de dados no DataWorks - DataWorks: Central de Documentação do Alibaba Cloud

Visão geral

Os conjuntos de dados permitem ler e gravar dados armazenados no OSS e no NAS diretamente no DataWorks. É possível criar várias versões de um conjunto de dados, acompanhar alterações ao longo do tempo e reverter para uma versão anterior, se necessário.

Faturamento

O recurso de conjuntos de dados do DataWorks é gratuito. O armazenamento no OSS e no NAS gera cobranças separadas de armazenamento e de rede (OSS billing, NAS billing).

Crie um conjunto de dados

Acesse o console do DataWorks. Na região de destino, clique em Data Governance > Data Map no painel de navegação à esquerda. Na página que abrir, clique em Go to Data Map.
Na página do Data Map, clique em Data Catalog () no painel de navegação à esquerda. Certifique-se de estar na aba Default Directory da página do Data Catalog. Em seguida, em Catalogs, clique em DataSet.
Clique em um espaço de trabalho de destino. Na página de lista de conjuntos de dados, clique em Create Dataset e configure as configurações descritas abaixo.

Nota

Caso um administrador tenha configurado custom attributes para o tipo de conjunto de dados, defina valores como domínio de negócios e nível de sensibilidade dos dados na criação do conjunto de dados. Os atributos personalizados podem herdar valores no nível do espaço de trabalho.

Na criação de uma nova versão, o conjunto de dados herda os valores dos atributos personalizados e não é possível modificá-los na página de criação da versão. Para alterá-los, edite primeiro os atributos personalizados do conjunto de dados.

Na etapa Dataset Configuration, selecione um Storage Type; a etapa Import Configuration exibe campos específicos para esse tipo. A tabela a seguir lista os tipos de armazenamento disponíveis; consulte a subseção correspondente para obter detalhes sobre os campos.

Tipo de armazenamento	Caso de uso típico	Disponibilidade
Object Storage (OSS)	Monte uma pasta em um bucket do OSS para que os nós de desenvolvimento de dados leiam e gravem dados não estruturados.	Disponível por padrão.
Object Storage (COS)	Monte um diretório no COS do Tencent Cloud, reutilizando uma fonte de dados do COS já registrada.	Disponível apenas quando o espaço de trabalho atual possui pelo menos uma fonte de dados do COS registrada.
File Storage NAS (General-purpose / Extreme)	Monte um subcaminho de um sistema de arquivos NAS do Alibaba Cloud. Indicado para cenários que exigem acesso compartilhado ou leituras e gravações simultâneas entre várias tarefas.	Disponível por padrão. O NAS de uso geral e o extremo compartilham o mesmo formulário; a seleção efetiva do sistema de arquivos determina a variante.
DLF Lance	Monte uma tabela Lance residente em um catálogo Paimon sob uma fonte de dados DLF. O registro ocorre na granularidade da tabela.	Requer uma fonte de dados DLF no espaço de trabalho atual com pelo menos um catálogo Paimon.

Tipo de armazenamento: Object Storage (OSS)

Dataset Configuration:

Item de configuração	Descrição
Tipo de armazenamento	Object Storage (OSS).
Tipo de conteúdo	Opcional. Selecione o tipo de dados. Padrão: General.

Import Configuration:

Item de configuração	Descrição
Caminho do OSS	Caminho da pasta do OSS para montagem. O sistema extrai o bucket e o endpoint do caminho automaticamente; nenhum campo separado é necessário. Nota Certifique-se de ter as OSS Bucket permissions necessárias.
Caminho de montagem padrão	Caminho de montagem para a pasta do OSS no DataWorks. Padrão: `/mnt/data/`. É possível alterar o caminho de montagem; um caminho personalizado deve começar com `/mnt/`.

Tipo de armazenamento: Object Storage (COS)

Esta opção aparece no menu suspenso Storage Type apenas quando o espaço de trabalho atual possui pelo menos uma fonte de dados do COS registrada. Se o COS não estiver listado, registre e vincule uma fonte de dados do COS ao espaço de trabalho primeiro.

Dataset Configuration:

Item de configuração	Descrição
Tipo de armazenamento	Object Storage (COS).
Tipo de conteúdo	Opcional. Selecione o tipo de dados. Padrão: General.

Import Configuration:

Item de configuração	Descrição
Fonte de dados do COS	Obrigatório. Selecione uma fonte de dados do COS já registrada no espaço de trabalho atual. O menu suspenso oferece suporte à pesquisa aproximada pelo nome da fonte de dados e exibe o ID da fonte de dados para cada entrada. Se nenhuma fonte de dados estiver disponível, use o link Crie fonte de dados no menu suspenso e crie uma nova.
Caminho do COS	Obrigatório. Insira manualmente o caminho do diretório do COS para montagem. Certifique-se de que a conta possua permissões de leitura e gravação para o caminho.

Nota

Os conjuntos de dados do COS não suportam um caminho de montagem padrão personalizado. Portanto, o formulário de criação não exibe a etapa Application Configuration.

Tipo de armazenamento: File Storage NAS (General-purpose / Extreme)

O NAS de uso geral e o NAS extremo compartilham o mesmo formulário; apenas os sistemas de arquivos exibidos no menu suspenso File system são diferentes:

Selecione File Storage (General-purpose NAS) como o Storage Type; o menu suspenso File system lista apenas sistemas NAS de uso geral e o File system path padrão é o diretório raiz /.
Selecione File Storage (Extreme NAS) como o Storage Type; o menu suspenso File system lista apenas sistemas de NAS extremo e o File system path padrão é /share/.

Dataset Configuration:

Item de configuração	Descrição
Tipo de armazenamento	Selecione File Storage (General-purpose NAS) ou File Storage (Extreme NAS file systems).
Tipo de conteúdo	Opcional. Selecione o tipo de dados. Padrão: General.

Import Configuration:

Item de configuração	Descrição
Sistema de arquivos	Obrigatório. Selecione um sistema de arquivos NAS na região atual na sua conta do Alibaba Cloud. O sistema filtra automaticamente o menu suspenso com base no Storage Type selecionado (uso geral ou extremo). Não há suporte para sistemas de arquivos que usam o protocolo SMB.
Destino de montagem do sistema de arquivos	Obrigatório. Configure um mount target para o sistema de arquivos NAS. Importante A VPC do destino de montagem precisa se conectar à VPC do grupo de recursos: Use a mesma VPC para o destino de montagem do NAS e para o grupo de recursos. Para cenários entre VPCs, consulte a Overview para conectar a VPC do destino de montagem do NAS à VPC do grupo de recursos.
Caminho do sistema de arquivos	Obrigatório. Caminho da pasta do NAS para montagem. O valor padrão depende do Storage Type: o NAS de uso geral usa como padrão `/`, e o NAS extremo usa como padrão `/share/`. O caminho deve existir no sistema de arquivos NAS; caso contrário, o conjunto de dados falhará durante o uso.
Caminho de montagem padrão	Caminho de montagem para a pasta do NAS no DataWorks. Padrão: `/mnt/data/`. É possível alterar o caminho de montagem; um caminho personalizado deve começar com `/mnt/`.

Tipo de armazenamento: DLF Lance

O registro dos conjuntos de dados DLF Lance ocorre na granularidade da tabela. Antes de começar, registre uma fonte de dados DLF no espaço de trabalho atual e certifique-se de que a fonte DLF contenha pelo menos um catálogo Paimon e uma tabela Lance. Este tipo de armazenamento não exibe o campo Import format porque a importação opera por tabela, e não por diretório ou formato de arquivo.

Dataset Configuration:

Item de configuração	Descrição
Tipo de armazenamento	DLF Lance.
Tipo de conteúdo	Opcional. Selecione o tipo de dados. Padrão: General.

Import Configuration:

Item de configuração	Descrição
Nome do catálogo	Obrigatório. O menu suspenso lista apenas catálogos do tipo Paimon na fonte de dados DLF.
Nome do banco de dados	Obrigatório. O sistema preenche o menu suspenso com base no catálogo selecionado e o desativa até a escolha de um catálogo.
Nome da tabela Lance	Obrigatório. O menu suspenso lista apenas tabelas do tipo Lance no banco de dados selecionado.
Caminho de montagem padrão	Caminho de montagem para a tabela Lance no DataWorks. Padrão: `/mnt/data/`. É possível alterar o caminho de montagem; um caminho personalizado deve começar com `/mnt/`.

Visualize detalhes do conjunto de dados

Use esta seção para consultar um conjunto de dados existente. Esta seção descreve como abrir a página de detalhes do conjunto de dados e quais informações estão disponíveis. Modifique um conjunto de dados (crie uma versão, exclua e assim por diante) consultando Gerencie conjuntos de dados.

Para acessar a página de detalhes do conjunto de dados: em Data Catalog > DataSet, abra a lista de conjuntos de dados do espaço de trabalho de destino e clique em Details na coluna Actions do conjunto de dados de destino.

Nota

A página de detalhes possui dois layouts. Ao abrir a página pelo painel do Data Catalog (o padrão), o canto superior direito exibe os botões Crie versão e Exclua conjunto de dados. Ao abri-la diretamente a partir de um resultado de pesquisa global ou um link direto externo (a rota de detalhes independente), o cabeçalho da página também exibe um botão Manage que leva de volta ao painel de gerenciamento deste conjunto de dados no Data Catalog. O conteúdo das abas é o mesmo em ambos os layouts.

A página de detalhes contém as seguintes abas:

Properties: Exibe o proprietário do conjunto de dados, a hora de criação, o espaço de trabalho proprietário, a descrição e outros campos principais. Caso o administrador tenha configurado atributos personalizados, o sistema também exibe os cartões de atributos personalizados correspondentes (para mais informações, consulte Custom attributes; os valores dos atributos personalizados podem ser herdados do espaço de trabalho). Esta aba também incorpora um bloco Dataset Version que lista todas as versões do conjunto de dados e oferece opções para alternância de versão e acesso ao console do OSS e visualize os dados originais (consulte Visualize dados do conjunto de dados).
View Data: ative a visualização de dados de amostra com base no tipo de armazenamento e no tipo de conteúdo do conjunto de dados, sem sair do DataWorks.

Nota
Esta aba fica visível apenas para conjuntos de dados cujo tipo de armazenamento é Object Storage (OSS) e cujo tipo de conteúdo é suportado pela lista de visualização na plataforma. Para conjuntos de dados com outros tipos de armazenamento ou conteúdo, a aba não é exibida; use Visualize dados do conjunto de dados para acessar o console do OSS e inspecionar os arquivos originais.
Lineage Information: Visualize a linhagem entre o conjunto de dados e as tabelas upstream ou as tarefas downstream.
Usage Notes: Mantenha e leia as notas de uso do conjunto de dados, com os mesmos recursos da aba de notas dos detalhes da tabela.

Gerencie conjuntos de dados

Use esta seção e modifique um conjunto de dados existente. As operações estão organizadas por tarefa e são acionadas a partir do canto superior direito da página de detalhes do conjunto de dados (consulte Visualize detalhes do conjunto de dados) ou a partir do bloco Dataset Version na aba Properties.

Create Version (atualize para onde o conjunto de dados aponta):

No canto superior direito da página de detalhes do conjunto de dados, clique em Create Version para abrir a página de criação de versão. Na área Version Configuration, insira novamente o OSS Path ou a configuração do sistema de arquivos NAS (os campos exibidos dependem do tipo de armazenamento do conjunto de dados) e redefina o Default Mount Path. A área Dataset Configuration (nome, tipo de armazenamento, tipo de conteúdo, atributos personalizados e outros campos) fica somente leitura na criação de uma nova versão; para alterar esses valores, edite primeiro o próprio conjunto de dados.
Visualize dados do conjunto de dados (acessar um console externo):

Disponível apenas para conjuntos de dados cujo tipo de armazenamento é Object Storage (OSS). Na aba Properties, localize o bloco Dataset Version, selecione a versão de destino e clique em um botão View in OSS na área de operações. O sistema redireciona você para o console do OSS e o leva diretamente ao caminho de armazenamento dessa versão. Se o tipo de conteúdo do conjunto de dados suportar a visualização na plataforma, a área de operações exibirá, em vez disso, um botão Data View que abre a aba Data View e visualize os dados sem sair do DataWorks.
Exclua versão (revogar uma única versão):

Na aba Properties, no canto superior direito do bloco Dataset Version, selecione a versão de destino no menu suspenso e clique em Delete. O sistema exclui apenas a versão selecionada; o conjunto de dados é preservado e as outras versões permanecem acessíveis.
Exclua conjunto de dados (remover todo o conjunto de dados):

No canto superior direito da página de detalhes do conjunto de dados, clique em Delete e exclua o conjunto de dados e todas as suas versões.

Importante

A exclusão de um conjunto de dados ou uma versão remove apenas o registro do recurso de conjuntos de dados do DataWorks, mas não exclui os arquivos originais no OSS, no NAS ou em outro armazenamento subjacente. No entanto, não é possível desfazer a exclusão no DataWorks, portanto, proceda com cautela.

Usar um conjunto de dados

Use conjuntos de dados no Data Studio com Shell nodes, Python nodes, Notebook development ou no seu personal development environment.

Use a dataset.