Os datasets do DataWorks permitem gerenciar dados não estruturados, como imagens e documentos. Crie datasets com armazenamento OSS ou NAS e controle o versionamento dos dados.
Visão geral
Os datasets permitem ler e gravar dados armazenados no OSS e no NAS diretamente pelo DataWorks. Crie múltiplas versões de um dataset, acompanhe alterações e reverta para uma versão anterior quando necessário.
Precauções
O recurso de datasets está em fase beta. As funcionalidades finais e a estabilidade podem sofrer alterações.
Faturamento
O uso de datasets no DataWorks é gratuito. No entanto, o armazenamento no OSS e no NAS gera custos separados de armazenamento e rede (Faturamento do OSS, Faturamento do NAS).
Criar um dataset
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Na página do Data Map, clique em Data Catalog (
) no painel de navegação à esquerda. Em seguida, em Catalogs, clique em DataSet.Clique no workspace desejado. Na página de lista de datasets, clique em Create Dataset e configure os parâmetros descritos abaixo.
Se um administrador tiver configurado atributos personalizados para o tipo de dataset, defina valores como domínio de negócios e nível de sensibilidade dos dados durante a criação. Os atributos personalizados podem herdar valores definidos no nível do workspace.
Classe de armazenamento: OSS
-
Dataset Configuration:
Item de configuração
Descrição
Classe de armazenamento
OSS
Tipo de conteúdo
Opcional. Selecione o tipo de dado. Padrão: General.
-
Import Configuration:
Item de configuração
Descrição
Caminho do OSS
Caminho da pasta do OSS a ser montada.
NotaCertifique-se de ter as permissões necessárias no Bucket do OSS.
Caminho de montagem padrão
Caminho de montagem da pasta do OSS no DataWorks. Padrão:
/mnt/data/. Altere esse caminho conforme necessário.
Classe de armazenamento: NAS
-
Dataset Configuration:
Item de configuração
Descrição
Classe de armazenamento
Selecione File Storage (General-purpose NAS) ou File Storage (Extreme NAS file systems)
Tipo de conteúdo
Opcional. Selecione o tipo de dado. Padrão: General.
-
Import Configuration:
Item de configuração
Descrição
Sistema de arquivos
Selecione um sistema de arquivos NAS na região atual, associado à sua conta Alibaba Cloud.
Destino de montagem do sistema de arquivos
Configure um destino de montagem para o sistema de arquivos NAS.
ImportanteA VPC do destino de montagem deve estar conectada à VPC do grupo de recursos:
-
Utilize a mesma VPC tanto para o destino de montagem do NAS quanto para o grupo de recursos.
-
Em cenários com VPCs diferentes, siga as instruções da Visão geral para conectar a VPC do destino de montagem do NAS à VPC do grupo de recursos.
Caminho do sistema de arquivos
Caminho da pasta do NAS a ser montada. Padrão:
/. O caminho especificado deve existir no sistema de arquivos NAS.Caminho de montagem padrão
Caminho de montagem da pasta do NAS no DataWorks. Padrão:
/mnt/data/. Altere esse caminho conforme necessário. -
Visualizar detalhes do dataset
Esta seção aborda o cenário "Quero consultar um dataset existente", descrevendo como acessar a página de detalhes e quais informações estão disponíveis nela. Para modificar um dataset (criar versão, excluir, etc.), consulte Gerenciar datasets.
Para acessar a página de detalhes: em , abra a lista de datasets do workspace desejado e clique em Details na coluna Actions do dataset correspondente.
A página de detalhes possui dois layouts. Ao abri-la pelo painel Data Catalog (padrão), o canto superior direito exibe os botões Create Version e Delete Dataset. Quando acessada diretamente por uma busca global ou link externo profundo (rota de detalhes independente), o cabeçalho da página também mostra o botão Manage, que leva de volta ao painel de gerenciamento desse dataset no Data Catalog. O conteúdo das abas permanece igual em ambos os layouts.
A página de detalhes contém as seguintes abas:
Properties: Exibe o proprietário do dataset, data de criação, workspace associado, descrição e outros campos principais. Caso o administrador tenha configurado atributos personalizados, os cartões correspondentes também aparecem (para mais informações, consulte Atributos personalizados; os valores desses atributos podem ser herdados do workspace). Esta aba também inclui um bloco Dataset Version, que lista todas as versões do dataset e oferece opções para alternar entre versões ou acessar o console do OSS e visualizar os dados originais (consulte Visualizar dados do dataset).
-
View Data: Pré-visualize uma amostra dos dados com base no tipo de armazenamento e no tipo de conteúdo do dataset, sem sair do DataWorks.
NotaEsta aba fica visível apenas para datasets cujo tipo de armazenamento seja Object Storage (OSS) e cujo tipo de conteúdo seja compatível com a lista de pré-visualização da plataforma. Para datasets com outros tipos de armazenamento ou conteúdo, a aba não é exibida; utilize a opção Visualizar dados do dataset para acessar o console do OSS e inspecionar os arquivos originais.
Lineage Information: Visualize a linhagem entre o dataset e tabelas upstream ou tarefas downstream.
Usage Notes: Mantenha e consulte as notas de uso do dataset; possui paridade de funcionalidades com a aba Notes nos detalhes de tabelas.
Gerenciar datasets
Em , acesse a lista de datasets do workspace desejado. Na coluna Actions do dataset alvo, clique em Details. A página de detalhes exibe as informações de Overview e Dataset Version, além de permitir as seguintes operações:
Create Version: Clique em Create Version no canto superior direito para personalizar o OSS Path ou a NAS File System Configuration e definir o Default Mount Path.
Excluir dataset: Clique em Delete no canto superior direito.
Visualizar dados do dataset: Disponível apenas para datasets no OSS. Na seção Dataset Version, selecione a versão desejada e clique em View in OSS para visualizar o caminho de armazenamento correspondente no console do OSS.
Excluir versão: Na seção Dataset Version, selecione a versão e clique em Delete.
A exclusão de um dataset ou versão não remove os arquivos originais, mas a ação é irreversível dentro do DataWorks. Proceda com cautela.
Utilizar um dataset
Utilize datasets no Data Studio com nós Shell, nós Python, desenvolvimento em Notebook ou no seu ambiente de desenvolvimento pessoal.