O OSS Tables é um service de armazenamento de data lake estruturado oferecido pelo Alibaba Cloud Object Storage Service (OSS). Baseado no formato de tabela aberta Apache Iceberg, o OSS Tables fornece armazenamento de dados estruturados de baixo custo e alto desempenho para cenários de gerenciamento de dados de treinamento de IA e análise OLAP. O service conta com um mecanismo integrado de manutenção automatizada de dados (compactação, gerenciamento de snapshots e limpeza de arquivos não referenciados), proporcionando uma experiência de data lake serverless sem necessidade de operações manuais. O DataWorks Data Integration permite gravar dados em fontes de dados do OSS Tables. Este tópico descreve como utilizar a source de dados do OSS Tables.
Limitações
|
Item |
Descrição |
|
Grupo de recursos |
Compatível apenas com grupos de recursos Serverless. |
|
Direção de leitura/gravação |
Permite somente operações de gravação como destino. |
|
Modo de sincronização |
Aceita apenas Hive como origem, com gravação de dados exclusivamente em modo offline em lote. |
Crie uma source de dados
Antes de começar, verifique se as seguintes condições foram atendidas:
O service Alibaba Cloud OSS Tables está ativado, e já existem um bucket e um namespace do OSS Tables criados.
Um workspace do DataWorks está disponível e você tem acesso ao Management Center do workspace.
Um par de AccessKey ou uma função do RAM está disponível para autenticação de acesso.
Execute os passos a seguir:
Faça login no console do DataWorks e selecione a região desejada na barra de navegação superior.
No painel de navegação à esquerda, escolha . Na lista suspensa, selecione o workspace desejado e clique em Enter Management Center.
No painel de navegação à esquerda da página do Management Center, clique em Data Sources.
Na página Data Sources, clique em Add Data Source.
Na caixa de diálogo Add Data Source, pesquise e selecione OSS Tables.
-
Na página de configuração da source de dados do OSS Tables, configure os parâmetros descritos na tabela abaixo.
Parâmetro
Descrição
Data Source Name
Nome da fonte de dados. Deve ser único dentro do workspace e pode conter apenas letras, dígitos e sublinhados (_). Não é permitido iniciar com dígito ou sublinhado.
Configuration Mode
Apenas o Connection String Mode é compatível.
Endpoint
Selecione o endpoint da instância do mecanismo do OSS Tables na lista suspensa.
Access Identity
Escolha o método de autenticação: AccessKey Pair (autenticação via AccessKey ID e AccessKey Secret) ou Alibaba Cloud RAM Role (autenticação por meio de uma função do RAM).
Bucket Name
Insira o nome do bucket do OSS Tables.
Namespace
Insira o namespace do OSS Tables.
-
Após configure os parâmetros, clique em Test Connectivity na seção de configuração de conexão para verifique a conectividade de rede entre a source de dados e o grupo de recursos Serverless.
Se o teste de conectividade for bem-sucedido, clique em Complete para crie a source de dados.
Caso o teste falhe, consulte Conectividade de rede para solucionar problemas de rede.
Desenvolver tarefas de sincronização de dados
Sincronização offline em lote de bancos de dados inteiros
Origem compatível: Hive.
Guia de configuração: Sincronizar dados de um banco de dados inteiro para o OSS Tables no modo offline em lote.