Tablestore O recurso de envio para data lake permite fazer backups completos ou enviar dados em tempo real para um data lake no Object Storage Service (OSS). Essa funcionalidade oferece armazenamento de baixo custo para dados históricos e viabiliza análises de dados offline e quase em tempo real em grande escala.
Cenários
O envio para data lake é adequado para os seguintes cenários:
-
Camadas de dados
Combine o envio para data lake com o recurso time to live do Tablestore para armazenar dados completos no OSS de forma rápida e econômica. O Tablestore mantém a capacidade de executar consultas e análises com baixa latência nos dados quentes.
-
Backup completo de dados
Esse mecanismo entrega automaticamente todos os dados das tabelas do Tablestore para um bucket do OSS, garantindo o backup e o arquivamento das informações.
-
Análise de dados em tempo real em grande escala
Os dados incrementais do Tablestore são enviados para o OSS quase em tempo real, com gravações a cada dois minutos. É possível particionar esses dados por hora do sistema e armazená-los no formato colunar Parquet. Aproveite a alta largura de banda de leitura do OSS e a otimização do formato colunar para executar análises de dados eficientes e em tempo real.
Recursos
Os principais recursos do envio para data lake incluem:
Extração automática de dados completos e incrementais do Tablestore. A gravação no OSS para armazenamento persistente ocorre assim que os dados atingem um tamanho específico ou após um intervalo de dois minutos.
Configure entre três modos de envio: incremental, completo ou completo e incremental. Todos os dados enviados são armazenados no formato colunar Parquet.
Monitoramento do checkpoint de sincronização para envios em tempo real. O envio para data lake fornece a API DescribeDeliveryTask, que retorna o checkpoint dos dados em tempo real entregues com sucesso pela tarefa.
Principais vantagens
-
Facilidade de uso
Basta uma configuração simples no console para estabelecer o envio automático e totalmente gerenciado de dados do Tablestore para o OSS. Não há necessidade de monitoramento ou operações e manutenção (O&M). A tarefa de envio opera de forma estável dentro do Acordo de Nível de service (SLA) e escala conforme o throughput.
-
Integração de dados completos e incrementais
O recurso oferece capacidades integradas para envio de dados completos e incrementais. As tarefas de envio incremental proporcionam uma experiência quase em tempo real ao extrair continuamente novos dados, armazená-los em cache por dois minutos e gravá-los no OSS.
-
Integração perfeita com o ecossistema de computação
Os dados enviados seguem padrões open source, utilizam o formato colunar Parquet e respeitam as convenções de nomenclatura do Hive. Utilize E-MapReduce para analisar diretamente os dados no OSS por meio de tabelas externas.
-
Experiência unificada de armazenamento e acesso em camadas
Após o envio dos dados para o OSS, o Tablestore fornece acesso em camadas aos dados por meio de tabelas de dados, tabelas de índice e dos próprios dados no OSS. Essa estrutura atende às necessidades analíticas de diversos cenários.
Observações
O envio para data lake está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou) e China (Shenzhen).
Fluxo de trabalho
Crie uma tarefa de envio para entregar dados do Tablestore ao OSS. Para mais informações, consulte Ship data to OSS using the console e Ship data to OSS using the SDK.
Use o EMR para analisar os dados do Tablestore armazenados no OSS. Para mais informações, consulte Analyze data using EMR.