O Data Integration do DataWorks permite sincronizar dados completos e incrementais do Tablestore para o Object Storage Service. Assim, você faz backup dos dados do Tablestore e pode utilizá-los no OSS.
Como funciona
O recurso de sincronização offline do Data Integration do DataWorks abstrai a sincronização entre diferentes origens e destinos de dados em um plug-in Reader, que lê dados da origem, e um plug-in Writer, que grava dados no destino. Isso permite definir a origem e o destino de dados e usá-los com parâmetros de agendamento do DataWorks para sincronizar dados completos ou incrementais da origem para o destino.
Ao sincronizar dados do Tablestore para o OSS, configure um plug-in Reader do Tablestore e o plug-in Writer do OSS para a tarefa de sincronização offline. Os itens a seguir descrevem as notas de uso dos plug-ins.
-
Plug-ins Reader do Tablestore
O plug-in Reader necessário varia conforme o modo de sincronização de dados escolhido. A tabela a seguir descreve os mapeamentos entre os modos de sincronização de dados e os plug-ins Reader do Tablestore.
Modo de sincronização
Plug-in Reader do Tablestore
Descrição do plug-in
Exportação completa
Tablestore Reader
Lê dados das tabelas do Tablestore. É possível especificar o intervalo de dados a extrair para realizar uma extração incremental. Para obter mais informações, consulte Fonte de dados do Tablestore.
Sincronização incremental
OTSStream Reader
Exporta dados das tabelas do Tablestore no modo incremental. Para obter mais informações, consulte Tablestore Stream.
-
Plug-in Writer do OSS
O DataWorks utiliza o plug-in Writer do OSS para gravar dados no OSS, independentemente do uso do modo de exportação completa ou sincronização incremental. Para obter mais informações, consulte OSS.
Modos de sincronização
Configure filtros de dados e use parâmetros de agendamento nas tarefas de sincronização offline para determinar se deve sincronizar dados completos ou incrementais. A tabela a seguir descreve os modos de sincronização.
|
Modo de sincronização |
Descrição |
|
Exportação completa |
Neste modo, todos os dados do Tablestore são exportados para o OSS de uma só vez. Ao usar este modo, execute a tarefa de sincronização offline apenas uma vez. Não é necessário configurar parâmetros de agendamento para a tarefa. |
|
Sincronização incremental |
Dados novos e modificados no Tablestore são sincronizados periodicamente para o OSS neste modo. Para utilizar este modo, configure parâmetros de agendamento na tarefa de sincronização offline. Assim, a sincronização dos dados incrementais ocorre periodicamente. |
Cenários
Este recurso é ideal quando você precisa fazer backup dos dados do Tablestore com custos reduzidos ou deseja exportar dados do Tablestore como arquivos para dispositivos locais.
Procedimento
O procedimento varia conforme o modo de sincronização utilizado. Siga o procedimento específico para o seu modo de sincronização. Para obter mais informações, consulte Exportar dados completos para o OSS e Sincronizar dados incrementais para o OSS.
Procedimento de exportação completa
A tabela a seguir descreve as principais etapas do modo de exportação completa.
|
Etapa |
Operação |
Descrição |
|
1 |
Adicionar uma fonte de dados |
Especifique as informações da instância da tabela de onde você deseja sincronizar os dados. A fonte de dados é o Tablestore. |
|
2 |
Adicionar um destino |
Especifique as informações do bucket do OSS para o qual você deseja sincronizar os dados. O destino é o OSS. |
|
3 |
Criar um nó de tarefa offline |
As operações de sincronização offline exigem nós de tarefa offline. Crie um nó de tarefa offline para cada operação de sincronização. |
|
4 |
Configurar e iniciar uma tarefa de sincronização offline |
O Data Integration do DataWorks oferece o modo assistente e o modo script para configurar tarefas de sincronização offline. Selecione o modo adequado às suas necessidades de negócios.
|
|
5 |
Verificar resultados da migração |
Após exportar os dados, visualize os dados importados no console do OSS. |
Procedimento de sincronização incremental
A tabela a seguir descreve as principais etapas do modo de sincronização incremental.
|
Etapa |
Operação |
Descrição |
|
1 |
Adicionar uma fonte de dados |
Especifique as informações da instância da tabela de onde você deseja sincronizar os dados. A fonte de dados é o Tablestore. Se já existir uma fonte de dados do Tablestore que atenda às suas necessidades de negócios, ignore esta etapa. |
|
2 |
Adicionar um destino |
Especifique as informações do bucket do OSS para o qual você deseja sincronizar os dados. O destino é o OSS. Se já existir uma fonte de dados do OSS que atenda às suas necessidades de negócios, ignore esta etapa. |
|
3 |
Criar um nó de tarefa offline |
As operações de sincronização offline exigem nós de tarefa offline. Crie um nó de tarefa offline para cada operação de sincronização. |
|
4 |
Configurar e iniciar uma tarefa de sincronização offline |
O Data Integration do DataWorks oferece o modo assistente e o modo script para configurar tarefas de sincronização offline. Selecione o modo adequado às suas necessidades de negócios.
|
|
5 |
Configurar parâmetros de agendamento |
Configure o horário de execução, a propriedade de reexecução e as dependências de agendamento da tarefa de sincronização para permitir sua execução periódica. |
|
6 |
Depurar código e enviar a tarefa |
Após depurar com sucesso, envie a tarefa de sincronização offline para o servidor para que ela seja executada periodicamente com base nas propriedades de agendamento. |
|
7 |
Visualizar resultados da execução da tarefa |
Visualize o status de execução da tarefa no console do DataWorks e verifique os resultados da sincronização de dados no console do OSS. |
Regras de faturamento
-
Ao sincronizar dados do Tablestore para o OSS, o Tablestore cobra pela leitura de dados com base no número de unidades de capacidade (CUs) consumidas. As cobranças de CUs de leitura medidas e CUs de leitura reservadas são separadas. O consumo de CUs de leitura medidas ou reservadas depende do tipo de instância acessada. Para obter mais informações, consulte Visão geral do faturamento.
NotaPara obter mais informações sobre tipos de instância e CUs, consulte Instâncias e Throughput de leitura/gravação.
Após sincronizar os dados para o OSS, o OSS cobra pelo armazenamento dos arquivos de dados com base no uso e na duração do armazenamento. Se você baixe objetos do OSS para dispositivos locais, o OSS cobrará pelo número de solicitações de API GET e pela quantidade de tráfego de saída pela Internet. Para obter mais informações, consulte Visão geral do faturamento do OSS.