DataWorks:Sincronização de alto desempenho com o formato de armazenamento colunar Arrow

Cenário 1: Migração de big data

Desafio: Migrar centenas de terabytes de dados do Hive para o MaxCompute consome muito tempo e atrasa o lançamento de serviços. Solução: Ative a sincronização de alto desempenho com Apache Arrow para transferir dados diretamente em formato colunar e evitar sobrecarga de conversão. Resultado: O tempo de migração cai de horas para minutos, com aumento de desempenho superior a 10x.

Cenário 2: Integração de fontes de dados heterogêneas e arquitetura de data lakehouse

Os dados fluem de forma livre e eficiente entre o data lake (como o ecossistema Hive) e o data warehouse (Hologres/MaxCompute). O valor central reside no uso de uma única cópia dos dados para múltiplas finalidades, possibilitando a sinergia entre lake e warehouse.

Arquitetura tradicional de sincronização com armazenamento por linhas

Na arquitetura tradicional, os dados são processados linha por linha. Mesmo que a source e o destino utilizem formato de armazenamento colunar, como Parquet ou ORC, o mecanismo de sincronização converte os dados em objetos Record genéricos baseados em linhas. Esse formato foi projetado para armazenamento de linha única. Cada objeto Record define várias colunas (Columns), e cada Column contém o valor (Value) daquela coluna na linha atual. Considere, por exemplo, a sincronização de dados de armazenamento colunar do MaxCompute (ODPS) para o MaxCompute (ODPS):

Esse processo inclui as etapas abaixo e gera a seguinte sobrecarga de desempenho:

1. Decodificação pelo Reader: O reader lê dados colunares da source, como o MaxCompute, decodifica e converte linha por linha em objetos Record internos do framework.

2. Transferência pelo framework: O framework transfere uma grande quantidade de objetos Record por meio de uma fila em memória.

3. Codificação pelo Writer: O writer recupera os objetos Record do framework e os codifica no formato colunar exigido pelo destino antes da gravação.

Esse fluxo envolve múltiplas conversões de formato de dados, serialização/desserialização e criação frequente de objetos. Consequentemente, há alto consumo de recursos de CPU e memória, coleta de lixo (GC) frequente e limitação do throughput geral.

Arquitetura de sincronização com armazenamento colunar Arrow

A nova arquitetura baseada em Arrow implementa um fluxo de dados colunares de ponta a ponta. Os dados mantêm seu formato de armazenamento colunar durante todo o pipeline de sincronização, o que evita a sobrecarga da conversão baseada em linhas.

A introdução da estrutura de dados ArrowTabularRecord otimiza o processo de sincronização da seguinte forma:

1. Leitura direta: O reader usa a API Tunnel Arrow do MaxCompute para ler dados colunares diretamente da source e os encapsula em objetos ArrowTabularRecord para entrega em lote ao framework.

2. Transferência pelo framework: O framework transfere diretamente o ArrowTabularRecord, que contém dados binários colunares.

3. Gravação direta: O writer utiliza a API Tunnel Arrow para recuperar dados binários formatados em Arrow diretamente do ArrowTabularRecord. Em seguida, emprega tecnologia de cópia zero para transferir os dados ao destino, como um Tunnel Server, sem nova serialização.

Essa arquitetura fornece suporte nativo ao Arrow e elimina a etapa intermediária de conversão baseada em linhas. Assim, alcança-se uma "sincronização em curto-circuito" de ponta a ponta para armazenamentos colunares, melhorando expressivamente o throughput e reduzindo a latência.

Método 1: Sincronização offline de banco de dados completo

Ao utilizar uma tarefa de sincronização offline de banco de dados completo, como em uma migração do Hive para o MaxCompute, o sistema detecta automaticamente os tipos de campo das tabelas de source e destino e ativa a sincronização de alto desempenho com Apache Arrow. Nenhuma configuração manual é necessária. Visualize essa definição no editor de tarefas navegando até Advanced Configuration > Advanced Parameters > Runtime Config.

Nas configurações de Runtime Config, localize o parâmetro Enable Arrow short-circuit transfer. As opções disponíveis incluem Auto (padrão), Force enable e Force disable.

Método 2: Sincronização offline de tabela única

Ao configure uma tarefa de sincronização offline de tabela única, ative manualmente esse recurso no editor de código adicionando "useArrow": true à configuração de parameter tanto do Reader quanto do Writer.

Pré-requisito: Para ativar esse recurso, as definições de tipo de coluna das tabelas de source e destino devem ser idênticas, pois esse modo ignora a etapa de conversão de tipo e transfere os dados diretamente na memória.

Veja abaixo um exemplo de configuração para sincronizar dados do Hive (Reader) para o MaxCompute (Writer):

{
  "type": "job",
  "steps": [
    {
      "stepType": "hive",
      "parameter": {
        "useArrow": true,  
        "datasource": "my_datasource",
        "column": [
          "col1",
          "col2"
        ],
        "readMode": "hdfs",
        "table": "table"
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "odps",
      "parameter": {
        "useArrow": true,  
        "truncate": false,
        "datasource": "odps_test",
        "column": [
          "col1",
          "col2"
        ],
        "table": "table"
      },
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "speed": {
      "concurrent": 3
    }
  }
}

Cenário 1: Sincronização em curto-circuito de armazenamento colunar do MaxCompute (Arrow → Arrow)

Cenário 2: Sincronização Hologres → MaxCompute

Cenário 3: Sincronização Parquet/ORC → MaxCompute

Parquet e ORC são formatos de armazenamento colunar utilizados em sistemas de arquivos distribuídos, como HDFS e OSS.