DataWorks:Fonte de dados do Databricks

Notas de uso

• Limites

  • Grupo de recursos: o Databricks Reader oferece suporte apenas a Serverless resource groups. Configure Internet NAT gateway e um EIP para a VPC vinculada ao grupo de recursos.

  • Modo de leitura: a sincronização de dados oferece suporte apenas à leitura por meio de JDBC.

  • Tipo de catálogo e limites de recursos: para testar a conectividade da fonte de dados ou configurar uma tarefa de sincronização no modo assistente, o DataWorks usa databricks-sdk para chamar a API REST do Databricks, que oferece suporte apenas ao Unity Catalog. Se o seu catálogo, como hive_metastore, não for o Unity Catalog, esses recursos ficarão indisponíveis. Escolha uma das seguintes opções:

    • Opção 1 (recomendada): migrar para o Unity Catalog. O Databricks recomenda a migração dos seus dados e metadados para o Unity Catalog para usar todos os recursos do DataWorks. Para obter instruções, consulte Migrar para o Unity Catalog.

    • Opção 2: usar o modo de script diretamente. Após configurar a fonte de dados no DataWorks, ignore Test Connectivity e use script mode para desenvolver a tarefa de sincronização.

• Leituras simultâneas e consistência de dados

  O Databricks Reader usa splitPk para dividir os dados e iniciar tarefas simultâneas para uma sincronização mais rápida. Observe o seguinte:

  • As tarefas simultâneas não fazem parte da mesma transação de banco de dados e não começam exatamente ao mesmo tempo.

  • Se a fonte de dados ainda estiver recebendo gravações, as leituras simultâneas podem produzir um snapshot incompleto ou inconsistente.

  Soluções alternativas: limitações técnicas impedem um snapshot perfeitamente consistente em várias threads. Escolha uma destas abordagens com base na sua carga de trabalho:

  • Opção 1: use a sincronização de thread única sem divisão de dados (splitPk). Isso fornece consistência estrita, mas é mais lento.

  • Opção 2: mantenha a fonte de dados estática durante a sincronização, por exemplo, bloqueando a tabela, desativando temporariamente as gravações do aplicativo ou pausando a sincronização de réplicas. Isso é mais rápido, mas pode afetar o tráfego de produção.

• Codificação

  O Databricks Reader extrai dados com JDBC, que detecta e converte automaticamente as codificações entre bancos de dados. Você não precisa configurar a codificação manualmente.

• Sincronização incremental

  O Databricks Reader extrai dados ao executar uma instrução SELECT ... WHERE .... A sincronização incremental depende da construção da condição WHERE.

  1. Abordagem recomendada (campo de timestamp):

     1. Adicione um campo de timestamp, como modify_time, à tabela source.

     2. Sempre que o aplicativo inserir ou atualizar um registro, incluindo uma exclusão lógica, atualize também o campo de timestamp.

     3. Use o campo de timestamp na condição WHERE da tarefa para buscar alterações desde o último ponto de sincronização.

  2. Caso não compatível: se a tabela de negócios não tiver um campo que distinga registros inseridos ou atualizados, como um timestamp ou ID de incremento automático, o Databricks Reader não poderá sincronizar incrementalmente e deverá executar a sincronização completa.

Tipos de campo suportados

Para leituras offline, o Databricks Reader oferece suporte à maioria dos tipos do Databricks, mas alguns tipos não são compatíveis. Verifique os tipos dos seus campos.

A tabela a seguir lista as conversões de tipo suportadas pelo Databricks Reader.

Crie uma fonte de dados

Antes de desenvolver uma tarefa de sincronização de dados, crie a fonte de dados correspondente no DataWorks. Para o procedimento, consulte Data source configuration.As explicações dos parâmetros de configuração estão disponíveis na interface de configuração..

Desenvolva uma tarefa de sincronização de dados

Consulte os guias a seguir para obter pontos de entrada. Configure a tarefa de sincronização seguindo as etapas comuns indicadas.

Perguntas frequentes

• P: Uma leitura falha com [Databricks]JDBCDriver Error getting the data value from result set: Column13:[Databricks]JDBCDriver Error in fetching data rows: Timestamp Conversion has failed.

  R: Os valores TIMESTAMP do Databricks podem estar fora do intervalo suportado pelo Java Timestamp, causando um erro no driver JDBC. Modifique a configuração de column, por exemplo "column": ["CAST(col_timestamp AS STRING)"].

Apêndice: Script de exemplo e descrições de parâmetros

{
  "type": "job",
  "version": "2.0",
  "steps": [
    {
      "stepType": "databricks",
      "parameter": {
        "datasource": "databricks",
        "schema": "schema1",
        "table": "table1",
        "readMode": "jdbc",
        "where": "id>1",
        "splitPk": "id",
        "column": [
          "c1",
          "c2"
        ]
      },
      "name": "Reader",
      "category": "reader"
    },
    {
      "stepType": "stream",
      "parameter": {},
      "name": "Writer",
      "category": "writer"
    }
  ],
  "setting": {
    "errorLimit": {
      "record": "0"
    },
    "speed": {
      "concurrent": 1
    }
  }
}