DataWorks:Fonte de dados PostgreSQL

SHOW SERVER_VERSION;

Leitura e gravação offline

Leia dados de views.

• A fonte de dados PostgreSQL suporta autenticação baseada em senha, incluindo o método SCRAM-SHA-256. Se você alterar a senha ou o método de autenticação no banco de dados PostgreSQL, atualize a configuração da fonte de dados, teste a conexão novamente e execute manualmente as tarefas relacionadas para validar as alterações.

• PostgreSQL

• Se o nome de uma tabela ou coluna no PostgreSQL começar com um dígito, diferenciar maiúsculas de minúsculas ou incluir um hífen (-), envolva o nome entre aspas duplas (""). Caso contrário, o plugin do PostgreSQL não conseguirá ler ou gravar dados. Nos plugins PostgreSQL Reader e Writer, as aspas duplas ("") são uma palavra-chave JSON. Portanto, escape as aspas duplas com uma barra invertida (\). Por exemplo, se uma tabela for nomeada como 123Test, o nome escapado será \"123Test\".

  Nota

  • Escape tanto as aspas duplas de abertura quanto as de fechamento com uma barra invertida (\).

  • O modo assistente não suporta escape de caracteres. Mude para o modo script para realizar essa operação.

  O código a seguir mostra um exemplo de como escapar caracteres no modo script.

  "parameter": {
      "datasource": "abc",
      "column": [
          "id",
          "\"123Test\"", //Add escape characters
  ],
  "where": "",
  "splitPk": "id",
  "table": "public.wpw_test"
  },

• Não há suporte para atualização de dados em uma fonte de dados PostgreSQL com base em um índice exclusivo. Para atualizar dados, primeiro grave-os em uma tabela temporária e depois use a operação RENAME.

Leitura em tempo real

Os limites a seguir se aplicam a tarefas de sincronização em tempo real no Data Integration:

• O Data Integration oferece suporte especial para ADD COLUMN:

  • Restrição: Não combine uma operação ADD COLUMN com outras operações ADD COLUMN, DROP COLUMN ou outras instruções DDL em uma única transação.

    Importante

    Se você usar ADD COLUMN junto com outras operações, como DROP COLUMN、RENAME COLUMN ou outras operações ALTER COLUMN, a tarefa de sincronização de dados poderá falhar durante a execução.

  • Limitação: O sistema não reconhece operações DDL diferentes de ADD COLUMN.

• Não há suporte para ALTER TABLE/CREATE TABLE.

• Não há suporte para replicação de tabelas TEMPORARY, tabelas UNLOGGED e tabelas Hyper. O PostgreSQL não fornece um mecanismo para assinar a análise de logs WAL para esses tipos de tabelas.

• Não há suporte para replicação de Sequences (serial/bigserial/identity).

• Não há suporte para a operação TRUNCATE.

• Não há suporte para replicação de objetos grandes (Bytea).

• Não há suporte para replicação de views, materialized views e foreign tables.

• Quando o PostgreSQL é usado como origem para sincronização em tempo real de tabela única ou de banco de dados completo, apenas as tabelas para as quais a conta possui permissões de proprietário podem ser sincronizadas.

Preparação 1: Criar uma conta e configurar permissões

Planeje uma conta de login no banco de dados para as operações subsequentes. Essa conta deve ter as permissões REPLICATION、 LOGIN no banco de dados.

A sincronização em tempo real suporta apenas o mecanismo de replicação lógica. A replicação lógica utiliza um modelo de publicação e assinatura, no qual um ou mais assinantes subscrevem a uma ou mais publicações em um nó publicador. Os assinantes extraem dados das publicações às quais estão vinculados.

A replicação lógica de uma tabela geralmente começa com a captura de um snapshot dos dados no banco de dados publicador e sua cópia para o assinante. Após a conclusão do snapshot, as alterações no publicador são enviadas ao assinante em tempo real.

1. Crie uma conta.

   Para mais informações, consulte Criar uma conta.

2. Configure as permissões.

   Verifique se a conta possui a permissão replication.

   select userepl from pg_user where usename='xxx'

   O resultado esperado é True. Se o resultado for False, a conta não tem a permissão necessária. Execute a instrução a seguir para conceder a permissão.

   ALTER USER <user> REPLICATION;

Preparação 2: Verificar se há suporte para banco de dados standby

SELECT pg_is_in_recovery()

Apenas o banco de dados primário é suportado. O resultado esperado é False. Se o resultado for True, trata-se de um banco de dados standby. A sincronização em tempo real não suporta bancos de dados standby. Altere a configuração da fonte de dados para apontar para o banco de dados primário. Para mais informações, consulte Configurar a fonte de dados.

Preparação 3: Verificar se wal_level está definido como logical

show wal_level

O parâmetro wal_level especifica o nível de wal_log. O resultado esperado é logical. Caso contrário, o mecanismo de replicação lógica não será suportado.

Preparação 4: Verificar se um processo wal_sender pode ser iniciado

-- Query max_wal_senders show max_wal_senders; -- Query the number of pg_stat_replication entries select count(*) from pg_stat_replication

Se max_wal_senders não estiver vazio e seu valor for maior que o número de entradas max_wal_senders em pg_stat_replication, existem processos wal_sender ociosos disponíveis. O banco de dados PostgreSQL inicia processos wal_sender para que o programa de sincronização de dados envie logs aos assinantes.

Para cada tabela a ser sincronizada, execute manualmente a instrução ALTER TABLE [tableName] REPLICA IDENTITY FULL para conceder as permissões necessárias. Caso contrário, a tarefa de sincronização em tempo real falhará.

Após o início de uma tarefa de sincronização em tempo real do PostgreSQL, slots e publicações são criados automaticamente no banco de dados. O formato do nome do slot é di_slot_ + Solution ID , e o formato do nome da publicação é di_pub_ + Solution ID. Depois que a tarefa de sincronização em tempo real for interrompida ou removida, exclua manualmente os slots e as publicações. Caso contrário, os arquivos WAL do PostgreSQL poderão crescer continuamente.

Guia de configuração de tarefa de sincronização em lote de tabela única

• Para mais detalhes sobre o procedimento, consulte Configurar uma tarefa de sincronização em lote no modo assistente e Configurar uma tarefa de sincronização em lote no modo script.

• Para todos os parâmetros e exemplos de script para configuração no modo script, consulte o Apêndice 1: Exemplo de script e descrição de parâmetros abaixo.

Guia de configuração de tarefa de sincronização para leitura em lote e leitura em tempo real de banco de dados completo

Para mais detalhes sobre o procedimento, consulte Configurar uma tarefa de sincronização em lote de banco de dados completo e Configurar uma tarefa de sincronização em tempo real de banco de dados completo.

Configurar uma tarefa de sincronização em lote usando o editor de código

Para configurar uma tarefa de sincronização em lote usando o editor de código, defina os parâmetros relacionados no script de acordo com os requisitos unificados de formato. Para mais informações, consulte Configuração no modo script. As informações a seguir descrevem os parâmetros que devem ser configurados para fontes de dados ao utilizar o editor de código.

Exemplo de script do Reader

Para configurar um job que extrai dados de um banco de dados PostgreSQL, use o modo script. Para mais informações, consulte Configurar uma tarefa de sincronização em lote no modo script.

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"postgresql",// The plugin name. "parameter":{ "datasource":"",// The data source. "column":[// The columns. "col1", "col2" ], "where":"",// The filter condition. "splitPk":"",// The column used as the split key for data sharding. Data synchronization starts concurrent tasks for data synchronization. "table":""// The table name. }, "name":"Reader", "category":"reader" }, { "stepType":"stream", "parameter":{}, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true, // A value of false for throttle indicates that throttling is disabled and the mbps parameter does not take effect. A value of true indicates that throttling is enabled. "concurrent":1, // The concurrency of the job. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Reader

Exemplo de script do Writer

A seguir, um exemplo de configuração de script. Para mais informações, consulte as descrições de parâmetros acima.

{ "type":"job", "version":"2.0",// The version number. "steps":[ { "stepType":"stream", "parameter":{}, "name":"Reader", "category":"reader" }, { "stepType":"postgresql",// The plugin name. "parameter":{ "datasource":"",// The data source. "column":[// The columns. "col1", "col2" ], "table":"",// The table name. "preSql":[],// The SQL statements executed before the data synchronization task. "postSql":[],// The SQL statements executed after the data synchronization task. }, "name":"Writer", "category":"writer" } ], "setting":{ "errorLimit":{ "record":"0"// The error count. }, "speed":{ "throttle":true,// A value of false for throttle indicates that throttling is disabled and the mbps parameter does not take effect. A value of true indicates that throttling is enabled. "concurrent":1, // The concurrency of the job. "mbps":"12"// The throttling rate. 1 mbps = 1 MB/s. } }, "order":{ "hops":[ { "from":"Reader", "to":"Writer" } ] } }

Parâmetros do script do Writer

{
    "job":
    {
        "content":
        [{
            "reader": {...},
            "writer":
            {
                "parameter":
                {
                    "column":
                    [
                        // Destination table field list
                        "bigint_arr",
                        "double_arr",
                        "text_arr",
                        "jsonb_obj",
                        "json_obj"
                    ],
                    "pgType":
                    {
                        // Special type settings. The key is the field name of the destination table, and the value is the field type.
                        "bigint_arr": "bigint[]",
                        "double_arr": "double[]",
                        "text_arr": "text[]",
                        "jsonb_obj": "jsonb",
                        "json_obj": "json"
                    }

                }
            }
        }]
    }
}

Descrição do arquivo de autenticação SSL do PostgreSQL

Ao criar ou modificar uma conexão de fonte de dados PostgreSQL no DataWorks, configure a autenticação SSL. Os parâmetros de configuração da autenticação SSL estão descritos abaixo.

• Quando a configuração de ACL está definida como prefer, a verificação do conteúdo do cliente não é imposta.

  • Se nenhum arquivo for configurado para autenticação SSL, uma conexão regular será usada.

  • Se arquivos de autenticação forem adicionados para SSL, consulte as descrições correspondentes na tabela acima.

• Quando a configuração de ACL está definida como verify-ca, configure o Arquivo de certificado Keystore, o Arquivo de chave privada e a Senha da chave privada para criar a fonte de dados.

Obter arquivos de autenticação SSL do PostgreSQL

Esta seção usa uma instância do ApsaraDB RDS for PostgreSQL como exemplo para gerar certificados de autenticação SSL.

1. Obtenha o Arquivo de certificado Truststore.

   Para mais informações sobre como obter o Arquivo de certificado Truststore, consulte Configurar uma conexão criptografada por SSL.

   1. Acesse a lista de instâncias RDS, clique em na instância RDS na região correspondente e, em seguida, clique em no ID da instância alvo para ir à página de detalhes da instância.

   2. Selecione a string de conexão que deseja proteger. A figura a seguir ilustra o procedimento:

   

   Nota

   • Se o endpoint público estiver habilitado, tanto os endpoints internos quanto os públicos serão exibidos. Um certificado de nuvem pode proteger apenas um endpoint. Como o endpoint interno é relativamente mais seguro, proteja o endpoint público. Para mais informações sobre como visualizar endpoints internos e públicos, consulte Visualizar endpoints internos e públicos.

   • Se precisar proteger tanto os endpoints internos quanto os públicos, consulte Configurar um certificado personalizado.

   • Após configurar o certificado de nuvem, o Running Status da instância muda para Modifying SSL. Esse status dura cerca de três minutos. Aguarde até que o status de execução mude para Running antes de prosseguir.

   c. Clique em Download CA Certificate para obter o arquivo de certificado Truststore.

   

   O pacote de certificado CA baixado contém três arquivos. Ao configurar a fonte de dados PostgreSQL no DataWorks, faça upload do arquivo com extensão .pem ou do arquivo com extensão .p7b no item de configuração Arquivo de certificado Truststore.

2. Obtenha e configure o Arquivo de certificado Keystore, o Arquivo de chave privada e a Senha da chave privada.

   Pré-requisitos: Você concluiu a configuração de uma conexão criptografada por SSL ou a configuração de um certificado personalizado, e possui a ferramenta OpenSSL.

   Nota

   Se você usa um sistema Linux, o OpenSSL já vem pré-instalado. Se usa Windows, baixe e instale o pacote de software OpenSSL.

   Para mais informações sobre como obter e configurar o Arquivo de certificado Keystore, o Arquivo de chave privada e a Senha da chave privada, consulte Configurar um certificado de cliente.

   1. Use a ferramenta OpenSSL em um sistema Linux ou instale o software OpenSSL em um sistema Windows para gerar um certificado autoassinado (ca1.crt) e sua chave privada (ca1.key).

      openssl req -new -x509 -days 3650 -nodes -out ca1.crt -keyout ca1.key -subj "/CN=root-ca1"

   2. Gere um arquivo de solicitação de assinatura de certificado de cliente (client.csr) e uma chave privada de certificado de cliente (client.key).

      openssl req -new -nodes -text -out client.csr -keyout client.key -subj "/CN=<client_username>"

      Neste comando, o valor CN após o parâmetro -subj deve ser definido como o nome de usuário usado pelo cliente para acessar o banco de dados.

   3. Gere o certificado de cliente (client.crt).

      openssl x509 -req -in client.csr -text -days 365  -CA ca1.crt -CAkey ca1.key -CAcreateserial  -out client.crt

   4. Se o seu servidor RDS PostgreSQL exigir verificação de certificado CA do cliente, abra o arquivo de certificado autoassinado do cliente gerado ca1.crt, copie o conteúdo do certificado e cole-o na caixa de diálogo Client CA Certificate Public Key Content como o certificado CA do cliente.

   5. Após configurar o certificado CA do cliente no lado do RDS, ao configurar a fonte de dados PostgreSQL no DataWorks, converta a chave privada do certificado de cliente client.key para um arquivo client.pk8 e faça upload do arquivo client.pk8 no item de configuração Arquivo de chave privada na configuração da fonte de dados PostgreSQL do DataWorks.

      cp client.key client.pk8

   6. Configure a senha da chave privada.

      openssl pkcs8 -topk8 -inform PEM -in client.key -outform der -out client.pk8 -v1 PBE-MD5-DES

      Nota

      Ao executar o comando para configurar a senha da chave privada, insira uma senha. Se definir uma senha, use a mesma senha para a senha da chave privada na configuração da fonte de dados PostgreSQL do DataWorks.

Configurar arquivos de autenticação SSL do PostgreSQL

Ao fazer upload dos arquivos de certificado obtidos para os itens de configuração do PostgreSQL no DataWorks, realize as seguintes operações:

• Arquivo de certificado Truststore: Faça upload do arquivo com extensão .pem ou do arquivo com extensão .p7b obtido na etapa Obter o arquivo de certificado Truststore.

• Arquivo de certificado Keystore: Faça upload do arquivo de certificado de cliente client.crt obtido na etapa Gerar o certificado de cliente.

• Arquivo de chave privada: Faça upload do arquivo client.pk8 convertido da chave privada do certificado de cliente client.key na etapa Converter o arquivo de chave privada.

• Senha da chave privada: A senha configurada na etapa Configurar a senha da chave privada.

Configuração de ACL: Acesse a lista de instâncias RDS, clique em na instância RDS na região correspondente, clique em no ID da instância alvo para ir à página de detalhes da instância e, em seguida, clique em Data Security > ACL Configuration para modificar a configuração. Selecione diferentes métodos de autenticação SSL. Para mais informações, consulte Configurar ACL.

• Se o método de autenticação ACL estiver definido como prefer, o servidor PostgreSQL não impõe a verificação do certificado do cliente.

• Se o método de autenticação ACL estiver definido como verify-ca no RDS PostgreSQL, faça upload do certificado de cliente correto ao configurar a fonte de dados PostgreSQL no DataWorks, para que o servidor possa verificar a autenticação do cliente.