Todos os produtos
Search

Este produto

    Realtime Compute for Apache Flink:Configure o gerenciamento de dados do Paimon

    Central de documentação

    Realtime Compute for Apache Flink:Configure o gerenciamento de dados do Paimon

    Última atualização: Sep 10, 2026

    Para executar operações de gerenciamento de tabelas Paimon — como compactar arquivos pequenos e ordenar dados — no Development Console, implante o JAR paimon-flink-action como uma implantação JAR. Este tópico aborda como baixe os pacotes necessários, enviá-los como artefatos e crie a implantação.

    Pré-requisitos

    Antes de começar, verifique se você tem:

    • Ververica Runtime (VVR) 8.0.5 ou posterior (versões anteriores não oferecem suporte a tabelas Paimon)

    Baixe os pacotes JAR

    Os pacotes JAR necessários dependem da versão do mecanismo da sua implantação.

    VVR 11.x (recomendado)

    Use os pacotes JAR da comunidade Apache Paimon para obter os recursos mais recentes de gerenciamento de tabelas lake. Baixe tanto o paimon-flink-action quanto o paimon-flink-1.20. O VVR 11.x é compatível com o Flink 1.20 da comunidade.

    VVR 8.x

    Use os pacotes JAR fixos fornecidos pelo Realtime Compute for Apache Flink:

    Crie uma implantação JAR

    1. No Development Console, acesse Artifacts e clique em Upload Artifact. Envie ambos os pacotes JAR baixados.

    2. Acesse O&M > Deployments e clique em Create Deployment > JAR Deployment.

    3. Na caixa de diálogo Create JAR Deployment, preencha os seguintes campos:

      Campo

      Descrição

      Exemplo

      Deployment Mode

      Selecione Stream Mode ou Batch Mode conforme a necessidade.

      Batch Mode

      Deployment Name

      Nome desta implantação.

      paimon-compaction

      Engine Version

      Selecione VVR 8.0.5 ou posterior.

      vvr-8.0.5-flink-1.17

      JAR URI

      Selecione o JAR paimon-flink-action enviado.

      —

      Entry Point Class

      Deixe em branco.

      —

      Entry Point Main Arguments

      Parâmetros de ação passados ao método principal. Especifique os parâmetros com base na operação Paimon desejada. Por exemplo, para ordenação de dados, consulte Data consumption. Algumas ações do Paimon usam um modo de execução leve por padrão e não iniciam um job Flink. Como o Realtime Compute for Apache Flink exige que o programa em uma implantação JAR inicie um job Flink, adicione --force_start_flink_job true aos argumentos. Para os parâmetros catalog_conf exigidos por uma ação, consulte Configure catalog_conf parameters.

      —

      Additional Dependencies

      Selecione o segundo pacote JAR enviado: paimon-ali-vvr para VVR 8.x ou paimon-flink-1.20 para VVR 11.x. Certifique-se de tê-lo enviado para Artifacts na Etapa 1 antes de selecioná-lo aqui.

      —

    4. Clique em Deploy.

    5. Localize a implantação na lista e clique em Start. Para obter detalhes, consulte Start a job.

    Configure parâmetros catalog_conf

    Uma ação Paimon acessa o catálogo de destino usando os parâmetros catalog_conf. Os parâmetros definidos dependem do tipo de catálogo.

    Catálogo DLF

    Defina os parâmetros do catálogo DLF, incluindo o par de AccessKey. Para mais informações, consulte Access DLF with Flink DataStream.

    Parâmetro

    Descrição

    Exemplo

    type

    Tipo do catálogo. O valor é analisado automaticamente a partir do JAR personalizado. Não o altere.

    paimon

    metastore

    Tipo de metastore. Defina o valor como rest.

    rest

    uri

    Endpoint VPC do DLF REST Catalog Server, no formato http://[region-id]-vpc.dlf.aliyuncs.com. Para mais informações, consulte Service endpoints.

    http://cn-hangzhou-vpc.dlf.aliyuncs.com

    warehouse

    Nome do catálogo DLF.

    dlf_test

    token.provider

    Provedor de token. Defina o valor como dlf.

    dlf

    dlf.access-key-id

    AccessKey ID da sua conta Alibaba Cloud ou de um usuário RAM.

    None

    dlf.access-key-secret

    AccessKey secret da sua conta Alibaba Cloud ou de um usuário RAM.

    None

    Metastore de sistema de arquivos

    Configure os parâmetros de warehouse e AccessKey do OSS. Para mais informações, consulte Gerencie Paimon catalogs.

    Opção

    Descrição

    Obrigatório

    Observações

    warehouse

    Diretório do data warehouse no OSS.

    Sim

    O formato é oss://<bucket>/<object>, em que bucket é o nome do seu bucket OSS e object é o caminho onde seus dados estão armazenados. É possível visualizar ambos no console do OSS.

    fs.oss.endpoint

    Endpoint do OSS.

    Sim

    Use um endpoint VPC se o workspace Flink e o bucket OSS estiverem na mesma região. Caso contrário, use um endpoint público. Este parâmetro é necessário quando o bucket OSS especificado em warehouse reside em uma região diferente do workspace Flink ou pertence a outra conta. Para mais informações, consulte Regions and endpoints.

    fs.oss.accessKeyId

    AccessKey ID da conta Alibaba Cloud ou usuário RAM com permissões de leitura e gravação no OSS.

    Sim

    Para mais informações, consulte Create an AccessKey pair.

    fs.oss.accessKeySecret

    AccessKey secret da conta Alibaba Cloud ou usuário RAM com permissões de leitura e gravação no OSS.

    Sim

    Importante

    Configure fs.oss.endpoint, fs.oss.accessKeyId e fs.oss.accessKeySecret nos parâmetros de tempo de execução da implantação Flink. Definir esses valores em catalog_conf pode não surtir efeito.

    Próximos passos