Este guia demonstra como criar, implantar e iniciar jobs Flink JAR em streaming e batch para ilustrar o fluxo de trabalho no Realtime Compute for Apache Flink.
Pré-requisitos
Se você utilizar um usuário RAM ou uma função RAM, verifique se possui as permissões necessárias para o console do Flink. Para mais informações, consulte Gerenciamento de permissões.
Crie um workspace do Flink. Para mais informações, consulte Ativar o Realtime Compute for Apache Flink.
Etapa 1: Desenvolver o pacote JAR
O Development Console do Realtime Compute for Apache Flink não oferece um ambiente de desenvolvimento integrado (IDE) para pacotes JAR. Desenvolva, compile e empacote seu job localmente. Para obter detalhes sobre como configurar dependências, usar conectores e ler arquivos dependentes do Object Storage Service (OSS), consulte Desenvolver um job Flink JAR.
Certifique-se de que a versão do Flink usada no desenvolvimento local corresponda à versão do mecanismo selecionada na Etapa 3: Implantar o job JAR. Além disso, atente-se ao escopo dos pacotes de dependência.
Para ajudar você a começar rapidamente com jobs Flink JAR, este guia fornece um pacote JAR de exemplo para contagem de palavras e um arquivo de dados. Baixe esses arquivos para concluir as etapas a seguir.
-
Clique em FlinkQuickStart-1.0-SNAPSHOT.jar para baixar o pacote JAR de teste.
Se tiver interesse no código source, clique em FlinkQuickStart.zip para baixá-lo e compilá-lo.
Clique em Shakespeare para baixar o arquivo de dados.
Etapa 2: Carregar o pacote JAR e o arquivo de dados
Faça login no console do Realtime Compute.
Localize o workspace Flink desejado e clique em Console na coluna Actions.
No painel de navegação à esquerda, clique em Artifacts.
-
Clique em Upload Artifact para carregar o pacote JAR e o arquivo de dados.
Neste tutorial, carregue os arquivos FlinkQuickStart-1.0-SNAPSHOT.jar e Shakespeare baixados na Etapa 1. Para mais informações sobre caminhos de armazenamento de arquivos, consulte Artifacts.
Etapa 3: Implantar o job JAR
Job de streaming
Na página , clique em Create Deployment e selecione JAR Deployment.
-
Configure os parâmetros da implantação.
Parâmetro
Descrição
Exemplo
Deployment mode
Selecione Stream Mode como modo de implantação.
Stream Mode
Deployment name
Insira um nome para o job JAR.
flink-streaming-test-jar
Engine version
Versão do mecanismo Flink para o job.
Recomendamos o uso de uma versão com a tag RECOMMENDED ou STABLE para garantir maior confiabilidade e desempenho. Para mais informações, consulte Notas de versão e Versões do mecanismo.
vvr-8.0.9-flink-1.17
JAR URI
Selecione o arquivo FlinkQuickStart-1.0-SNAPSHOT.jar carregado na Etapa 2. Também é possível clicar no ícone
para carregar seu próprio pacote JAR.Caso o arquivo já exista na página Artifacts, selecione-o diretamente.
NotaO mecanismo VVR 8.0.6 e posteriores do Realtime Compute for Apache Flink acessam apenas o bucket vinculado ao workspace.
-
Entry point class
Ponto de entrada do programa. Se o pacote JAR não especificar uma classe principal, insira o nome totalmente qualificado da classe.
O pacote JAR de teste fornecido neste documento contém código tanto para um job de streaming quanto para um job batch. Portanto, especifique o ponto de entrada para o job de streaming.
org.example.WordCountStreaming
Entry point main arguments
Argumentos a serem passados para o método principal.
Para este tutorial, insira o caminho de armazenamento do arquivo de dados de entrada
Shakespeare.--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/ShakespeareCopie o caminho completo do arquivo Shakespeare na página Artifacts .
Deployment target
Na lista suspensa, selecione uma resource queue ou um session cluster de destino. Para mais informações, consulte Gerenciar filas de recursos e Etapa 1: Criar um session cluster.
ImportanteJobs implantados em um session cluster não suportam monitoramento de alertas, configuração de alertas ou ajuste automático. Não utilize session clusters em ambientes de produção, pois destinam-se apenas a desenvolvimento e testes. Para mais informações, consulte Depurar um job.
default-queue
Para mais informações sobre parâmetros de configuração, consulte Implantar um job.
Clique em Deploy.
Job batch
Na página , clique em Create Deployment e selecione JAR Deployment.
-
Configure os parâmetros da implantação.
Parâmetro
Descrição
Exemplo
Deployment mode
Selecione Batch Mode como modo de implantação.
Batch Mode
Deployment name
Insira um nome para o job JAR.
flink-batch-test-jar
Engine version
Versão do mecanismo Flink para o job.
Recomendamos o uso de uma versão com a tag RECOMMENDED ou STABLE para garantir maior confiabilidade e desempenho. Para mais informações, consulte Notas de versão e Versões do mecanismo.
vvr-8.0.9-flink-1.17
JAR URI
Selecione o arquivo FlinkQuickStart-1.0-SNAPSHOT.jar carregado na Etapa 2. Também é possível clicar no ícone
para carregar seu próprio pacote JAR.-
Entry point class
Classe de entrada do programa. Caso o pacote JAR não especifique uma classe principal, insira aqui o nome totalmente qualificado da sua Endpoint Class.
O pacote JAR de teste fornecido neste documento contém código tanto para um job de streaming quanto para um job batch. Portanto, especifique o ponto de entrada para o job batch.
org.example.WordCountBatch
Entry point main arguments
Argumentos a serem passados para o método principal.
Para este tutorial, insira os caminhos de armazenamento do arquivo de dados de entrada
Shakespearee do arquivo de dados de saídabatch-quickstart-test-output.txt.NotaEspecifique o caminho completo para o arquivo de saída. O sistema cria esse arquivo automaticamente. Neste tutorial, o caminho de saída coloca o arquivo no mesmo diretório do arquivo de entrada.
--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txtCopie o caminho completo do arquivo Shakespeare na página Artifacts.
Deployment target
Na lista suspensa, selecione uma resource queue ou um session cluster de destino. Para mais informações, consulte Gerenciar filas de recursos e Etapa 1: Criar um session cluster.
ImportanteJobs implantados em um session cluster não suportam monitoramento de alertas, configuração de alertas ou ajuste automático. Não utilize session clusters em ambientes de produção, pois destinam-se apenas a desenvolvimento e testes. Para mais informações, consulte Depurar um job.
default-queue
Para mais informações sobre parâmetros de configuração, consulte Implantar um job.
Clique em Deploy.
Etapa 4: Iniciar o job e visualizar os resultados
Job de streaming
Na página , localize o job desejado e clique em Start na coluna Actions.
Selecione Stateless Start e clique em Start. Para mais informações sobre como iniciar um job, consulte Iniciar um job.
-
Após o status do job mudar para RUNNING, visualize os resultados do job de streaming.
No arquivo de log do TaskManager que termina com .out, pesquise por
shakespearepara visualizar os resultados do Flink.Para encontrar o arquivo de log, acesse a aba Logs, selecione um TaskManager em execução em Running Task Managers e clique na aba Log List. Abra o arquivo
flink.oute pesquise porshakespearepara localizar os resultados, como (shakespeare,1).
Job batch
Na página , localize o job desejado e clique em Start na coluna Actions.
Na caixa de diálogo Start Job, clique em Start. Para mais informações sobre como iniciar um job, consulte Iniciar um job.
-
Quando o status do job mudar para FINISHED, visualize os resultados do job batch.
Faça login no console do OSS e visualize os resultados no arquivo oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt.
Veja abaixo um exemplo dos resultados do arquivo
batch-quickstart-test-output.txt.a 164 abhor 2 abide 2 able 1 about 1 above 4 absence 5 absent 4 abundance 4 abundant 1 abuse 3 abused 1 abuses 1 abysm 1 accents 1 acceptable 1 acceptance 1
A quantidade de entradas de resultados para o job de streaming e o job batch pode diferir, pois o log TaskManager.out exibe no máximo 2.000 entradas. Para mais informações sobre essa limitação, consulte Print.
(Opcional) Etapa 5: Parar o job
Para aplicar alterações a um job (como modificações de código, atualizações de parâmetros WITH ou mudanças de versão), reimplemente-o, pare-o e reinicie-o. A reinicialização também é necessária para um início sem estado (stateless start) ou para aplicar alterações de configuração não dinâmicas. Para mais informações sobre como parar um job, consulte Parar um job.
Documentos relacionados
Configure os recursos do job antes de iniciá-lo ou modifique-os durante a execução. Os modos de recurso Basic (granularidade grossa) e Expert (granularidade fina) são suportados. Para mais informações, consulte Configurar recursos do job.
Atualize dinamicamente parâmetros e recursos do job para aplicar mudanças mais rapidamente e reduzir interrupções causadas por reinicializações. Para mais informações, consulte Dimensionamento dinâmico e atualizações de parâmetros.
Defina níveis de log e especifique saídas separadas para diferentes níveis. Para mais informações, consulte Configurar saída de log do job.
Siga um exemplo simples para aprender o fluxo completo de desenvolvimento de um job Flink SQL. Para mais informações, consulte Jobs Flink SQL.