Realtime Compute for Apache Flink:Gerenciamento e operações de workspaces

• Gerenciamento de workspaces e namespaces

  • É possível alterar o nome de um workspace?

  • É possível alterar a VPC e o vSwitch?

  • Como visualizar informações do workspace, como o ID?

  • O que fazer se a alocação de recursos falhar ao reduzir a escala de um namespace?

  • Por que as alterações de recursos não têm efeito após a expansão dos recursos de computação do Flink?

  • Como visualizar meu AccessKey ID e AccessKey Secret?

  • Como carregar arquivos no OSS para uso em deployments do Flink?

  • Por que meu workspace do Flink ativado não aparece no console?

  • Erro: Endereços IP insuficientes: evento anormal detectado pelo kubernetes

  • Erro: Erro desconhecido: Falha na resposta HTTP para xxxxx

• Gerenciamento de deployments

  • Como visualizar a versão do Flink de um deployment?

  • Como alterar a versão do mecanismo de um deployment?

  • Como configurar parâmetros de execução personalizados para um deployment?

  • Como persistir configurações comuns do Flink para melhorar a eficiência?

  • Como evitar vazamentos de informações sensíveis, como pares de AccessKey ou senhas?

  • Como otimizar a utilização de recursos em deployments do Flink?

  • Sintaxe de expressão Cron

É possível alterar o nome de um workspace?

1. No console do Realtime Compute for Apache Flink, localize o workspace desejado e clique em Details na coluna Actions.

2. Clique no nome do workspace para modificá-lo.

É possível alterar a VPC e o vSwitch?

Não é possível alterar a Virtual Private Cloud (VPC), mas você pode alterar o vSwitch.

Visualizar informações do workspace

No console do Realtime Compute for Apache Flink, localize o workspace desejado e clique em Details na coluna Actions para visualizar informações como o ID do workspace.

O painel Workspace Details também contém dados como Workspace name, OSS bucket, VPC name and ID, Processor architecture, Resource group e vSwitch.

Falha na alocação de recursos durante a redução de escala do namespace

• Descrição do problema

  A alocação de recursos falha ao reduzir a escala de um namespace.

  A mensagem de erro indica: "Namespace resource allocation failed, please go to the console page to adjust the queue resources and retry."

• Causa

  Todos os recursos disponíveis já estão alocados ou em uso.

• Solução

  Primeiro, reduza os recursos alocados à fila de recursos e, em seguida, reduza a escala do namespace. Para mais informações, consulte Modificar cotas de recursos.

  Na página Namespace Resources, localize a fila de recursos desejada na lista e clique em Edit a queue na coluna Actions para reduzir as CUs alocadas.

Alterações de recursos não efetivadas após expansão

• Assinatura

  O dimensionamento de recursos no Realtime Compute for Apache Flink segue uma abordagem de cima para baixo. Aloque recursos de um workspace para seus namespaces e, depois, dos namespaces para suas filas de recursos. Para mais informações, consulte Dimensionar recursos.

  

• Pagamento conforme o uso

  No modelo de faturamento pagamento conforme o uso, a cobrança baseia-se no uso real de recursos, portanto o dimensionamento manual não se aplica. Localize o workspace desejado e escolha More > Quota Limit na coluna Actions. Em seguida, configure uma fila de recursos dentro do namespace para atender às necessidades de isolamento e gerenciamento em cenários de processamento em lote. Para mais informações, consulte Gerenciar filas de recursos.

Visualizar AccessKey ID e AccessKey Secret

• AccessKey ID

  • Para conta raiz: Faça login no console do Alibaba Cloud. Passe o mouse sobre sua foto de perfil no canto superior direito e clique em AccessKey Management para visualizar o ID.

  • Para usuário RAM: Consulte Visualizar as informações de AccessKey de um usuário RAM.

• AccessKey Secret

  Para reduzir o risco de vazamentos, o AccessKey Secret de contas raiz e usuários RAM aparece apenas no momento da criação e não pode ser recuperado posteriormente. Armazene seu AccessKey Secret com segurança assim que criá-lo.

Se você não tiver um par de AccessKeys ou tiver perdido o AccessKey Secret, consulte Criar um par de AccessKey.

Carregar arquivos no OSS para deployments do Flink

Ao ativar um workspace do Flink, especifique um bucket do Object Storage Service (OSS) para armazenamento. Isso permite carregar arquivos no bucket para uso em deployments do Flink. Também é possível carregar arquivos diretamente na página Artifacts no console de desenvolvimento do Realtime Compute for Apache Flink. Para mais informações, consulte Artifacts.

1. No console de gerenciamento do Real-time Compute, clique em More > Workspace Details na coluna Actions do workspace desejado para visualizar as informações do bucket OSS associado.

2. Carregue o arquivo de recursos no bucket OSS desejado.

   • Faça login no console do OSS e carregue o arquivo de recursos no diretório /artifacts/namespaces do bucket desejado.

   • Carregue o arquivo de recursos chamando a operação da API PutObject. Para mais informações, consulte PutObject.

3. No painel de navegação à esquerda do console de desenvolvimento do Realtime Compute, clique em Artifacts para visualizar os arquivos de recursos carregados pelo console do OSS.

   Esta página lista os arquivos carregados com colunas para Name, Creation time e Actions (Download, Delete). O botão Upload resource está disponível na parte superior da página.

Workspace do Flink não exibido no console

Verifique as possíveis causas abaixo. Se o problema persistir, abra um ticket para obter suporte.

• Confirme se o workspace do Flink terminou a inicialização. Esse processo geralmente leva de 5 a 10 minutos.

• Certifique-se de ter selecionado a região correta na parte superior da página do console. Os workspaces aparecem apenas na região onde foram criados.

• Se estiver conectado como usuário RAM, garanta que o usuário tenha as permissões necessárias para o console do Realtime Compute for Apache Flink. Para mais informações sobre configuração de permissões, consulte Permissões.

Erro: Endereços IP insuficientes

• Detalhes do erro

  Has not enough ip address:abnormal event detected from kubernetes (type:[Warning], reason:[CniError_CodeUnKnownErr], message:[CniAllocateError: allocateIP failed: ipamCreate failed: failed to create ENI: all vSwitches ([*****]) cannot be used: CreateNetworkInterface: RequestId: 67959AE5-EA20-5CB4-8560-5BD6752472FD, ErrorCode: InvalidVSwitchId.IpNotEnough, Message: The specified VSwitch "*****" has not enough IpAddress., elapsedTime: 245.03232ms])

• Causa

  O vSwitch não possui endereços IP disponíveis.

• Solução

  Mude para um vSwitch com endereços IP disponíveis suficientes. Para mais informações, consulte Alterar um vSwitch.

Erro: Falha na resposta HTTP

• Detalhes do erro

  O carregamento de arquivos falha com a seguinte mensagem de erro.

  
  Unknown Error: Http failure response for https://xxx.oss-ap-southeast-1.aliyuncs.com: 0 Unknown Error

• Causa

  O domínio do console do site internacional do Alibaba Cloud mudou. Se você usar o novo domínio alibabacloud.com para carregar arquivos sem antes configurar uma regra de compartilhamento de recursos de origem cruzada (CORS) no Object Storage Service (OSS), a solicitação falhará devido a restrições de origem cruzada.

• Solução

  No console do OSS, configure uma regra CORS para o bucket OSS vinculado ao seu workspace do Flink. Para instruções específicas, consulte Artifacts.

Visualizar a versão do Flink de um deployment

Verifique a versão de duas maneiras:

• Na página ETL ou Data ingestion, clique em Configurations no lado direito. A versão aparece no campo Engine Version.

• Na página O&M > Deployments, clique no nome do deployment desejado. Na aba Configuration, visualize as informações da versão na seção Basic.

  O campo Engine Version mostra a versão do Flink, por exemplo, vvr-8.0.9-flink-1.17.

Alterar a versão do mecanismo de um deployment

• Para deployments SQL ou YAML

  Na página ETL ou Data ingestion, clique em Configurations no lado direito e selecione a versão desejada na lista suspensa Engine Version. Se o deployment já estiver em execução, faça o redeploy e inicie-o para que a alteração de versão tenha efeito.

• Para deployments JAR ou Python

  Na página Deployments, clique no nome do deployment desejado. Na aba Configuration, clique em Edit no canto superior direito da seção Basic. Selecione a versão desejada na lista suspensa Engine Version, clique em Save e, em seguida, clique em Start.

Configurar parâmetros de execução personalizados

1. Faça login no console do Realtime Compute for Apache Flink.

2. Localize o workspace desejado e clique em Console na coluna Actions.

3. Na página Deployments, clique no nome do deployment desejado.

4. Na aba Configuration, clique em Edit no canto superior direito da seção Parameters.

5. No campo Other configuration, insira as configurações de parâmetros.

   Certifique-se de incluir um espaço após os dois pontos (:) em cada par chave-valor. Veja o exemplo de código abaixo.

   task.cancellation.timeout: 180s

6. Clique em Save.

Persistir configurações comuns do Flink

O Realtime Compute for Apache Flink oferece o recurso de deployment template para salvar parâmetros frequentes como padrões. Isso elimina a necessidade de configurar manualmente cada novo deployment.

No painel de navegação à esquerda, clique em Configuration Management e selecione a aba Default deployment configuration. Na subaba Streaming deployment ou Batch deployment, defina parâmetros de execução como Checkpoint interval, Min pause between checkpoints, Checkpoint timeout, State TTL e Flink restart strategy (por exemplo, Fixed Delay). Após concluir a configuração, clique em Save changes.

Evitar vazamentos de informações sensíveis

Use variáveis para evitar riscos de segurança decorrentes da exposição de informações sensíveis, como pares de AccessKey e senhas, em texto simples. Reutilizar variáveis também impede a repetição do mesmo código ou valores, simplificando o gerenciamento de configurações. É possível usar variáveis em vários cenários, incluindo deployments SQL, deployments JAR ou Python, configurações de log e definições de UI. Para mais informações, consulte Gerenciar variáveis.

Otimizar a utilização de recursos em deployments do Flink

Ajuste os recursos das seguintes formas:

• Ajuste manual: Na aba Diagnosis, clique em Diagnose para visualizar as conclusões da análise de recursos e ajustá-los manualmente com base nas sugestões.

  Após a conclusão do diagnóstico, a página exibe os resultados (por exemplo, All 5 checks passed. No fixable issues found.). Expanda a seção Resource analysis para visualizar conclusões detalhadas.

• Ajuste automático: Ative o recurso de ajuste automático, que inclui modos inteligente e agendado, para permitir que o sistema Flink ajuste os recursos automaticamente. Para mais informações sobre casos de uso e configuração, consulte Configurar ajuste automático.

Sintaxe de expressão Cron

O Gerenciamento de estado utiliza a sintaxe de expressão Cron no estilo Unix, enquanto a orquestração de fluxo de trabalho usa a sintaxe no estilo Java. Certifique-se de usar a expressão Cron correta para cada cenário.

Sintaxe estilo Unix

1. Uma expressão no estilo Unix possui cinco campos: minute hour day-of-month month day-of-week.

2. União de Dia do Mês e Dia da Semana: Se especificar valores tanto para o terceiro campo (dia do mês) quanto para o quinto campo (dia da semana), eles serão combinados com um OU lógico.

   A expressão 0 12 1 * 5 significa que a tarefa é executada às 12:00 PM no dia 1º de cada mês OU toda sexta-feira. Não significa que a tarefa executa apenas quando o dia 1º do mês também é uma sexta-feira.

3. Ponto de interrogação não suportado?: Não use ?, pois o sistema reportará um erro ou não o reconhecerá. Para ignorar um campo, use apenas *.

Sintaxe estilo Java (Quartz)

1. Uma expressão no estilo Java geralmente usa seis campos: second minute hour day-of-month month day-of-week.

2. Conflito entre Dia do Mês e Dia da Semana:

   • Não é possível especificar valores para os campos dia do mês e dia da semana simultaneamente (ou definir ambos como *).

   • Para evitar conflitos lógicos, como especificar o dia 1º do mês e também sexta-feira quando o dia 1º não é uma sexta-feira, um desses dois campos deve ser ?.

   • Regra: Se especificar o Dia do mês, o Dia da semana deve ser ?. Se especificar o Dia da semana, o Dia do mês deve ser ?.

3. Valores diferentes para Dia da Semana: 1 representa domingo, 2 representa segunda-feira e assim por diante. Recomendamos o uso de abreviações em inglês (SUN, MON, TUE) para evitar confusão.