Este tópico descreve como medir a eficácia de pesquisa e desenvolvimento (P&D), como a programação assistida por IA melhora a eficácia de P&D e como medir os benefícios da programação assistida por IA.
O novo site de documentação do Qoder CN está disponível. O conteúdo deste site pode não refletir os recursos e as alterações mais recentes do product. Acesse docs.qoder.cn para consultar a documentação mais recente do product.
Compreensão da medição: diferencie as métricas de forma eficaz
Para ajudar as equipes de P&D a medir a eficácia de P&D, propomos uma estrutura trifacetada com métricas dos seguintes tipos: capacidade e comportamento, entrega e resultado de negócios. Essa estrutura permite avaliar o trabalho de P&D de forma holística.
Métricas de capacidade e comportamento: refletem a forma de trabalho das equipes e suas capacidades, que afetam a eficiência da entrega e podem ser aprimoradas. Incluem cobertura de testes de unidade, número de problemas encontrados na análise de código, frequência de implantação, complexidade ciclomática e nível de desacoplamento.
Métricas de eficácia de entrega: refletem a eficiência das equipes técnicas e se correlacionam com os resultados de negócios, mas não os afetam diretamente. Incluem velocidade, throughput e qualidade da entrega.
Métricas de resultados de negócios: refletem o desempenho real dos negócios e relacionam-se diretamente com a receita, a escala e os custos da empresa. Podem ser usadas diretamente para avaliação de desempenho e incluem receita conforme os Princípios Contábeis Geralmente Aceitos (GAAP), lucro bruto, lucro líquido, custos e usuários ativos mensais.
O que é eficácia de P&D e como medi-la?
A eficácia de P&D refere-se à capacidade de uma equipe de desenvolvimento de software entregar valor de alta qualidade de forma contínua e oportuna. Ela inclui os seguintes aspectos:
Capacidade de fazer as coisas certas: entregar valor efetivo.
Capacidade de fazer as coisas da maneira certa: continuidade, velocidade e qualidade. A qualidade é uma restrição à velocidade, e a continuidade é um requisito para manter a velocidade e a qualidade de forma consistente.
Medição da eficácia de P&D
Métricas eficazes podem impulsionar ações de melhoria adequadas e orientar futuras iniciativas de aprimoramento. As responsabilidades da equipe determinam os tipos de métricas usadas. Na maioria dos casos, as equipes técnicas são avaliadas com base nos seguintes aspectos:
Eficiência: velocidade (eficiência de fluxo, a taxa de fluxo de um único item de trabalho) e throughput (eficiência de recursos, o número de itens de trabalho concluídos em um período específico).
Qualidade: qualidade da entrega, referente à qualidade dos entregáveis após saírem da equipe.
Satisfação dos colaboradores: a satisfação dos colaboradores é uma métrica subjetiva de pesquisa correlacionada positivamente com a continuidade.
Como a programação assistida por IA melhora a eficácia de P&D?
A programação assistida por IA usa IA para melhorar a eficiência de programação, refletindo as habilidades e os comportamentos de codificação. Essa melhoria pode ser medida com base nos seguintes aspectos:
Eficiência de codificação: Proporção do tempo dos desenvolvedores gasto com codificação × Proporção de código gerado por IA = Proporção de tempo economizado pelo gerador de código. Por exemplo, se os desenvolvedores gastam 30% do tempo codificando e 40% do código final é gerado por IA, 12% do tempo dos desenvolvedores será economizado.
Densidade de defeitos de código: a densidade de defeitos de código é um indicador de resultado que reflete a qualidade do código, como o número de defeitos por mil linhas de código.
Satisfação dos colaboradores com a experiência de codificação: a satisfação dos colaboradores com a experiência de codificação é uma métrica subjetiva que reflete como as ferramentas auxiliam os colaboradores no trabalho de programação, como a usabilidade e a eficácia real da ferramenta.
Melhoria na eficiência de codificação
No desenvolvimento de software, a eficiência de codificação é um fator-chave que impacta a produtividade geral. Além da eficiência de codificação, fatores como qualidade dos requisitos, processos de colaboração, automação de testes e capacidades de engenharia para integração contínua e entrega contínua (CI/CD) afetam a eficiência do desenvolvimento. Esses fatores se dividem em duas categorias: eficiência individual, referente a melhorias específicas, e eficiência de colaboração, referente a melhorias gerais no processo. Sob a perspectiva de resolução de problemas, os fatores se dividem em quatro áreas principais: gargalos, retrabalho, dívida técnica e incapacidade.
Proporção de tempo de codificação e proporção de código gerado por IA
Proporção do tempo dos desenvolvedores gasto com codificação × Proporção de código gerado por IA = Proporção de tempo economizado pelo gerador de código. Por exemplo, se os desenvolvedores gastam 30% do tempo codificando e 40% do código final é gerado por IA, 12% do tempo dos desenvolvedores será economizado.
Os resultados da pesquisa mostram que os entrevistados gastam 32% do tempo escrevendo ou melhorando código, 35% no gerenciamento de código (19% na manutenção de código, 12% em testes e 4% na resposta a problemas de segurança) e 23% em reuniões e tarefas operacionais.
Melhoria abrangente no comportamento de desenvolvimento
Durante a fase de desenvolvimento, os programadores escrevem, depuram e testam código, além de buscar informações. Cada tarefa tem áreas de melhoria, e as melhorias podem ser quantificadas usando a seguinte fórmula:
Especifique uma linha de base hipotética, ou seja, o custo por unidade de trabalho sem ferramentas de IA. Essa linha de base reflete os dados estatísticos relevantes da empresa. Se os dados não estiverem disponíveis, consulte os dados estatísticos do setor. Considere também os custos adicionais associados às melhorias de eficiência impulsionadas por IA, como a revisão de código aceito, pois isso pode afetar a precisão da linha de base manual.
A seguinte fórmula se aplica independentemente do uso do primeiro ou do segundo método: Comportamento × Efeito = Eficiência. A precisão estatística excessiva é desnecessária, pois pode levar a práticas inadequadas ou custos adicionais de gerenciamento. O foco deve ser responder às perguntas principais e orientar as melhorias correspondentes.
Impacto da melhoria da eficiência de desenvolvimento na eficácia geral de P&D
Com base na Lei de Little, Velocidade = Quantidade de trabalho em progresso (WIP)/Throughput, o que significa Throughput = Quantidade de WIP/Velocidade. A IA pode melhorar os seguintes aspectos:
Velocidade de entrega: quando a velocidade dos itens de trabalho individuais aumenta, o throughput aumenta e o número de tarefas em progresso (WIP da tarefa) diminui significativamente. Essa redução beneficia os requisitos pendentes, resultando em uma menor quantidade deles. A diminuição no número de requisitos pendentes reduz o WIP geral no desenvolvimento do product, aumentando a velocidade de P&D.
Previsibilidade da entrega: a melhoria na velocidade leva a uma melhoria correspondente na previsibilidade de prazos do desenvolvimento de software.
Satisfação dos colaboradores com a experiência de codificação
Para avaliar a satisfação dos colaboradores com o AI Coding Assistant, colete feedback por meio de pesquisas para identificar áreas de melhoria. A elaboração do questionário envolve três elementos: persona do usuário, satisfação do usuário e eficiência do usuário. Exemplo de questionário:
Persona do usuário
-
Quantos anos de experiência em programação você tem?
Menos de 1 ano.
De 1 a 3 anos.
De 3 a 5 anos.
De 5 a 10 anos.
Mais de 10 anos.
-
Qual é a sua função principal no trabalho?
Desenvolvedor júnior.
Desenvolvedor pleno.
Desenvolvedor sênior.
Arquiteto.
Gerente técnico.
Outro (especifique).
-
Quais linguagens de programação você costuma usar? (múltipla escolha)
Java.
Python.
C++.
JavaScript.
Go.
Ruby.
PHP.
SQL.
XML.
Outra (especifique).
-
Com que frequência você usa o AI Coding Assistant?
Várias vezes por dia.
Uma vez por dia.
Algumas vezes por semana.
Algumas vezes por mês.
Raramente.
Satisfação do usuário
Qual é o seu nível de satisfação com o AI Coding Assistant? (Avalie de 1 a 5, sendo 5 o nível mais alto de satisfação)
-
Qual é a sua opinião sobre as seguintes afirmações sobre o uso do AI Coding Assistant?
Interface visualmente confortável e operações alinhadas aos meus hábitos de codificação.
Não causa sensação de interrupção.
Curva de aprendizado suave e operações intuitivas.
Utilidade das sugestões de código geradas.
Respostas precisas às perguntas.
Geração rápida de código e respostas.
Raramente apresenta erros.
Eficiência do usuário
-
Até que ponto o AI Coding Assistant melhorou a sua eficiência de codificação? (escolha única)
Melhorou significativamente.
Melhorou levemente.
Sem mudanças.
Diminuiu levemente.
Diminuiu significativamente.
-
Qual é a sua opinião sobre as seguintes afirmações após usar o AI Coding Assistant?
Meu trabalho é mais gratificante.
Sinto-me mais confiante ao codificar.
Maior eficiência ao usar linguagens de programação familiares.
Progresso mais rápido ao usar linguagens de programação menos familiares.
Redução da escrita de código repetitivo.
Mantém meu foco na escrita sem interromper meu fluxo de trabalho.
Redução do uso de mecanismos de busca.
Os resultados da pesquisa podem ser formatados de forma semelhante ao exemplo da imagem a seguir:
Como medir a eficácia da programação assistida por IA?
Para decidir entre usar a taxa de adoção ou a proporção de código gerado por IA, certifique-se de compreender as definições e a lógica de cálculo de ambos os métodos:
|
Taxa de adoção |
Proporção de código gerado por IA |
|
|
Descrição |
A proporção entre o número de conclusões de código aceitas e o número de sugestões em um período específico. Fórmula: Taxa de adoção = Número de conclusões de código aceitas/Número de sugestões. |
A proporção entre o número de linhas de código gerado por IA aceitas pelos desenvolvedores e o número de linhas de alterações de código em um período específico. A fórmula de cálculo é: Proporção de linhas de código gerado por IA = Número de linhas de código gerado por IA/Número de linhas de alterações de código. |
|
Vantagens |
|
|
|
Desvantagens |
|
|
Por que não usar a proporção de código gerado por IA enviado ao repositório para o cálculo? Principais motivos:
Os sistemas de controle de versão não conseguem identificar: os sistemas de controle de versão não diferenciam código gerado por IA de código escrito manualmente. O código é enviado pelo indivíduo que o submete, não pela IA.
Aumento da complexidade: buscar taxas de commit torna a medição desnecessariamente complexa. Esforços para alcançar builds simultâneos no ambiente de produção introduzem variáveis adicionais.
Para medir a eficácia da programação assistida por IA, recomendamos usar a proporção de conclusões de código gerado por IA. Se não for possível determinar a proporção de conclusões de código gerado por IA, a taxa de adoção é uma alternativa aceitável. No entanto, lembre-se de que a ênfase excessiva na precisão estatística é desnecessária.
Métodos específicos para medir os benefícios das ferramentas de codificação com IA
-
Para medir de forma eficaz os benefícios do AI Coding Assistant na eficiência, realize observações e análises com base nos seguintes aspectos:
-
Uso da ferramenta:
Número de desenvolvedores: conte o número de desenvolvedores que usam ferramentas de codificação com IA.
Popularidade: conte o número de usuários ativos e sua frequência de atividade.
Comportamento: frequência de uso de recursos específicos. Conte a frequência de uso de recursos como conclusão de código, geração de testes de unidade e geração de comentários de código.
Efeito: taxa de adoção ou proporção de geração efetiva. Calcule a proporção entre o número de linhas de código gerado por IA aceitas e o número total de linhas de alterações de código.
-
Melhoria na eficiência de desenvolvimento: observe as mudanças na eficiência de codificação antes e depois do uso de ferramentas de codificação com IA pelos desenvolvedores para estabelecer correlação. Use também a seguinte fórmula para obter estatísticas sobre melhorias de eficiência individual: "Comportamento × Efeito = Eficiência".
Contribuição para a eficiência de P&D: a eficiência de P&D envolve vários aspectos, como qualidade dos requisitos, processos de colaboração, automação de testes e capacidades de engenharia de CI/CD. No entanto, a melhoria da eficiência na fase de desenvolvimento contribui significativamente para a eficiência geral de P&D.
Estabeleça relações causais por meio do pensamento sistêmico: analise as relações causais entre comportamentos, eficiência e resultados a partir de uma perspectiva holística do sistema. Identifique os principais pontos de alavancagem, ou seja, as áreas de melhoria que proporcionam os maiores benefícios.
Princípios de medição: as métricas devem responder a uma pergunta fundamental: as ferramentas de codificação com IA realmente melhoram a eficiência do desenvolvimento? Os indicadores devem orientar ações de melhoria adequadas, em vez de causar desvios.