Menu

8 indicadores-chave de desempenho para lançamentos de qualidade (Panaya Test Dynamix Review)

8 key performance indicators

Experimente Nosso Instrumento Para Eliminar Problemas

Este artigo explica 8 indicadores-chave de desempenho para lançamentos de qualidade com a ajuda da solução de teste ponta a ponta Panaya Test Dynamix:

Não é segredo que os Gerentes de Qualidade de Software estão enfrentando uma pressão cada vez maior para entregar software de alta qualidade em uma velocidade recorde.

A pergunta que todos nós frequentemente fazemos é - “como medimos nosso sucesso” em termos de qualidade de software?

Speed-to-market é um cálculo muito mais simples, mas medir nosso desempenho na entrega de software de alta qualidade depende de uma infinidade de fatores, como a metodologia do projeto (cascata, híbrido, ágil), a complexidade do software, o nível técnico dívida envolvida, o número de interfaces e muito mais.

Em suma, o número de variáveis ​​que desempenham em um nível aceitável de defeitos de alta gravidade não deve ser subestimado. Portanto, para sobreviver neste mercado, devemos evoluir continuamente, tanto em nossas opiniões quanto em nossas medidas.

Essa é a razão pela qual desenvolvi esta lista dos 8 principais KPI's que você deve adicionar ao seu Índice de Qualidade e começar a monitorar para mitigar o risco de lançamento, melhorar a qualidade e medir seu sucesso imediatamente.

Indicadores Chave de Performance

O que você aprenderá:

Indicadores-chave de desempenho para lançamentos de qualidade

# 1) Eficácia da detecção de defeitos (DDE, AKA Porcentagem de detecção de defeitos)

Esta é uma medida do seu teste de regressão geral eficácia. É calculado como uma proporção de defeitos encontrados antes e depois da liberação por seus clientes.

Defeitos encontrados após a liberação são normalmente conhecidos como “Incidentes” e são registrados em um sistema de help desk, considerando os defeitos encontrados durante as fases de teste ( Por exemplo. , Unidade, Sistema, Regressão ou UAT) são identificados antes da liberação e documentados com as ferramentas como Panaya Test Dynamix .

Para calcular esse KPI corretamente, você sempre deve categorizar a versão do software em que cada defeito foi identificado, antes de liberar em seu ambiente de produção.

A fórmula freqüentemente usada para DDE:

Número de defeitos identificados no lançamento da versão do software /

Número de defeitos na versão do software + defeitos com escape identificados pelos usuários finais (Por exemplo., Incidentes)

Aqui está uma ilustração simples:

Suponha que 95 defeitos foram encontrados durante seu ciclo de teste de regressão no último SAP Service Pack mensal e 25 defeitos foram registrados após o lançamento. O DDE seria calculado como 95 dividido por (95 + 25) = 79%.

Lembre-se de que o DDE deve ser monitorado com um gráfico de linhas que começa em 100% no dia após o lançamento para produção. E à medida que seus usuários finais internos e clientes começam a trabalhar com seu service pack mais recente da SAP como exemplo, eles inevitavelmente registrarão alguns incidentes.

Minha experiência mostra que um 'frenesi de alimentação' ocorre na primeira semana, 2 dias após um Service Pack chegar ao ambiente produtivo. É quando você notará uma queda rápida de 100% para cerca de 95% conforme os incidentes são registrados. Se sua empresa estiver em uma cadência de lançamento de Service Pack mensal, meça o DDE por um período de 30 dias em cada Service Pack.

Por outro lado, se sua empresa está executando apenas quatro (4) ciclos de lançamento principais por ano, meça por 90 dias para ver como ele diminui durante esse período de tempo.

O que é considerado um “bom DDE”?

É muito parecido com as leituras de pressão arterial que cada organização e pessoa evolui ao longo do tempo.

Embora a comunidade médica defina a leitura de pressão arterial 'ideal' como 120/80 - é natural ver um aumento na pressão arterial sistólica à medida que envelhecemos. Com o DDE, os profissionais da indústria e líderes de pensamento são conhecidos por dizer que 90% é recomendável na maioria das indústrias.

No entanto, tenho visto organizações atingirem> 95% de DDE em uma base consistente mudando para a esquerda com ferramentas de simulação de impacto de mudança, como Análise de impacto de Panaya .

# 2) Defeitos em todo o sistema (SWD)

Você já encontrou vários defeitos associados aos mesmos objetos? Certamente, você teria. É um fenômeno comum que muitos gerentes de teste encontram.

De repente, você vê um grande aumento no número de bugs relatados em um ciclo do UAT. Felizmente, aposto que você é do tipo que monitora defeitos a cada 15 minutos e 'vincula' manualmente as duplicatas ou lê cada descrição para discernir a causa raiz, certo? Duvidoso.

Então, quais são suas opções para administrar o drama inevitável da 'inflação de defeitos?'

O drama que se segue naquela recapitulação noturna com a liderança da HQ sobre 'Por que um aumento tão repentino nos defeitos hoje?' (Pausa ... Respire fundo antes de responder) ... 'Estou trabalhando com nossos Líderes Funcionais para realizar uma análise manual da causa raiz.

Mas achamos que muitos dos problemas estão relacionados a um problema comum, mas que ainda não foi identificado ”, Parece familiar?

download grátis do limpador de pc para windows 10

Minha sugestão é que você comece a rastrear o que Panaya chama “Defeitos em todo o sistema” . Rastrear isso manualmente leva uma eternidade - acredite, eu tentei várias vezes. Também é doloroso de fazer ao usar ferramentas ALM legadas, onde tudo o que resta é a capacidade de vincular os defeitos uns aos outros e adicionar um comentário.

Uau, isso ajudou muito! (sente o sarcasmo?). Mas se você não tem escolha de ferramentas agora, então você precisa reservar um tempo para rastrear adequadamente os defeitos de todo o sistema para 'explicar' claramente. por que a linha de tendência do bug está se movendo para cima em direção ao final de um ciclo de teste, e não para baixo.

Se você tiver uma chance, verifique o Panaya Test Dynamix, ele tem SWD embutido no próprio motor que calcula automaticamente o SWD para você on-the-fly.

Defeito amplo do sistema

A teia de aranha - Residindo no ‘Risk Cockpit’ desta plataforma, esta é uma representação poderosa, porém simples, dos 6 indicadores-chave de desempenho adicionais que completam os KPIs mais importantes que todo gerente de qualidade, teste e lançamento deve rastrear.

# 3) Conclusão de requisitos

Os gerentes de QA entendem o risco em um nível mais profundo, que só pode ser realizado com um código ou visibilidade de nível de transporte agregada a cada requisito. Isso requer o conjunto certo de ferramentas.

A ferramenta Panaya atenderá às necessidades de organizações operadas pela SAP que buscam sugestões inteligentes para testes de unidade e análise de risco com base na atividade de transporte.

Este nível de rastreamento está disponível em Panaya Release Dynamix (RDx) .

Conclusão de requisitos

# 4) Conclusão do desenvolvimento

Vivemos em uma era em que os clientes são o rei e isso direciona a estratégia de transformação digital de todas as organizações. Nos dias de hoje, não podemos nos dar ao luxo de nos isolar em nosso pensamento ou em nossa abordagem organizacional para garantia de qualidade de software e entrega.

Nossos modelos ALM tradicionais do passado não foram projetados para o modelo de entrega contínua de hoje. Para combater essa velha maneira de pensar, os gerentes de QA e de teste devem se inserir na ação de desenvolvimento de aplicativos, o que significa ter um pulso na entrega de histórias de usuários.

Não é suficiente “sentar e esperar” que uma história de usuário chegue ao status concluído. Em vez disso, devemos seguir a evolução de uma história de usuário, participar de reuniões diárias do Scrum e falar abertamente sobre os riscos que se desenrolam com mudanças importantes sendo feitas no aplicativo em teste.

# 5) Cobertura do plano de teste

Este é um dos meus KPIs favoritos para rastrear porque não estou relegado a rastrear o sistema, integração, regressão e cobertura UAT sozinho.

No verdadeiro espírito de deslocamento para a esquerda, comecei a aconselhar sobre a importância de rastrear a cobertura de teste de unidade. Parece loucura, certo? Não é, especialmente se você tiver as ferramentas certas para facilitar a execução de testes de unidade sozinho, mas torna até mesmo a captura dos resultados reais (evidências) mais fácil.

Com o recurso de gravação e reprodução de teste integrado do Panaya Test Dynamix, sua participação em testes de unidade disparará. Você não apenas poderá exibir com orgulho uma Matriz de Rastreabilidade de Requisitos mostrando uma cobertura de ponta a ponta, mas também poderá mostrar facilmente os resultados reais para o seu departamento de auditoria, desde a unidade até o teste de regressão.

Rastreabilidade de requisitos

# 6) Análise de risco de mudança

Um risco é inerente a qualquer mudança que fazemos em um aplicativo em teste, mas nem sempre sabemos se estamos testando as coisas certas.

Muitas organizações têm sua própria definição do que 'risco de mudança' significa para elas. No ‘Risk Cockpit’ do Panaya’s Release Dynamix (RDx), você pode eliminar as suposições de rastrear as mudanças com uma Análise de Impacto para seu projeto ou próxima versão.

O RDx calcula sistematicamente o risco de cada requisito e mantém você a par de como ele muda conforme você avança no ciclo de vida da entrega.

Análise de risco de mudança

# 7) Risco de execução de teste

É muito comum para todas as organizações rastrear KPIs como testes criados, testes aprovados, testes automatizados e testes executados, mas que tal rastrear as etapas reais executadas em cada um dos testes?

Você já percebeu que muitos dos plataformas ALM populares não fornece recursos de relatório prontos para o uso para rastrear o progresso da execução da 'etapa' do teste? Quando você tem muitos 'hand-offs' diferentes ocorrendo em um Ciclo UAT , faz sentido controlar o risco de execução de teste e o status, não apenas no nível de teste, mas também no nível do processo de negócios.

Panaya Test Dynamix simplesmente faz isso, out-of-the-box.

risco de execução de teste

# 8) Execução de defeitos

Os defeitos de rastreamento também têm uma conotação negativa inerente.

Além de rastrear defeitos ativos, defeitos corrigidos por dia, defeitos rejeitados e defeitos graves, também sugerimos monitorar a resolução de defeitos no que se refere aos requisitos com escopo definido.

Muitas organizações não adotam uma visão orientada para os requisitos da resolução de defeitos.

Por que esta solução para teste?

Com uma rastreabilidade ponta a ponta incorporada ao Release Dynamix e ao Panaya Test Dynamix, sua organização pode acompanhar o fluxo de trabalho de resolução de defeitos do início ao fim no nível de requisito.

Isso é especialmente útil para gerentes de lançamento, qualidade e teste que buscam uma visão geral de um projeto ou ciclo de lançamento.

Panaya acelera o processo de teste para usuários técnicos e de negócios, reduzindo assim o esforço geral de teste em 30-50%:

  • Gestores: Alertas em tempo real para testes e defeitos e prevenção de gargalos.
  • Usuários empresariais: Documentação automatizada de evidências de teste e defeitos.
  • Analistas funcionais: Automação de atividades de teste repetitivas.
  • Testadores profissionais: Melhora perfeitamente a captura de conhecimento de negócios.
  • Solucionadores de defeitos: Reduz para frente e para trás com os testadores.

O que mais você deve saber sobre esta solução

# 1) Panaya Test Dynamix é uma solução SaaS o que significa que você ganha integração perfeita, atualizações frequentes e indolores, bem como monitoramento de ferramentas de automação no local.

# 2) Ferramentas de colaboração integradas simplifique os ciclos de teste com notificações e ferramentas de comunicação integradas.

A transferência automática das etapas de teste para o próximo usuário elimina o tempo ocioso, alivia gargalos de carga de trabalho e garante fluxos de trabalho ideais.

# 3) Gerenciamento inteligente de defeitos permite que os usuários monitorem os defeitos de forma centralizada, sua resolução e os processos de negócios afetados por eles.

Quando um defeito é encontrado, identifica automaticamente todos os outros testes afetados por ele e bloqueia ou envia notificações aos testadores até que o defeito principal seja resolvido. O defeito resolvido é fechado automaticamente, eliminando a carteira de defeitos.

# 4) Com uma abordagem centrada no processo de negócios para UAT e SIT, Especialistas no assunto multifuncional e geograficamente dispersos validam os ciclos do UAT com base nos processos de negócios reais (aplicativos empacotados).

# 5) Conectores de automação de teste fornecer uma integração completa do Panaya Test Dynamix com as ferramentas de automação existentes para ciclos de regressão eficazes em um mínimo de tempo e esforço com rastreamento holístico e recursos de monitoramento.

# 6) Automação de evidências de teste automatiza o teste manual tradicionalmente gerenciado no Excel e no Word.

Economiza tempo documentando sem esforço cada execução de teste - incluindo evidências de teste e um registro de etapas para reprodução de teste, enquanto reduz o vaivém entre desenvolvedores e testadores. Documentação é pronto para auditoria , garante o cumprimento de todos os padrões de qualidade internos e externos.

# 7) Teste AutônomoSM para SAP permite a criação e manutenção de casos de teste sem toque, para que você não precise mais lidar com as dores associadas à captura de conhecimento de negócios e ao processo de criação e manutenção de scripts de engenharia manual.

Os scripts são personalizáveis, enquanto o aprendizado de máquina oferece validação e sugestões com base na análise de multidões.

como criar um array de tipo genérico em java

# 8) Captura automatizada de conhecimento de negócios - Omega cria automaticamente casos de teste da vida real com base nas atividades do usuário de negócios perfeitamente capturadas na produção usando algoritmos de aprendizado de máquina (SAP).

Conclusão

Os gerentes de qualidade de software e todas as partes interessadas relevantes podem cumprir seus KPIs de teste para impulsionar mais inovação, reduzindo os esforços em 30-50%, sem comprometer o escopo ou a qualidade usando o Panaya.

Padroniza o processo de teste e mede o sucesso, pois todas as partes interessadas adotam a mesma metodologia de teste para obter visibilidade em tempo real sobre todos os ciclos de teste, incluindo UAT em grande escala.

Para obter mais informações, você pode explorar Panaya Test Dynamix .

Deixe-nos saber suas idéias / dúvidas nos comentários abaixo.

Leitura recomendada

^