mabl usa AI para trazer testes de software para a Era DevOps

David: Com o mabl, ela executa testes funcionais em seu aplicativo ou site e então, quanto mais ela aprende, mais ela faz isso. Então, você poderia explicar um pouco sobre sua lógica de aprendizagem?

Dan Belcher: Em termos de saída de teste, um dos grandes problemas neste espaço é que é difícil entender quando o produto está quebrado, versus quando um teste está quebrado. Isso é realmente desafiador porque a saída da maioria das ferramentas de teste é um registro bruto e você deve percorrer todos esses dados técnicos detalhados. Então, uma coisa em que mabl é realmente bom é processar todo o resultado do teste e aprender o que parece normal para esta aplicação, e quando algo está fora do comum. Nós fazemos isso construindo modelos de aprendizado de máquina a partir do teste de saída e prevendo como um aplicativo deve se comportar, observando quando algo não está fazendo o que previmos.

"Um dos grandes problemas neste espaço é que é difícil entender quando o produto está quebrado, versus quando um teste está quebrado".

Quanto mais testes executamos, mais confiável pode ser em termos de comportamento esperado, então, quando vemos algo diferente, podemos reagir a ele. Uma das coisas que a mabl notará é se uma página carrega muito mais devagar em uma execução de um teste do que historicamente. Talvez você tenha alterado uma consulta que inadvertidamente aumenta o tempo de carregamento dessa página. Esse tipo de coisa pode passar despercebida pelos engenheiros de QA e outras ferramentas de teste, mas, como a mabl observou a variação normal nos tempos de carregamento da página toda vez que executamos um teste, ela se torna cada vez mais confiante em suas previsões.

Dan Belcher: Sim, ótima pergunta. A maioria dos clientes com os quais estamos trabalhando é realmente impulsionada pela velocidade e pela inovação. O que eles querem é entregar produtos de alta qualidade aos seus clientes com muita rapidez. mabl é menos sobre economizar custos e mais sobre como fazê-lo para que você possa inovar e iterar mais rápido. A maneira como realmente acabou jogando fora é que o QA pode descarregar o fardo de uma série de testes rotineiros de ponta a ponta, e então eles conseguem ser mais proativos, concentrando-se em definir mais e melhores cenários de teste, realizando análise de causa raiz , trabalhando em segurança, usabilidade, etc.

Para ilustrar, eu certamente estive em várias equipes de software em que dizemos que realmente queremos ser tão receptivos (para usuários móveis) como podemos, nunca chegamos a testar a capacidade de resposta porque estamos apenas tentando acompanhar o desenvolvimento em nossos principais clientes (como o Chrome na área de trabalho). Se a automação de teste tivesse sido tratada por um serviço como o mabl, teríamos tido tempo para investir mais no suporte para dispositivos móveis.

David: você se refere a mabl como "ela" em todo o site e o produto que é incomum para a indústria de tecnologia onde muitas das personificações da marca são masculinas. Você poderia compartilhar um pouco sobre essa escolha e também onde o nome da empresa se originou?

Estamos preocupados com a tendência de as pessoas criarem ferramentas e pessoas baseadas em AI para interpretar as marcas baseadas em AI como sendo muito complexas e avançadas. Nós não pensamos em nós mesmos como uma empresa de ML ou de AI, pensamos em nós mesmos como uma empresa de testes que simplesmente usa uma grande quantidade de tecnologia muito complicada em segundo plano, e pensamos que a marca mabl reforça isso. A idéia de mabl é realmente simples; É apenas um serviço que pode aprender como funciona o software, escrever alguns testes, executar os testes, informá-lo quando algo quebrar. É muito difícil do ponto de vista da implementação, mas essa não é a preocupação dos usuários.

David: Sim, eu gosto da abordagem focada no cliente, porque eu penso em muitas marcas, uso apenas um pouco de AI ou Machine Learning e, no topo da página inicial, é como AI para isso ou Machine Learning para isso, e é como Isso realmente não tem nada a ver com a necessidade e o problema do cliente … Então, quais são as maiores ameaças do mabl?

Dan Belcher: vemos duas ameaças principais. Um problema com a QA não ter tempo suficiente é tão agudo agora é que não temos tempo para investir em melhores maneiras de fazer o trabalho. Algumas empresas com as quais falamos estão desistenciadas. Eles dizem tudo bem, olhe, tentamos fazer a automação de testes, investimos muito e os testes são muito escamosos e quebradiços, e toda vez que mudamos nosso produto, todos os testes se quebram e, portanto, o que decidimos é mudar nossa estratégia para não fazer testes muito funcionais ou de ponta a ponta e permitem que nossos clientes encontrem os erros "Espero que possamos mostrar às pessoas que há uma maneira melhor.

O outro risco é muito relacionado. Este não é um problema fácil a partir de uma perspectiva de tecnologia que estamos tentando resolver, e nunca foi feito antes. Estamos aplicando novos modelos de aprendizagem de máquinas ao QA, combinando-os com outras ferramentas de análise, fazendo isso em escala, em tempo real, etc. E, desse modo, esse risco é sobre nós e nossa capacidade de inovar; podemos resolver esse problema de forma geral que milhares de clientes acham útil?

David: Com seus primeiros clientes, você poderia falar onde eles estão encontrando o maior valor e como você está mudando seu desenvolvimento de software real?

Por exemplo, encontramos todos os seus links quebrados em toda a sua aplicação, site, documentos e assim por diante. Encontramos todas as páginas que têm um erro de JavaScript que é carregado quando executamos um teste. Monitoramos os tempos de carregamento das páginas e deixamos os clientes saberem quando o tempo de carregamento de uma página é alterado ou a execução de um teste muda. Encontraremos imagens visuais em páginas.

"Encontramos todos os seus links quebrados em toda a sua aplicação, site, documentos, e assim por diante".

Então, esse recurso de rastreamento que realmente pensamos ser uma parte bastante pequena do valor do cliente, revela-se também muito importante para o usuário porque eles não têm tempo para sair e procurar por cada erro de JavaScript ou todo link quebrado, e assim adiante. E assim, dentro de alguns minutos de se inscrever para o mabl, eles estão recebendo esses insights que, de outra forma, eles não veriam.

Texto original em inglês.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *