Qualitativa antes da Quantitativa: Como os Métodos Qualitativos Apoiam uma Melhor Ciência de Dados

Co-autoria com Vicky Zhang

Você já ficou constrangido com a primeira iteração de um de seus projetos de aprendizado de máquina, em que não incluiu recursos óbvios e importantes? Na prática de tentar construir modelos, muitas vezes podemos esquecer a etapa de observação no método científico e ir direto ao teste de hipóteses.

Os cientistas de dados e seus modelos podem se beneficiar enormemente dos métodos qualitativos. Sem fazer pesquisas qualitativas, os cientistas de dados correm o risco de fazer suposições sobre como os usuários se comportam. Essas suposições podem levar a:

  • negligenciando parâmetros críticos,
  • falta de uma oportunidade vital para ter empatia com aqueles que usam nossos produtos, ou
  • interpretar mal os dados.

Neste post, exploraremos como os métodos qualitativos podem ajudar todos os cientistas de dados a criar modelos melhores, usando um estudo de caso do novo modelo de aprendizado de máquina de roteamento lead da Lead, que gerou vários milhões de dólares em receita.

Quais são os métodos qualitativos e como eles são diferentes dos métodos quantitativos?

Poucos cientistas de dados são formalmente treinados em métodos qualitativos. Eles estão mais familiarizados com métodos quantitativos, como testes A / B, pesquisas e regressões. Os métodos quantitativos são ótimos para responder a perguntas como "Quanto a média das pequenas empresas gasta em um anúncio de emprego?", " Quais são as habilidades que tornam alguém um cientista de dados? ", Ou mesmo" Quantas lambidas são necessárias para chegar ao centro de um rolo de papel Tootsie? ”(A resposta é 3. Três licks)

Mas há algumas perguntas que os métodos quantitativos não podem responder, como "Por que os executivos da conta alcançam esse lead em vez daquele que o lideram?" Ou "Como as pequenas empresas tomam a decisão de patrocinar ou não patrocinar um emprego?" a pergunta verdadeiramente profunda: "Por que você quer chegar ao centro do rolo de Tootsie pop?"

Para responder a essas perguntas, os pesquisadores qualitativos contam com métodos como entrevistas em profundidade, observação participante, análise de conteúdo e estudos de usabilidade. Esses métodos envolvem um contato mais direto com quem e o que você está estudando. Eles permitem que você entenda melhor como e por que as pessoas fazem o que fazem e que tipos de significado atribuem a diferentes comportamentos.

Em outras palavras, os métodos quantitativos podem dizer o "o quê", o "quanto" ou "com que frequência"; métodos qualitativos podem dizer-lhe o "porquê" ou o "como".

Cartoon criado por Dave Yeats, gerente de pesquisa da UX, usando o cmx.io

Por que você deve usar métodos qualitativos? Um estudo de caso na geração de leads

Nossa equipe de Geração de Leads recentemente se beneficiou enormemente do uso de métodos qualitativos. Quando um empregador posta um emprego, representa uma oportunidade de receita para o Indeed. Encaminhamos esse empregador a um executivo de contas, que depois ajuda e ajuda o empregador a definir um orçamento de publicidade para patrocinar seu trabalho. Isso aumenta a visibilidade do trabalho e, portanto, a velocidade com que eles fazem uma contratação bem-sucedida. Os empregadores que ainda não gastaram conosco de fato são referidos como "leads".

Algumas pistas são melhores que outras. Queríamos dar aos leads uma pontuação em uma escala de uma a cinco estrelas, o que indicaria nossa melhor estimativa para gastar ou não. Nossa equipe de Product Science decidiu construir um modelo de aprendizado de máquina que classificaria os leads e os direcionaria de forma mais eficaz. Mas por onde começar? Antes deste projeto, tínhamos pouca experiência com pontuação de leads e pouca intuição sobre como seria um bom lead. Como poderíamos saber quais recursos deveriam estar em nosso modelo?

Para responder a essa pergunta, recorremos a pessoas com a maior experiência prática com leads: os próprios executivos da conta. Não só eles são especialistas no que faz uma boa liderança, eles também seriam os beneficiários de nossos esforços. Nós adotamos uma abordagem qualitativa de três vertentes:

  • Observação. Para aprender sobre a experiência de vendas do dia-a-dia, cada membro de nossa equipe fazia sombra de representantes diferentes e os ouvia em chamadas de vendas. Observamos como eles selecionariam o lead que ligaria, como decidiriam o que falar sobre a ligação e como realmente faziam as negociações.
  • Entrevistas Nós nos sentamos com vários gerentes de vendas e representantes de toda a empresa e fizemos perguntas sobre leads que eles haviam decidido ligar ou largar, como "Como você escolhe quais leads ligar primeiro?" Ou "Por que você decidiu deixar essa ligação? ?
  • Análise de conteúdo. Analisamos milhares de respostas abertas a uma pesquisa de executivos de contas em toda a empresa para entender melhor seus pontos problemáticos em relação a leads.

Nós aprendemos muito! Apenas fazendo três estudos qualitativos simples por algumas horas, coletamos uma longa lista de possíveis recursos. Se não nos sentássemos ao lado dos membros da equipe de vendas e observássemos como eles trabalhavam, nunca teríamos obtido essas percepções. Nosso próximo passo foi começar a investigar os dados e validar como eram generalizáveis ??os resultados dos representantes.

Com a intuição que obtivemos com nossos estudos qualitativos sobre os comportamentos e processos de pensamento dos executivos de contas, finalmente criamos um modelo de aprendizado de máquina que gerou milhões de dólares em receita incremental anual. E não paramos por aí: ficamos entrevistando e reeditando os representantes para obter o feedback deles sobre o modelo. Criamos uma nova versão que gerou uma receita incremental anual adicional. E nos certificamos de comercializar nosso novo modelo para que as pessoas soubessem disso.

Em suma, esses estudos qualitativos nos mantiveram fundamentados e criaram empatia com nossos usuários finais. Sem estudos qualitativos, os modelos que construímos estariam fora de contato com a realidade e tornariam mais difícil atender às necessidades de nossos usuários. Com métodos qualitativos, infundimos nossos modelos com intuição e hipóteses de trabalho que poderíamos verificar posteriormente com dados quantitativos.

Onde começar a aprender o básico para métodos qualitativos

No estudo de caso acima, nossos usuários finais eram nossos colaboradores aqui na Indeed. É importante notar que nem sempre é tão simples conduzir estudos qualitativos com usuários externos. Aqui, na verdade, temos uma fantástica equipe de Pesquisas Qualitativas da UX para pesquisar esses tipos de estudos. Encorajamos você a entrar em contato com essas equipes em suas próprias empresas e, se elas ainda não existirem, crie-as. Trabalhe com eles. Sombreie-os. Compre uma cerveja para eles. Eles são maravilhosos!

Mas não pare por aí. Abaixo estão algumas de nossas leituras e recursos favoritos sobre métodos qualitativos, recomendados por ex-acadêmicos aqui na Indeed . Se você é apaixonado por métodos e ciência de dados, confira os trabalhos de ciência de produto e ciência de dados na Indeed !