Quando os dados e a pesquisa são desperdiçados

Charles Lambdin em Ovo de Colombo Seguir 6 de maio · 11 min ler

Prólogo

Em 26 de setembro de 1983, o coronel Stanislav Yevgrafovich Petrov chegou ao trabalho em uma base militar secreta, Serpukhov-15, casa do sistema de alerta antecipado Oko. Algumas horas depois, o alarme disparou. Uma sirene uivou, e luzes vermelhas piscaram no terminal, indicando um míssil dos EUA. A tela vermelha iluminada por trás exibia a palavra “lançamento”. Horrorizada, Petrov olhou incrédulo. Um minuto depois, o sistema indicou que outro míssil balístico intercontinental havia sido lançado, seguido por um terceiro, quarto e quinto. Petrov tinha uma decisão a tomar: a URSS deveria lançar seus mísseis?

Embora outra fonte não tenha detectado mísseis, o dever declarado de Petrov era basear sua decisão na leitura do computador, que dizia que a confiabilidade de seus dados era a "mais alta". Em vez de seguir ordens, Petrov fez um telefonema. Ele sentiu que havia uma chance de 50% de ele estar certo. Talvez ele tivesse um tipo de dedução Sherlockiana. O sistema de alerta antecipado da Oko possuía cerca de 28 níveis de segurança, todos eliminados. Petrov mais tarde disse que a certeza absoluta do sistema de que o ataque era real foi precisamente o que o deixou cético sobre isso. De certa forma, os dados eram tão “perfeitos” que ele suspeitava que fosse BS.

Tomamos decisões regularmente como parte de nossos trabalhos. Eles podem não impedir a Terceira Guerra Mundial, mas eles ainda impactam a vida dos usuários e os resultados financeiros da empresa. Decisões são tomadas em vários estados de incerteza. Para lidar com isso, naturalmente procuramos dados. Muitas vezes, no entanto, queremos dados mesmo quando não produzirão melhores decisões. Muitas vezes queremos dados por razões psicológicas , mesmo que isso não sirva tecnicamente como informação. Isso pode ser considerado uma forma de desperdício.

Por exemplo, tendemos a preferir dados altamente correlacionados. Quanto mais ficamos, mais confiantes nos sentimos, ignorando que somos nós que estamos fazendo a amostragem! Isso é um pouco como a piada de Wittgenstein sobre a compra de mais cópias de um jornal para aumentar a confiança em uma notícia. Ou considere o “efeito disjunção”. Às vezes, tratamos dados que são irrelevantes como o fator decisivo motivacional. Racionalmente, se sabemos que faremos algo se X ocorrer, e sabemos que faremos isso de qualquer maneira, se X não ocorrer, então X não deveria importar. (Isso é conhecido como "Princípio da Coisa Segura" de Leonard J. Savage.) Psicologicamente, no entanto, muitas vezes ainda sentimos a necessidade de saber por que estamos fazendo isso, então vamos pagar um bom dinheiro para saber o valor de X, mesmo que isso não mude nada.

Precisamos de um motivo para decidir; e, às vezes, qualquer um fará, contanto que tenhamos um. Embora normal, esse comportamento pode custar muito dinheiro às organizações. Considere quanto é gasto reunindo e processando dados essencialmente inúteis? Quantas pessoas estão envolvidas na coleta? Quanto tempo vai para isso? Quanto é gasto rolando esses dados até o topo para decisões que poderiam ser facilmente transferidas para onde os dados residem? Quanto dos dados recolhidos se torna informação acionável? Que decisões resultam? Eles são comprovadamente melhores do que as decisões tomadas sem isso? Como o comportamento realmente muda como resultado?

Como podemos começar a separar melhor o trigo da informação do lixo dos dados inúteis? O que podemos começar a fazer de forma diferente se levássemos a sério esse conceito de “desperdício de dados”? Alguns dados são superproduzidos, e alguns não são úteis, tornando-se um tipo de movimento desnecessário. Ambos são formas de desperdício. Um monte de dados é francamente BS, como o que o sistema Oko defeituoso estava alimentando a Stanislav Petrov.

Quando os dados são desperdiçados

Os dados da BS geralmente vêm de um processo de pesquisa com defeito. Tal pode ocorrer facilmente quando aqueles que fazem a pesquisa não são treinados em estatística. (Infelizmente, isso acontece frequentemente mesmo quando eles são.) Quando se trata de dados de BS, existem alguns principais culpados. Os resultados da pesquisa, por exemplo, são notoriamente enganosos. Simplificando, as pessoas frequentemente deturpam as pesquisas ou, se isso for muito forte, simplesmente não podem responder ao que está sendo perguntado. Então, eles racionalizam, imaginam, ou simplesmente colocam algo para baixo para fazer a maldita coisa feita . As perguntas da pesquisa muitas vezes também são sutilmente enviesadas, confundindo ainda mais os resultados. Como Erika Hall (2015) notou, isso torna as pesquisas perigosas quando combinadas com sua pura facilidade de “explodir”. Adicione a isso a ilusão de objetividade que os resultados da pesquisa quantitativa tendem a fornecer, e temos uma mistura potente para sermos enganados.

Em geral, antes de analisar os resultados de uma pesquisa, devemos primeiro nos interessar mais em quem a criou, quem pagou por ela e a redação das perguntas. Além disso, mesmo quando os inquéritos se informar, eles ainda não são frequentemente muito útil. Por exemplo, uma pesquisa mostra que as pessoas estão muito insatisfeitas com alguma coisa. Isso pode ser um bom dado, mas geralmente confirma apenas o que já era conhecido. E então, o que fazer sobre isso? A satisfação pulsante é muitas vezes inútil. Não foi mostrado para ser preditivo do comportamento e freqüentemente não ajuda a melhorar a situação. Ou faça pesquisas com os funcionários, que muitas vezes dirão mais o que pensam que devem dizer, em vez de como realmente se sentem.

Outro culpado comum são as correlações – alguém senta com dados não coletados para testar uma hipótese a priori e obtém correlação feliz. Eles encontram alguns resultados muito interessantes, que podem até receber muita publicidade. Isto é como jogar alguns dados no ar e notar que alguns surgiram seis. Isso acontece quando nos envolvemos em “dragagem de dados”, o equivalente analítico da falácia do Texas. (Em vez de pintar um alvo e ver se conseguimos acertar, encontramos alguns buracos de bala que estão próximos e pintam um alvo em volta deles.)

Na maioria das organizações, há um preconceito para certas formas de aprendizado. Estranhamente, a pesquisa qualitativa tende a ser erroneamente descartada, enquanto práticas menos úteis são inquestionavelmente “abençoadas” como métodos quase monopolísticos de descoberta. Esse duplo padrão expõe uma ausência preocupante da única ferramenta de pesquisa que realmente conta: a genuína curiosidade e o desejo de aprender o nosso caminho além das suposições atuais. A ilusão de objetividade dos resultados quantitativos ignora que eles são, em última análise, produzidos por uma série de decisões qualitativas .

Seja qual for a estatística a ser apresentada é o resultado de uma longa cadeia de decisões, de como as variáveis foram selecionadas, como foram definidas operacionalmente, do protocolo de pesquisa e / ou desenho experimental, até como os dados foram coletados, limpos, amostrados, como a escolha da análise utilizada. Os dados quantitativos são tão bons quanto as decisões que foram tomadas, e isso é verdade, independentemente de quão caro tenha sido. Destacar isso, como muitas outras coisas, pode exigir mudança de cultura. Se ainda estamos recompensando as pessoas apenas pela criação de mais produção, mais trabalho e mais ocupação , então, estamos essencialmente incentivando as pessoas a gerarem mais desperdício, seja na forma de recursos ou "dados".

Quando a pesquisa é desperdiçada

Quando se trata de dados, precisamos aprimorar nossos próprios “sistemas de aviso de BS”. Para fazer isso, precisaríamos aumentar o nível geral de “alfabetização estatística”. Essa alfabetização não é apenas baixa, mas parece haver pouca apreciação de que deveria ser levantado. Considere, não há muitos inexperientes em física correndo por aí fingindo serem físicos. Por que achamos que deveria ser diferente para estatística, design experimental e metodologia de pesquisa? Não deveria, e ainda é. As pessoas falam livremente quando se trata de reivindicações estatísticas, como se não houvesse expertise relevante genuína necessária. Isso, em si, é BS.

Vivemos na era do “big data” e, embora os executivos saibam que todos “aprendem a codificar”, aparentemente ninguém deveria estar aprendendo como interpretar os dados. Essa ignorância gera desperdício. Afinal, se uma certa proporção de dados é um desperdício, o mesmo acontece com a pesquisa que os produziu, bem como com todo o trabalho que envolve o abatimento, o processamento, o armazenamento e a geração de relatórios. Uma forma de reduzir esse desperdício é aprender e dizer “não” aos pedidos de pesquisa da BS.

Embora eu não queira entrar muito nisso, os pedidos de pesquisa são muitas vezes um jogo no sentido literal da Análise Transacional (Berne, 1964). Isso significa que há um engodo (a isca), um motivo oculto (a razão real para a interação) e um cruzamento (quando a verdade aparece). A isca ou configuração é o convite para usar os conhecimentos de pesquisa para resolver uma questão em aberto. Motivos ocultos comuns incluem: 1. Querer aumentar a confiança em uma decisão já tomada; 2. Querendo obter dados para persuadir os outros sobre uma decisão já tomada; e / ou 3. Querer mostrar que a organização leva a sério a pesquisa e a experimentação. (Existem outros, mas isso acontece.) O cruzamento é quando o stakeholder gira em torno de atacar o pesquisador por não oferecer os resultados realmente comprados.

Os pesquisadores se encontram nessa posição muito . Aprender a farejar e recusar o jogo antecipadamente é outra maneira de reduzir o desperdício. Podemos pensar sobre isso em termos do Princípio da Sure Thing de Savage, discutido acima. Novamente, se A vai acontecer dado X, e A vai acontecer dado que não X, então X é irrelevante para A. Simbolicamente, P (A | X) = P (A | ~ X). Aqui, A é uma decisão e X é pesquisa. Se a pesquisa feita é irrelevante para o processo de tomada de decisões, então a pesquisa solicitada é um desperdício. Este é tipicamente o caso em organizações que ainda permitem a priorização do HiPPO. A “pesquisa” que está sendo feita é em grande parte apenas teatro.

Em outras palavras, se a decisão (A) não for impactada pela pesquisa (X), então não faça a pesquisa, ponto final. Se a decisão parece fora da mesa porque já foi feita, então chame isso. Se isso for negado, obtenha um compromisso inicial de que o plano será alterado com base em novos aprendizados. Se o sucesso do plano atual depender de certos resultados, chame a atenção para isso. Se a validade da pesquisa já feita é questionada porque ela não gerou os “resultados certos”, então chame isso. Se as pessoas continuarem pedindo mais dados, ou seja, “a pesquisa continuará até que os resultados melhorem”, então chame isso. É BS – e é um desperdício.

OK, então digamos que você é o pesquisador e eu sou o stakeholder. Para o seu próprio kit de ferramentas, aqui estão alguns “avisos” comuns, para que você saiba que algo está acontecendo. Chame-os de "cheiros". Eles dizem que ou eu tenho um motivo oculto, estou basicamente te preparando para falhar, ou simplesmente não sei do que estou falando.

Vamos dizer que eu …

… Julgar a utilidade dos dados com base em seu alinhamento com uma visão particular. (Sou advogado?)

… Outro resultado sobre o seu, sem interesse em como ambos foram gerados. (Mais uma vez, estou mais interessado em aprender o meu caminho a seguir ou em discutir um caso?)

… Tenha algumas estatísticas impressionantes em um slide do PowerPoint, mas evite perguntas sobre de onde elas vieram. (Eu estou agindo como um político.)

… Manter estatísticas de amostragem para se adequar a uma narrativa desejada, em desacordo com a conclusão geral do esforço geral de pesquisa. (Eu estou escolhendo cereja.)

… Querem saber se os seus resultados são estatisticamente significativos, mas não podem ter uma conversa coerente sobre intervalos de confiança, tamanhos de efeito e significado prático. (Pessoas que não entendem de significância estatística não devem basear nenhuma decisão sobre isso em primeiro lugar.)

… Faça uma grande parte do significado de algum resultado, ignorando o tamanho do efeito e o significado prático. (Digamos que eu aumentei significativamente a satisfação, o que não é preditivo de comportamento de qualquer maneira, e não vamos esquecer que eu aumentei apenas de 60% para 63%.)

… Continue alegando que algo é preditivo de alguma outra coisa, com base em uma correlação de r = .2 ou .3 ou algum outro resultado comum. (Se a correlação for r = 0,25, um tamanho de efeito quase médio, o grau de sobreposição entre as variáveis é r 2 = 6%, dificilmente justificando qualquer alegação de “previsão”.)

… Pense que o significado é a probabilidade de os resultados serem devidos ao acaso. (Embora muitos pesquisadores pensem que isso não é verdade ).

… Pense que, se um resultado for significativo, isso significa que a mesma descoberta será significativa novamente se o estudo for repetido. (Isso significa que não existe tal coisa.)

… Pense, por qualquer motivo, que um único resultado quantitativo significativo é mais notável do que os dados qualitativos da pesquisa feita corretamente. (Meu viés está aparecendo?)

… Critique sua pesquisa qualitativa por não ter um “tamanho amostral representativo”. (A ignorância estatística óbvia não é obstáculo para a perícia fingida).

… Tout um resultado significativo muito interessante que contradiz a pesquisa qualitativa feita até agora. (Vá mais longe. Há boas chances de que o resultado elogiado seja falso. Veja a Lei de Twyman.)

… Quero que você pergunte aos usuários / clientes / partes interessadas o que construir e chame de “pesquisa”. (Sim, eu pesquiso usuários – eu tenho um superusuário! O nome dele é Clark Kent, e eu realmente não preciso fazer pesquisa … então me deixe em paz.)

… Quero que você peça às pessoas para prever seu próprio comportamento futuro e basear suas decisões nele. (Sim, eles nos disseram qual projeto eles gostam e o que farão com isso. Nós cobrimos nossas bundas, certo?)

… Querem artefatos de pesquisa criados (personas, mapas de experiência, etc.), mas não os use para realmente direcionar decisões. (Mas eles parecem tão legais em nossas paredes de cubo, não são?)

… Empurre um modo particular de agregar os dados, quando outras formas pintam uma imagem diferente. (Diga o que quiser. Quando eu quebrar os dados e forçá-lo a passar por essa análise inadequada, ele apoia as decisões que tomamos a portas fechadas há seis meses.)

… Desconto de análises alternativas e interpretações dos mesmos dados sem uma boa razão. (O que você quer dizer com interpretação de dados é sempre um empreendimento qualitativo? Pare de falar sobre lógica e outras coisas. Além disso, eu gosto de descontos.)

… Ignorar variáveis relevantes ao incluí-las altera os resultados. (Bem, basta olhar para a nossa velocidade! Pare de falar sobre o desperdício de esperar e o custo do atraso!)

… Ignore confusões gritantes. (Confuso schmonfound. Quem se importa se todos os participantes que não bebem não podem por razões médicas?)

… Parece pensar que fazer conclusões científicas requer estatísticas inferenciais.

… Acha que os dados podem substituir o pensamento crítico e a lógica. (Espere aí. Essa é a era do big data, lembra? Certamente não é a era da lógica e do pensamento crítico!)

O tweet de Hall acima está no local. Muitas vezes as pessoas que insistem em “mais dados” não são qualificadas para interpretar os dados solicitados em primeiro lugar. (Eu pessoalmente não chamaria isso embora ?.) O principal argumento aqui é que aqueles que estão pesquisando precisam melhorar a verificação das partes interessadas. Temos o direito de entrevistar clientes em potencial, e se não parecer que a pesquisa terá valor agregado, por que fazê-lo?

Nós só estaríamos nos preparando para falhar.

Evite o teatro de pesquisa. O teatro de pesquisa só produz desperdício de dados.

Para encerrar, para os interessados, aqui está um pouco mais sobre Stanislav, que forneceu algumas das inspirações para este post.

Depois

De certa forma, foi o próprio sistema interno de alerta de BS de Petrov que o fez duvidar dos dados do sistema Oko em Serpukhov-15. Foi notado que, apesar de ser um coronel, Petrov era mais um especialista em TI treinado em civis do que um soldado. Se algum de seus colegas estivesse de plantão naquele dia, em vez dele, provavelmente não estaríamos aqui hoje.

Quando Petrov não aumentou a ordem para retaliar, soube que tinha feito a ligação certa em cerca de vinte minutos. Ele celebrou bebendo meio litro de vodka e dormindo por 28 horas.

Se ele tivesse decidido o contrário, metade da população dos EUA teria sido eliminada, desencadeando uma resposta completa dos EUA e dando início à Primeira Guerra Mundial. Muitos disseram que sua decisão naquele dia salvou o mundo. Em maio de 2017, Stanislav Petrov faleceu sem muita atenção no subúrbio de Moscou de Fryazino. Ele tinha 77 anos.

Referências

Berne, E. (1964). Jogos que as pessoas jogam: A psicologia das relações humanas. NY: Grove Press, Inc.

Hall, E. (2015). Em pesquisas. Médio. Obtido em 30 de abril de 2019 em: https://medium.com/mule-design/on-surveys-5a73dda5e9a0 .

Savage, LJ (1954). Os fundamentos da estatística . EUA: John Wiley & Sons, Inc.