Como tornar as entrevistas técnicas um pouco menos horríveis

Rachel Thomas Blocked Desbloquear Seguir Seguindo 5 de março de 2017

Tudo sobre o atual processo de entrevista na tecnologia está quebrado . Eu suspeito que, não importa o que, ser avaliado e fazer julgamentos sobre os outros para uma decisão que tenha um grande impacto em você, nunca será divertido – especialmente porque ambos têm apenas um tempo limitado para o processo. No entanto, acho que há muito espaço para fazer entrevistas tecnológicas um pouco menos terríveis do que são atualmente.

A temível entrevista do quadro branco! Foto do chat #WOCinTech

Qual é o seu objetivo em entrevistar candidatos? Se você respondeu “contratar o melhor candidato”, você deve reconsiderar. Formar a melhor equipe é uma meta que melhor atenderá sua empresa. Será que encontrar candidatos com os mesmos pontos fortes e com o mesmo background que você adiciona muito à sua empresa? Ou esses candidatos semelhantes também podem ter as mesmas fraquezas, os mesmos pontos cegos e as mesmas lacunas de habilidades que você tem? Que pesquisa sobre o desempenho da equipe você deve usar ao decidir quem e como contratar?

Indivíduos mais inteligentes! = Equipe mais inteligente

Uma equipe de pesquisadores da CMU e do MIT publicou uma série de estudos na Science mostrando que os indivíduos mais inteligentes não resultaram nas equipes mais inteligentes e que os QIs individuais não foram mapeados diretamente para a inteligência coletiva de uma equipe. As equipes mais inteligentes tinham as seguintes 3 características:

  • os membros contribuíram de forma mais igualitária em vez de deixar 1 ou 2 pessoas dominarem
  • membros pontuaram mais alto na leitura de estados emocionais complexos dos rostos das pessoas
  • tinha mais mulheres. É isso mesmo, ter mais mulheres em uma equipe previa que a equipe teria um desempenho melhor.

Mesmo se você pudesse reunir uma equipe que consistisse apenas nos míticos “ninjas rockstar de 10x”, ela teria um desempenho pior do que uma equipe de mulheres qualificadas que são boas em ler estados emocionais.

Então, o que sabemos sobre como a contratação tende a funcionar na prática – os comportamentos das empresas estão alinhados com essa pesquisa? A resposta, como veremos, é 100% “não”!

As pessoas gostam de contratar pessoas como elas

A Triplebyte, uma empresa de recrutamento técnico, realiza entrevistas técnicas e depois envia os melhores candidatos para entrevistas nas startups de maior prestígio. Eles coletaram dados extensos, tanto de mais de 300 entrevistas técnicas quanto de como esses candidatos se saem ganhando ofertas de emprego. O resultado número 1 da pesquisa da Triplebyte é que “os tipos de programadores que cada empresa procura geralmente têm pouco a ver com o que a empresa precisa ou faz . Em vez disso, eles refletem a cultura da empresa e os antecedentes dos fundadores ”.

O principal conselho da Triplebyte para quem procura emprego é ler as biografias dos fundadores e candidatar-se a empresas nas quais a CTO compartilha sua experiência . Uma vez que apenas 3% do financiamento de capital de risco vai para as mulheres e menos de 1% vai para os fundadores de negros , este conselho será difícil de seguir para candidatos de grupos sub-representados ou com origens não tradicionais. Quão raro é para um fundador pensar que um candidato da mulher negra o lembra de si mesmo? Antes de sugerir que a solução é apenas para mulheres e pessoas de cor para fundar mais empresas, lembre-se de que os investidores preferem ideias lançadas por um homem mais do que um tom idêntico de uma mulher, e que de empresas financiadas, aquelas com um fundador de mulheres negras Atingir uma média de apenas US $ 36.000 em comparação com uma média de US $ 1,3 milhões para empresas fundadas por homens brancos.

Foto do #WOCinTech Chat

As pessoas pensam que ser inteligente significa conhecer as mesmas coisas que eles sabem. Os entrevistadores não percebem que são ruins em julgar o quanto uma pergunta testa a inteligência e quanto ela testa a familiaridade não essencial com conceitos específicos da perícia do entrevistador. Para elaborar perguntas da entrevista, isso significa que você deve obter um engenheiro com um histórico muito diferente da pessoa que criou uma pergunta para examinar essa questão e confirmar como seria difícil para alguém sem experiência em [inserir estrutura ou conceito não essencial ].

Eu já estive em uma equipe onde o gerente frequentemente ignorava o feedback da equipe das entrevistas para tomar decisões de contratação unilateralmente. O único padrão que pude encontrar foi que ele gostava de candidatos semelhantes a ele e tinha um efeito desmoralizante no moral da equipe para ter nosso feedback ignorado.

Negativos Falsos

Vozes poderosas em tecnologia deram o conselho para “evitar falsos positivos” (contratar acidentalmente funcionários que não são bons) a todo custo, mesmo que isso resulte em mais falsos negativos (rejeitar acidentalmente candidatos que teriam sido ótimos) . Steve Yegge, engenheiro sênior e gerente do Google há 11 anos, escreve: “O Google tem uma taxa de falsos negativos bem conhecida , o que significa que às vezes afastamos pessoas qualificadas, porque isso é considerado melhor do que às vezes contratar pessoas não qualificadas. Esta é realmente uma coisa de toda a indústria, mas o mostrador se torna diferente em diferentes empresas. No Google, a taxa de falsos negativos é bastante alta. ”Max Levchin, co-fundador e ex-CTO do PayPal, diz sobre os primórdios do PayPal:“ Há alguns contos lendários sobre mim que não contratam pessoas porque usaram a palavra errada em uma entrevista… Tenho certeza que tivemos muitos falsos negativos, mas temos pouquíssimos falsos positivos . ”

Joel Spolsky, cofundador do Stack Overflow, ecoa esse conselho, acrescentando que “se você rejeitar um bom candidato, quero dizer, acho que em algum sentido existencial uma injustiça foi feita, mas, ei, se eles são tão inteligentes, não preocupe-se, eles receberão muitas ofertas de emprego . ”Isso seria reconfortante se os falsos negativos fossem aleatórios e ninguém experimentasse mais do que alguns. No entanto, se os processos de entrevista de uma indústria inteira forem tendenciosos contra um grupo específico de pessoas, os membros desse grupo terão dificuldade em ser contratados em qualquer lugar , independentemente de quão talentosos eles sejam. Considere falsos negativos à luz das duas histórias seguintes sobre as pesquisas de emprego de um engenheiro negro e um engenheiro trans.

  • Justin Webb, engenheiro de software com uma década de experiência, que havia acabado de se formar no Hack Reactor (a academia de codificação mais seletiva e que possui uma taxa de colocação de 99% ) era o único estudante negro em sua classe e o único que Não consegui encontrar um emprego dentro de 6 meses de graduação. Webb descreve seu processo de entrevista no GitHub como típico do que ele enfrentou em muitas empresas. Em um ponto, o que ele acreditava ser a entrevista final para o trabalho acabou por ser apenas a quarta rodada em um processo de 6 etapas. Github acabou por rejeitá-lo, dizendo que eles não o viam como um bom ajuste, apesar de ele ter passado no seu mais recente desafio de entrevista . "Se a maneira como eu passei no teste não foi o suficiente, eu poderia ter aprendido o caminho certo para obter as respostas certas", disse Webb. " Mas ouvir 'certo' não era certo o suficiente era frustrante ."
  • Fevereiro Keeney, gerente de engenharia do GitHub e uma mulher trans, escreve “ minha carreira se tornou um teste A / B em gênero . Com o claro 'vencedor' sendo do sexo masculino. ”Nos primeiros 15 anos de sua carreira em tecnologia, ela se apresentou como homem e recebeu uma oferta toda vez que teve uma entrevista no local. Depois que ela fez a transição, ela passou um ano procurando emprego, recebendo inúmeras rejeições. Keeney relata que no meio da transição, “Finalmente, um dia, eu desisti . Fui a uma entrevista sem esmalte, sem brilho labial. Eu me apresentei o mais masculino possível. E eis que: recebi uma oferta. "

Keeney conta: “Em algumas ocasiões, notei uma clara mudança antagônica quando o entrevistador percebeu que eu era trans. As perguntas ficaram injustamente difíceis e o tom mais profundamente interrogatório. Não é difícil garantir que um candidato não seja bem-sucedido em uma entrevista, se você estiver realmente determinado a miná-lo . ”Ela escreve sobre a frustração das entrevistas que correram bem, onde houve várias rodadas e onsites e, finalmente, no final. ser rejeitado com base em algo que foi discutido como um não-problema na primeira tela do telefone.

É fácil para Spolsky dizer que falsos negativos não são um grande problema, mas é brutal para Webb ou Keeney aguentarem um desanimador 12 meses de procura de emprego, recebendo rejeições surpreendentes após entrevistas que correram bem. As empresas com processos de entrevistas tendenciosas não estão cientes de quantas pessoas negras, latinas e trans negativas estão rejeitando quem teria feito excelentes funcionários, e todos estão perdendo.

Foto do #WOCinTech Chat

Se possível, rastreie as pessoas que você rejeita para ver se alguma dessas rejeições foi falsa negativa. Trek Glowacki, um engenheiro de software da startup de marketing Popular Pays, escreveu “Eu tenho sido o Twitter seguindo as carreiras de pessoas que entrevistamos, mas transmitimos no meu último show. Acontece que estávamos quase sempre errados . Nós tínhamos um grupo chamado 'Bar Raisers' que torpedeava principalmente candidatos que não possuíam 'Fundamentos do CS'. Nós passamos tantas pessoas boas ”.

Marco Rogers, gerente de engenharia da startup de tecnologia Clover Health, pontuou acertadamente: “ Às vezes, a realidade do privilégio é tão sutil quanto a falta de escrutínio extra quando se está tentando conseguir um emprego”.

Claro, consistente, orientado por dados

É comum na tecnologia que os entrevistadores tenham sua própria pergunta de entrevista com animais de estimação, e que cada candidato a um cargo seja entrevistado por diferentes grupos de entrevistadores, recebendo, assim, diferentes perguntas. Em muitas empresas, os entrevistadores produzem um simples voto binário de contratação / não contratação (em oposição à coleta de dados em vários critérios). Algumas das perguntas da entrevista podem ter pouco ou nada a ver com o trabalho diário necessário para o cargo.

Seu processo de entrevista deve seguir as quatro diretrizes simples a seguir:

  • Assemelhe-se ao trabalho real que o candidato estaria fazendo em seu trabalho
  • Rubricas claras
  • Consistente e padronizado
  • Não tem um caminho rápido para candidatos de elite

Vamos ver cada um deles com mais detalhes.

Assemelhe-se ao trabalho real que o candidato estaria fazendo em seu trabalho.

O desenvolvedor Yegor Bugayenko (autor de um livro altamente cotado sobre programação orientada a objetos) escreve sobre o enorme desperdício de tempo que foi quando a Amazon o enviou para uma entrevista que consistia em quatro horas de perguntas sobre o algoritmo de whiteboarding. Se o recrutador tivesse dito: "Estamos procurando um especialista em algoritmo", ele teria recusado e tanto ele quanto a Amazon poderiam ter evitado perder tempo . “Claramente, não sou especialista em algoritmos. Não faz sentido dar-me perguntas sobre a árvore binária; Eu não conheço essas respostas e nunca estarei interessado em aprendê-las ”, escreve Bugayenko.

Foto do #WOCinTech Chat

Thomas e Erin Ptacek , ex-fundadores e diretores da Matasano, sugerem a construção de um teste para uma posição de desenvolvedor web, tomando um aplicativo que você escreveu, removendo alguns recursos (como pesquisa ou a atualização do pedido do cliente), empacotando o aplicativo com todos seus ativos em uma máquina virtual, entregue-os ao candidato e peça-lhes que adicionem novamente o recurso removido. Popular aplicativo de comunicações O Slack construiu uma equipe de engenharia que é mais diversificada do que muitas outras empresas de tecnologia, e a diretora de engenharia da Slack, Julia Grace, descreveu um processo semelhante de um desafio de codificação do mundo real como parte da entrevista de engenharia do Slack. Embora Matasano e Slack dêem esses desafios como tarefas domésticas, acho que eles também poderiam trabalhar como parte de uma entrevista no local [veja a próxima seção para o debate sobre levar para casa]. Por exemplo, a equipe de dados da Airbnb da Airbnb oferece aos candidatos um projeto para trabalhar durante o local, no qual eles têm algumas horas para trabalhar sozinhos, mas podem fazer perguntas à equipe durante esse período.

A Lever, uma empresa iniciante de tecnologia que desenvolve softwares de recrutamento populares usados pela Netflix, Reddit, Yelp e Lyft, descreve as avaliações falsas de códigos como parte fundamental de seu próprio processo de entrevista para engenheiros de software. O engenheiro da Lever, Zach Millman , escreve : “A resolução de problemas e a realização de tarefas são importantes, mas idealmente também contratamos engenheiros que são excelentes em design, nomenclatura, teste, manutenção, dimensionamento, extensibilidade, etc. – todas essas coisas sem glamour que realmente tornam os projetos de software bem-sucedidos e sustentáveis ”e que as análises de código simuladas são projetadas para atingir esses valores. É importante ressaltar que as análises de código falso avaliam as habilidades de comunicação e a priorização de um candidato.

Rubricas claras

Pesquisas descobriram que, quanto menos bem definidos os critérios para uma decisão de contratação, mais as justificativas e as justificativas post-hoc desempenham um papel nas decisões. Um estudo realizado pelos pesquisadores de Yale intitulado “ Critérios construídos: redefinindo o mérito para justificar a discriminação ” descobriu que quando um candidato masculino tinha mais experiência prática e uma candidata tinha mais experiência acadêmica, as pessoas escolheram o candidato masculino e classificaram a experiência prática como mais importante. No entanto, quando os papéis foram invertidos (o homem teve mais experiência acadêmica e a experiência mais prática da mulher), as pessoas ainda escolheram o candidato do sexo masculino e, em vez disso, classificaram a experiência acadêmica como mais importante. Esse efeito foi atenuado ao forçar as pessoas a decidirem sobre seus critérios antes de examinar os aplicativos .

Elena Grewal, diretora interina de ciência de dados do Airbnb, identificou que as mulheres estavam sendo desproporcionalmente eliminadas durante a parte do processo de entrevista. “Analisamos de perto e percebemos que as pessoas que estavam avaliando o exercício não tinham uma classificação clara, então mudamos isso e deixamos claro o que estávamos procurando, fizemos a classificação consistente , e se uma pessoa teve sucesso, foram movidos para a próxima rodada. ”Desde que instituímos essa mudança, a porcentagem de mulheres na equipe de ciência de dados dobrou de 15% para 30% .

O exercício de Slack é classificado contra um conjunto de mais de 30 critérios predeterminados. Conforme discutido no estudo de Yale acima, a decisão sobre uma rubrica de pontuação clara antes de avaliar os candidatos reduz o viés. Os Ptaceks recomendam coletar o máximo de dados possível e que esses dados sejam fatos objetivos, como: cobertura de teste de unidade, complexidade algorítmica e manipulação de um caso de canto conhecido.

Consistente e padronizado

Todos os candidatos devem receber o mesmo teste, fazer as mesmas perguntas e devem ser classificados da mesma maneira. Uma forma de o Slack tentar remover o preconceito e padronizar os resultados é ocultando o nome e o currículo da pessoa que enviou o teste ao aluno. (Lembrete: os currículos com nomes tradicionalmente afro-americanos são vistos mais negativamente do que os currículos com nomes estereotipadamente Brancos, e os pedidos de emprego com nomes femininos são vistos mais negativamente do que os pedidos de emprego com nomes masculinos).

Foto do #WOCinTech Chat

Para reduzir o preconceito, os testes não precisam ser gradativamente consistentes; Todo o processo de avaliação de um candidato precisa ser consistente. A professora Lauren Rivera, da Northwestern's Business School, “ jogou uma mosca na parede durante a contratação de reuniões em uma empresa de consultoria. Ela descobriu que a equipe prestava pouca atenção quando os homens brancos faziam o teste de matemática, mas chamavam a atenção quando as mulheres e os negros faziam isso. Como os tomadores de decisão (deliberadamente ou não) selecionaram os resultados, o teste ampliou o viés em vez de anulá-lo. ”

Não tem um caminho rápido para candidatos de elite

É importante saber o que seus testes dizem sobre um candidato que você deseja contratar. Ver o desempenho de seus candidatos de elite pode ajudá-lo a descobrir que alguns de seus testes / perguntas / critérios não são úteis. Um diretor de RH de uma empresa de alimentos descobriu “que os gerentes brancos faziam com que apenas estranhos – a maioria deles minoritários – fizessem testes de supervisor e contratassem amigos brancos sem testá-los .” Contratar através das redes de amigos dos funcionários atuais é uma das principais maneiras as empresas recrutam, e pode haver muita variação na experiência da entrevista dependendo de quem na empresa você conhece e quão bem você as conhece. Dado que três quartos dos brancos não têm amigos não-brancos , podemos adivinhar a maioria das referências em empresas de tecnologia com predominantemente empregados brancos.

Over-Selecting For Confidence

Frequentemente confundimos confiança por competência . As mulheres percebem que suas habilidades são piores do que são, enquanto os homens têm um senso inflado de suas habilidades . Essa diferença faz com que os grupos tenham maior probabilidade de escolher líderes masculinos por causa de sua excessiva confiança, em comparação com mulheres mais qualificadas e menos confiantes. As práticas de entrevista técnica nos levam a classificar candidatos confiantes mais do que candidatos menos confiantes. A solução não é apenas dizer às mulheres para serem mais confiantes, porque as mulheres são percebidas negativamente por exibir características associadas à confiança nos homens ( negociando por si mesmos , falando mais em reuniões ).

Mas não está realizando bem "sob pressão" importante?

Não. Realizar-se sob pressão adversária de colegas de trabalho não é inerentemente parte do trabalho de ser um desenvolvedor. Mesmo para cargos que envolvem chamadas frequentes ou corridas para consertar sistemas de produção com falha, os desenvolvedores podem ser uma equipe colaborativa unindo-se em torno de uma questão externa, não de adversários contra seus colegas de trabalho. Se a sua empresa tiver um ambiente de trabalho de competição ou hostilidade adversária, você terá problemas para reter e atrair funcionários e deve repensar sua cultura.

Mesmo o melhor processo de entrevista no mundo não será suficiente para superar uma cultura preconceituosa ou tóxica. Este não é apenas uma questão teórica – até um ano antes das mais recentes revelações sobre a cultura tóxica do Uber , os engenheiros estavam compartilhando em meio as respostas que eles enviam para os recrutadores declínio até mesmo entrevista com Uber (ver de Tess Rinerson Caro Uber Recruiter e de Tara Adiseshan Caro Uber Recrutador Parte 2 , ambos a partir de março de 2016). Note que não é apenas o Uber – há muitas, muitas empresas perdendo candidatos, pois as mulheres alertam umas às outras sobre suas experiências com empresas tóxicas.

Foto do #WOCinTech Chat

Tarefas para levar para casa: sim ou não?

Esta é uma questão altamente contestada e há argumentos razoáveis de ambos os lados.

Uma das principais preocupações sobre testes de amostra de trabalho é que eles consomem muito tempo, o que coloca as pessoas com menos tempo (pais, pessoas que cuidam de parentes idosos ou doentes, pessoas com problemas de saúde ou qualquer pessoa que precise trabalhar em vários empregos). uma desvantagem injusta . Por outro lado, dado que qualquer processo de recrutamento deve, por definição, ocupar uma parte significativa do tempo do candidato, a flexibilidade de um trabalho para levar para casa pode ser a melhor opção para muitos. Além disso, é provável que reflita mais de perto o trabalho real que um candidato fará, comparado ao código de quadro branco em 45 minutos, com alguém olhando por cima do ombro fazendo comentários.

Se você usar uma tarefa para levar para casa, você deve:

  • Tenha um limite de tempo (com os candidatos escolhendo quando eles receberão a tarefa e concordando em enviá-la por e-mail em 1 a 3 horas depois) e não seja muito demorado. Uma vez eu passei dois finais de semana completos consecutivos em tarefas de codificação caseiras, enquanto trabalhava em período integral, e me senti tão exausta depois que planejei tirar um mês de folga da minha procura de emprego (felizmente, essas tarefas acabaram levando a ofertas). E isso foi antes de eu ter um filho!
  • Tenha uma tela razoável de antemão. Não é justo pedir a alguém para fazer horas de trabalho, se houver poucas chances de convidá-los para um local. Eu fico com raiva quando ouço sobre os amigos passarem semanas em vários desafios para levar para casa (para uma única empresa) e, em seguida, serem informados de que não têm experiência suficiente. Isso é confuso! As empresas devem saber se um candidato tem experiência suficiente no currículo ou na tela inicial do telefone antes de desperdiçar dezenas de horas.
  • Considere o pagamento de candidatos pelo tempo gasto. Eu tenho os meios financeiros para contratar uma babá para a minha criança, se eu quisesse fazer uma tarefa para levar para casa para uma empresa que eu estava animado, mas nem todo mundo faz.
  • Perceba que algumas pessoas vão optar por não se inscrever. Decidi não me inscrever em várias empresas quando percebi o tempo de construção da tarefa para levar para casa.
  • Considere dar às pessoas opções, porque as preferências pessoais variam. Acho que as entrevistas de programação de pares são as que mais geram ansiedade (elas me deixam muito constrangido), mas muitas pessoas preferem isso. Eu gosto de lousa por causa do meu histórico de matemática. Se você oferecer aos candidatos uma opção, certifique-se de coletar dados e certificar-se de que você é justo em todos os tipos de desafio.

Tanto a equipe de engenharia do Slack quanto as equipes de ciência de dados do Airbnb fazem uso de take-homes, e estão se saindo melhor em contratar diversidade do que a maioria das empresas de tecnologia. No entanto, essas equipes também têm critérios rigorosamente predefinidos para classificação, então talvez essa seja a razão por trás de sua diversidade. Talvez a razão pela qual eu ame o post no blog do Ptaceks não é que eles usam take-homes, mas que é tão infundido com respeito, consideração e consideração pelo entrevistado. Talvez qualquer formato de entrevista possa funcionar desde que seja cuidadosamente construído, envolve consideração e respeito pelo entrevistado (e seu tempo), tem critérios claros, é consistente e justo, e reúne dados.

Diversidade

Espero que esteja claro agora que, se você quiser aumentar a diversidade em sua empresa, precisará reformular completamente o processo de entrevista (e, se não aumentar a diversidade, seu desempenho organizacional sofrerá). No entanto, o primeiro passo para aumentar a diversidade, que você DEVE fazer antes de fazer qualquer outra coisa, é certificar-se de que está tratando todos, inclusive as mulheres e pessoas da Color que já estão trabalhando na sua empresa, MUITO BEM . Isso inclui ajudá-los a se preparar para promoções, ouvir quando falam e demitir seus assediadores. Infelizmente, isso é raro. Você pode ler mais aqui .

Próximos passos

Entrevistar é menos divertido do que codificar, e projetar um processo de entrevista pensativo é ainda menos divertido, mas é crucial que você coloque tempo para fazê-lo bem. Caso contrário, você não notará candidatos fantásticos bem debaixo do seu nariz , e sua empresa não está montando a melhor equipe possível. Na maioria das empresas, os entrevistadores técnicos não recebem treinamento, e a entrevista é uma tarefa ingrata, considerada uma distração do trabalho real. Vai levar mais tempo do que você está fazendo atualmente para entrevistar para começar a fazer melhor, e você precisa apreciar seus funcionários que o fazem bem.

Este post é parte 3 de uma série. Aqui é parte 1 (sobre estratégias de diversidade de besteira) e parte 2 (sobre por que as mulheres param de tecnologia) .