Capaz, permitido, deve; Navegando na Ética Moderna da Tecnologia

Margaret Gould Stewart Blocked Unblock Seguir Seguindo 7 de maio de 2018

Eu quero compartilhar uma palestra que fiz sobre a pista de design no SXSW no início de março deste ano. Esta palestra foi inspirada por uma crença profunda de que estamos em um momento crítico da minha empresa e da história de nossa indústria, e de propor algumas maneiras pelas quais podemos enfrentar os desafios que acompanham esses incríveis produtos que construímos.

Como tecnólogos, todos somos administradores de algumas das mais poderosas ferramentas de comunicação já criadas. Essas ferramentas geraram muito bem no mundo, mas seu próprio poder exige um profundo senso de responsabilidade e um compromisso de tornar as decisões eticamente mais responsáveis possíveis, todos os dias.

Embora essa conversa tenha sido voltada para os designers, o objetivo principal é que todos nós ampliemos a abertura com a qual vemos nossas responsabilidades e abrangemos os efeitos dos sistemas e o impacto social. Isso é difícil, e precisaremos continuar investindo tempo e energia em novas formas de pensar, trabalhar e avaliar nosso sucesso para acertar essas decisões difíceis.

Tenho plena confiança de que os desafios que estamos atualmente navegando nos tornarão mais robustos e rigorosos na indústria como um todo na forma como nos aproximamos de nossas responsabilidades, e melhor equipados para enfrentar os inevitáveis desafios que temos pela frente.

Nota: Se você preferir ouvir em vez de ler, aqui está a gravação de áudio .

Este ano passado não foi o ano mais fácil para o Facebook.

Temos enfrentado muitas questões difíceis e poucas controvérsias sobre questões como interferência eleitoral, privacidade, o efeito da mídia social sobre o bem-estar, política de conteúdo, entre outros. Quando se trata dessas questões, raramente há respostas óbvias ou correções fáceis.

Apoiamos uma comunidade global incrivelmente diversificada, que nem todos compartilham as mesmas idéias sobre o que é certo e o que é errado, aceitável ou inaceitável. para não falar das mesmas leis.

Quiz de ética pop

Vamos tentar um quebra-cabeça de ética e não se preocupe, não envolve um carrinho descontrolado.

Um desastre natural acontece. Pode ser um furacão, um terremoto, um deslizamento de terra. O ponto é: vidas estão em jogo. Uma organização internacional de resposta a desastres pede ao Facebook para fornecer informações sobre as pessoas na área afetada: sua localização e seus movimentos.

O que nós fazemos? Se compartilharmos os dados, poderemos ajudar a salvar algumas vidas. Mas isso é um monte de dados para compartilhar sobre as pessoas, suas localizações, seus movimentos. Eles podem considerar isso como vigilância e violação de sua privacidade.

Eu poderia viajar pelo mundo e ouviria diferentes respostas de praticamente qualquer grupo de pessoas.

Isso provavelmente não será uma surpresa, mas para nós isso não era hipotético. Em março de 2017, o Peru enfrentou algumas inundações terríveis. Organizações humanitárias envolvidas conosco para ver se poderíamos ajudar. Analisamos as tendências de uso em nossa plataforma e elas refletiram onde as pessoas estavam localizadas, onde estavam se movimentando e onde estavam verificando como "seguras".

Em junho do ano passado, anunciamos uma parceria com a UNICEF, a Federação Internacional das Sociedades da Cruz Vermelha e do Crescente Vermelho eo Programa Mundial de Alimentos, no qual compartilhamos dados agregados em tempo real, mas anônimos, sobre pessoas durante desastres naturais. Trabalhar com organizações respeitadas certamente ajuda algumas pessoas a se sentirem melhor sobre os dados que estão sendo compartilhados, mas isso não faz com que as preocupações com privacidade desapareçam. É uma decisão complicada com pontos válidos em ambos os lados.

Esse é apenas um exemplo. Situações como esta surgem frequentemente quando você trabalha com produtos usados em todo o mundo. Parte do trabalho é lidar com decisões desafiadoras sobre a melhor maneira de projetar e implantar novas tecnologias. Isso é verdade no Facebook, e também foi verdade quando liderei design no YouTube, bem como na Pesquisa do Google.

Trabalho há mais de 20 anos em design e tecnologia, liderando o design para a Pesquisa do Google, o YouTube e agora no Facebook, e posso dizer que muitos desses problemas não são novos. Mas, como aprendemos, com a escala em que estamos operando, esse trabalho requer um maior senso de consciência e responsabilidade.

Então, quero falar sobre essa responsabilidade e algumas das lições que aprendemos e ainda estamos aprendendo. E também quero falar especificamente sobre como o design desempenha um papel crítico em tudo isso. E quando digo design, não estou falando apenas de design no nível da superfície, onde fazemos as coisas agradáveis e bonitas. Eu estou falando sobre o espectro completo de projetar produtos úteis e úteis de ponta a ponta, desde a ideia inicial do que podemos construir para lançá-lo e todas as iterações que se seguem.

A intersecção das humanidades e tecnologia

Como designers, nos sentamos na interseção da tecnologia e das humanidades. Este não é um novo papel para nós, mesmo na era digital moderna. Desde o início do estudo da interação humano-computador, no final dos anos 70, os designers têm trabalhado para entender e garantir que os sistemas que construímos sejam uma interface eficaz para as pessoas.

E em um mundo de produtos digitais globais, em rede e altamente personalizados, as apostas para acertar as coisas como designers ficaram muito mais altas. Fazer o certo pelas pessoas que usam nossos produtos significa, às vezes, nos fazer perguntas difíceis sobre o que estamos construindo em primeiro lugar.

Capaz, permitido, deveria

Designers, engenheiros e gerentes de produtos gastam muito tempo pensando sobre o que podemos construir. Ou seja, o que é possível, dentro dos limites da nossa tecnologia atual e o que podemos fazer com os recursos que temos.

Também passamos tempo pensando sobre o que podemos construir. Isto é, o que leva em consideração os objetivos de negócios da empresa, o que está dentro de nossa política e, é claro, o que é legal.

Mas, como indústria, precisamos gastar tanto tempo pensando sobre o que devemos construir, mesmo que não precisemos; e, em alguns casos, o que não devemos construir, mesmo que seja tecnicamente permitido. "Deveríamos" é a essência do design eticamente responsável.

Como no caso de socorro, as respostas raramente são óbvias. Se fossem, não os chamaríamos de dilemas éticos. A questão do "deveríamos" também chega ao coração do que nos motiva.

Múltiplas motivações

O fato é que empresas como o Facebook e outras grandes plataformas globais geralmente têm múltiplas motivações que determinam o que, como e por que construímos.

Uma grande motivação da nossa e da maioria das empresas de tecnologia é a inovação. Nós sempre queremos empurrar o envelope, explorar as maneiras em que a ciência e a tecnologia podem resolver problemas e ampliar as habilidades humanas.

Outra motivação é lucro. O Facebook é uma empresa pública com obrigação legal de se preocupar em ser rentável para os acionistas. A maioria de nós trabalha para empresas. E não há nada inerentemente errado em ser um negócio.

E muitas vezes há uma terceira motivação: contribuir positivamente para a sociedade. Eu trabalho no Facebook porque acredito no poder da tecnologia para estar a serviço das necessidades humanas e sociais. Tem sido verdade no meu trabalho no Google, no YouTube e agora no Facebook.

A missão do Facebook é “dar às pessoas o poder de construir uma comunidade e aproximar o mundo”. Eu realmente acredito nessa missão. É por isso que é particularmente doloroso para nós vermos os produtos que construímos com essa missão em mente usada por outras pessoas para prejudicar as pessoas ou a sociedade.

Há uma tensão entre esses motivos para ter certeza, e se eles ficarem desequilibrados, decisões consequentes e resultados não intencionais podem acontecer. Mas o fato é que um negócio bem capitalizado pode fazer muitas coisas inovadoras que são boas para o mundo.

Nós só precisamos ter certeza de que manteremos a visão de longo prazo em mente e estaremos atentos para tomar decisões éticas e responsáveis ao longo do caminho.

Porque é na visão de longo prazo que esses três interesses aparentemente conflitantes se realinham.

Uma história de perturbação

É claro que não somos os primeiros tecnólogos a enfrentar essas questões.

Ao longo da história, sempre que novas e poderosas tecnologias são inventadas, elas atrapalham as normas e os sistemas sociais existentes e podem ser inquietantes de se viver. Da agricultura à imprensa, a ascensão da industrialização e da digitalização – tudo isso desestruturou indústrias, ideologias e estruturas de poder existentes. Tudo isso teve consequências imprevisíveis e sua parcela de céticos.

Curiosidade: você sabia que Sócrates advertia contra a escrita porque as pessoas não usavam suas memórias e isso "criaria esquecimento nas almas dos aprendizes". Agora, como um disléxico, eu meio que gostaria que ele tivesse vencido aquela batalha. Mas, embora até mesmo os disléxicos como eu provavelmente concordem que escrever é uma tecnologia que devemos continuar adotando, só sabemos isso em retrospectiva. Quando você está passando por uma ruptura, é difícil separar a aversão à mudança de um medo bem fundado de coisas que podem ser ruins para as pessoas e para a sociedade. E ainda mais desafiadoras, essas invenções podem ser simultaneamente boas e más; é tudo sobre como eles são implantados, usados e gerenciados.

O que há de novo? Velocidade e Escala

E além da ruptura que a nova tecnologia pode causar, há duas coisas que tornam a situação atual do Facebook materialmente diferente dos desafios do passado: Escala e Velocidade.

Dos 7,6 bilhões de pessoas na Terra e dos quase 4 bilhões de pessoas estimados na Internet, existem mais de 2 bilhões de pessoas no Facebook. Em 1930, 2 bilhões eram a população de todos no planeta Terra. O grande número de pessoas que usam nossos produtos é impressionante. Embora isso seja uma coisa maravilhosa em muitos aspectos, significa que nossa responsabilidade é muito maior.

Tudo isso é ainda mais desafiador para navegar quando as coisas estão se movendo tão incrivelmente rápido. Todo grande avanço tecnológico no passado levou gerações para atingir um público de massa.

Compreender o tempo que levou 100 milhões de pessoas a adotar diferentes produtos ao longo da história.

Demorou mais de um século para atingir uma audiência de 100 milhões. Rádio fez isso em 45 anos, Televisão em 20. Facebook & Snapchat alcançou seu primeiro 100M em apenas 4 anos e Instagram e YouTube? Cerca de 28 e 24 meses, respectivamente.

Em relação a outras tecnologias, tivemos apenas uma fração do tempo para entender como as interfaces que desenvolvemos impactam as pessoas e a sociedade. Isso não é uma desculpa. Mas coloca um ponto positivo nos desafios que enfrentamos para manter o ritmo com o crescimento de nossos próprios produtos.

Mas, apesar da escala e da velocidade com que essas mudanças estão acontecendo, levar em conta o impacto da nova tecnologia nas pessoas e na sociedade, o bom e o ruim, deve se tornar uma parte mais central de como nós, designers, abordamos nosso trabalho.

Os quatro quadrantes da responsabilidade pelo design

Aqui está uma estrutura para como estou pensando sobre esse problema. Eu chamo isso de Quatro Quadrantes da Responsabilidade pelo Design.

Os Quatro Quadrantes da Responsabilidade pelo Design representam uma visão mais ampla dos deveres do design em relação às pessoas e à sociedade.

No eixo X, você tem, da esquerda para a direita, o que construímos, em uma escala crescente de coisas, do pixel ao produto e a todo o ecossistema no qual o produto opera. Conforme você passa de pixel para ecossistema, restrições, interdependências e complexidades crescem.

E no Eixo-Y, a mesma ideia, mas a escala é o público para o qual você está projetando, começando com um ser humano individual e trabalhando para toda a sociedade. E à medida que a escala cresce, menos podemos assumir sobre quem estamos projetando, suas motivações, sua cultura, suas necessidades e desejos.

Como designers, nos sentimos realmente confortáveis no quadrante inferior esquerdo: é onde podemos impulsionar nossos pixels e aperfeiçoar nosso trabalho para criar algo realmente bem elaborado. E é onde podemos ser centrados no ser humano, focando em um público específico de pessoas para as quais estamos projetando intencionalmente, e um conjunto de tarefas que entendemos é importante para elas. Nós sentimos que podemos entender e controlar as coisas lá. Você pode imaginar isso como o espaço de projetar uma capa de livro; enquanto você precisa tornar legível e transmitir a natureza do que o livro contém, mas é um espaço de design relativamente finito para operar.

Mas no extremo do eixo X, podemos enfrentar conseqüências imprevisíveis dos efeitos de rede. Os sistemas que estamos projetando às vezes são difíceis de modelar e às vezes só vemos o que acontece com eles quando são usados em escala. Pense em um produto de limpeza que pode funcionar excepcionalmente bem para uma tarefa específica, mas, quando liberado no sistema de água, pode ter efeitos indesejados na vida animal e vegetal.

Quando você vai longe no eixo Y, projetando para o mundo inteiro, há todo um outro conjunto de problemas que podem surgir. Por exemplo, você vê como o Facebook funciona de maneira diferente em diferentes partes do mundo, desde o modo como as pessoas acessam a Internet, e os tipos de dispositivos que possuem, até suas normas sociais, contextos políticos, condições econômicas. E à medida que aumenta o número de pessoas que usam seu produto, aumenta também a probabilidade de que as pessoas o usem de maneiras indesejadas, o que pode gerar bons e maus resultados.

No espaço digital, vemos isso com um produto como o YouTube sendo usado não apenas para você e eu para capturar e compartilhar nossos próprios momentos da vida pessoal em vídeo, mas também para a Khan Academy transformar as maneiras pelas quais as pessoas aprendem em um ambiente altamente personalizado. caminho através de vídeo instrucional. Ou as maneiras pelas quais o Facebook foi usado para organizar movimentos de mudança social como a Marcha das Mulheres.

Esses usos, por um grande número de pessoas, estão afetando o funcionamento de nossa sociedade.

Naturalmente, há exemplos menos positivos desses efeitos: interferência eleitoral, polarização ou preocupações com saúde e bem-estar; maneiras pelas quais a tecnologia pode, inadvertidamente, causar danos ao escalar em direção ao topo do eixo Y.

Esses quadrantes não são um espaço onde o design tradicionalmente gasta muito tempo. É o mundo da sociologia, saúde pública, estudos culturais, design sustentável, economia. Em certo sentido, é um novo tipo de planejamento urbano digital.

Projetando para todos os quatro quadrantes, pensando de forma expansiva sobre o impacto de nossas invenções nas pessoas e na sociedade, este é o coração do design eticamente responsável. No mundo digital, não há muitos exemplos de produtos que fazem um ótimo trabalho com isso… ainda. Aponta para um desafio e uma enorme oportunidade para todos nós.

Então, onde podemos procurar inspiração? Temos que olhar para trás na história um pouco para ver que lições podemos aprender.

Um gancho de peixe helluva

Este é um dos meus objetos de design favoritos.

Halibut Hook (EUA). Coleção de John J. McLean, 1881, Ilha Baranof, Alasca, Departamento de Antropologia, Museu Nacional de História Natural, Smithsonian Institution, E45990.

É um anzol de mão, desenhado por um membro de uma tribo indígena no Alasca há mais de 100 anos. Vi pela primeira vez no museu de design nacional Cooper Hewitt Smithsonian em uma exposição sobre ferramentas criadas por humanos ao longo da história. Quem fez isso provavelmente não se considerou um designer ou inventor, mas eles eram.

Pode parecer arcaico, mas o design é mais sofisticado do que muitos dos anzóis de hoje, e aqui está o porquê: ele foi projetado para capturar apenas alabote de um certo tamanho. Deixou o peixe pequeno para as estações do futuro, e evitou os peixes maiores que eram grandes demais para puxar a canoa, o que é uma consideração de projeto muito prática.

Essencialmente, permitiu que as pessoas daquela comunidade pratiquem pesca sustentável, proporcionando-lhes muitas estações de prosperidade. Isso por si só torna um artefato de design fascinante e inspirador.

Mas um segundo aspecto desse gancho de alabote também capturou minha imaginação: além de sua funcionalidade engenhosa: ele também tem uma bela escultura que retrata a troca de espírito entre o povo Inuit e o peixe no mar. Esta comunidade acreditava que se eles mostrassem respeito pelos peixes que eles estavam querendo pegar, mais voltariam na próxima temporada.

Um objeto como esse opera em todos os quatro quadrantes porque não se preocupa apenas em capturar um único peixe, ele é projetado para proteger e sustentar um ecossistema mais amplo. Não é projetado apenas para beneficiar um pescador, mas uma sociedade inteira de pessoas ao longo do tempo, incluindo sua vida espiritual.

Tudo somado, é um inferno de um anzol.

Então, que lições podemos aplicar disso para algo como o Facebook? Precisamos nos destacar no quadrante inferior esquerdo, mas precisamos também nos tornar ainda mais habilidosos em antecipar os efeitos dos sistemas, protegendo a saúde e o bem-estar de nossa comunidade, e entendendo o impacto na sociedade quando um muito maior e mais população diversa está usando nossos produtos.

Nem sempre conseguimos isso no Facebook. E para ser justo, isso é realmente difícil de fazer bem de forma consistente. Mas só porque algo é difícil não é uma desculpa. Nós, como empresa e como indústria, temos que sempre dar o nosso melhor e sempre nos esforçar para melhorar.

Embora possamos ser um dos exemplos mais visíveis de uma empresa de tecnologia que enfrenta essas questões, não estamos sozinhos.

Então, vamos examinar alguns temas que surgiram para nós e formas de trabalharmos com eles, caso eles possam ser úteis para você em suas próprias organizações.

Projetando para casos de uso indevido

Como designers, passamos muito tempo pensando sobre os “casos de uso” que queremos apoiar. Mas, como aprendemos com algumas lições muito difíceis, precisamos dedicar mais tempo ao planejamento de “casos de uso indevido”. Isto é, quando as pessoas usam ferramentas que são destinadas a fazer o bem e fazem coisas ruins com elas.

Este tem sido um desafio em todas as plataformas globais em que já trabalhei, do Facebook ao YouTube e ao Google, e se você tiver idade suficiente para lembrar, Tripod e Angelfire.

Nossa indústria – a indústria de tecnologia – é muito otimista. O otimismo é uma coisa boa. Sem otimismo, a maioria dos nossos produtos nunca teria sido construída em primeiro lugar. Mas o otimismo na escala que estamos falando precisa ser moderado às vezes. O design ético exige que garantamos a segurança de todos em nossa plataforma e a integridade da própria plataforma.

Aqui está um exemplo envolvendo abuso online.

Nos últimos anos, observamos, por meio de pesquisa qualitativa na Índia, que algumas mulheres indianas queriam fazer upload de fotos de perfil, mas não se sentiam seguras ao fazê-lo. Eles estavam preocupados que estranhos – maus atores – fizessem o download de suas fotos, usassem as fotos para persegui-los ou assediá-los, até ameaçar sua segurança pessoal e prejudicar a reputação de sua família.

Guarda de imagem de perfil opcional no Android.

Assim, em parceria com organizações de segurança, lançamos vários recursos de segurança para resolver essas preocupações. As pessoas na Índia tiveram a opção de adicionar um guarda de foto de perfil. Quando as pessoas adicionaram apenas aquela dica visual, descobrimos que outras pessoas tinham 75% menos probabilidade de copiar a foto. E para realmente bloquear os maus atores, na plataforma Android, fizemos isso para que ninguém pudesse filmar sua foto de perfil.

Este é um exemplo de como pudemos ver um caso de uso indevido em ação em nossa plataforma; pessoas usando nosso produto para ferir outras pessoas. Reagimos a este problema de forma eficaz, mas no futuro, precisamos melhorar antecipando esses tipos de problemas antes do lançamento e tendo essas proteções em vigor desde o início. Isso é muito difícil de fazer em escala global, e nem sempre acertamos, mas é nossa responsabilidade sempre melhorar.

Especialização externa

Antecipar os maus atores e, de maneira mais geral, os resultados ruins são complicados; Às vezes, requer a ajuda de especialistas externos. Quando estamos operando na escala de bilhões e nos engajando nesses complexos quadrantes sistêmicos e sociais, temos que conversar com especialistas externos que nos darão uma crítica nova e valiosa do nosso trabalho e uma perspectiva além do Vale do Silício.

Pedir ajuda não é sinal de fraqueza; é um sinal de maturidade.

E é outra ferramenta fundamental no design eticamente responsável.

Em nossos primeiros dias, nem sempre buscamos ajuda externa na medida em que poderíamos ou deveríamos ter. Aprendemos muito desde então e estamos colaborando cada vez mais com especialistas externos para acertar as coisas.

Eis um exemplo concreto: como as pessoas se conectam com amigos e familiares por meio de nossos produtos, o Facebook às vezes está em condições de reconhecer e ajudar pessoas que passam por dificuldades e ideação suicida. Quando estávamos tentando descobrir se e como devemos nos envolver nessas situações, procuramos ajuda externa, porque, embora nos importemos muito com a saúde e o bem-estar de nossa comunidade, não somos especialistas em prevenção do suicídio.

Usando reconhecimento de padrões AI para identificar ideação suicida.

O resultado foi um conjunto de ferramentas co-desenvolvidas com os principais especialistas em saúde mental. Agora, quando reconhecemos que alguém está expressando pensamentos de suicídio, fornecemos recursos e oferecemos ajuda para conectá-los com seus entes queridos e profissionais de saúde mental. E recentemente começamos a implementar o uso da Inteligência Artificial para ajudar a identificar ideações suicidas no Facebook Live e conectar pessoas a recursos para obter a ajuda de que precisam em tempo real. Apenas no último mês, trabalhamos com socorristas em mais de 100 casos com base nos relatórios que recebemos de nossos esforços proativos de detecção.

Também usamos AI de reconhecimento de padrões para ajudar a acelerar os relatórios mais preocupantes. Descobrimos que esses relatórios acelerados são encaminhados para as autoridades locais duas vezes mais rapidamente que outros relatórios. Estamos empenhados em continuar a investir em tecnologia de IA, como este exemplo, para melhor servir a nossa comunidade.

Como alguém que perdeu dois membros da família para o suicídio, esses esforços são muito importantes para mim pessoalmente. Esses parentes não moravam perto de mim, e eu desejo tanto que eu tenha tido a chance de entender mais cedo o que eles estavam passando pela mudança no resultado.

Naturalmente, essa não é a única área em que podemos aprender com especialistas. Estamos fazendo parcerias com jornalistas no Projeto de Jornalismo do Facebook para ajudar a garantir notícias de alta qualidade em nossa plataforma e modelos de negócios mais sustentáveis para organizações de notícias; Estamos nos envolvendo com psicólogos e outros especialistas em saúde para informar nossa pesquisa sobre preocupações de uso excessivo de mídias sociais, e estamos nos envolvendo com especialistas externos para informar nossa abordagem para o desenvolvimento responsável de IA e aprendizado de máquina.

Sou grato a esses especialistas por nos ajudar a criar produtos de uma maneira projetada para criar os melhores resultados possíveis para as pessoas e a sociedade.

Avaliando o sucesso

Mas digamos que você fique melhor em antecipar e projetar para uso indevido, e você está constantemente buscando a ajuda de especialistas externos para criar melhores resultados. Você ainda pode não tomar as decisões certas se não tiver uma boa maneira de entender como é o sucesso.

A indústria de tecnologia usa muitas métricas. MAU, DAU, ARPU e muito mais. O Facebook não é exceção. Mas, é fácil esquecer quando estamos olhando para painéis e números que as métricas são apenas um proxy para algo que é geralmente muito mais complicado do que um único número pode descrever.

Descobrir se o seu produto é bom para as pessoas e o mundo é uma coisa muito complexa e com nuances. É fácil cair na armadilha de valorizar o que podemos medir em vez de medir o que realmente valorizamos. Quando não são adequadamente contextualizadas, as métricas podem servir como blinds de cavalo, limitando seu campo de visão e fazendo com que você perca sinais importantes sobre como seu trabalho pode estar impactando as pessoas.

Em vez de se concentrar apenas em medir o sucesso, devemos nos concentrar em avaliar o sucesso, porque nem tudo que é importante pode ser medido. By the way, este problema não é novo e não é exclusivo para a indústria de tecnologia.

Em 1968, Robert Kennedy fez um discurso de campanha sobre o tema do nosso Produto Nacional Bruto, ou PIB – uma medida que mede o crescimento econômico de um país. E, depois de descrever algumas condições terríveis de pobreza que ele havia testemunhado na América, ele disse:

“Nosso Produto Nacional Bruto, agora, é superior a US $ 800 bilhões por ano. Mas isso conta a poluição do ar e a publicidade de cigarros. Conta a destruição da sequóia. Ele conta napalm e conta ogivas nucleares e carros blindados. No entanto, o produto nacional bruto não permite a saúde de nossos filhos, a qualidade de sua educação ou a alegria de suas brincadeiras. Não mede nem nossa inteligência, nem nossa coragem, nem nossa devoção a nosso país, mede tudo em suma, exceto aquilo que faz a vida valer a pena.

Quase 50 anos depois, em 2015, a ONU adotou um conjunto de 17 metas de desenvolvimento sustentável para esclarecer de uma maneira muito mais sutil o que significa ter uma sociedade próspera. Embora ainda existam grandes desafios para operacionalizar e alcançar esses objetivos, a ONU não está mais tentando avaliar uma questão altamente complexa, como a saúde social, com um único número.

Descobrir o que o sucesso significa para o Facebook tem seus próprios desafios, considerando o tamanho, a diversidade e a complexidade de nossa comunidade. Durante muito tempo, nos concentramos no tempo gasto como uma das nossas principais medidas de sucesso. E especialmente quando você está começando a construir seu produto, o tempo gasto pode servir como uma medida razoável de se você criou ou não algo de valor. Se as pessoas gastam muito tempo usando seu produto, é razoável supor que ele está atendendo a algum tipo de necessidade.

O problema está em olhar para o Tempo Gasto isoladamente do quadro maior. Maximizar para esse objetivo pode criar efeitos negativos não intencionais para as pessoas e a sociedade. O Facebook foi criado para ser, antes de tudo, um fórum para amigos e familiares se conectarem uns com os outros. Por meio de pesquisas e alterações de produtos, estamos trabalhando para criar um serviço que ofereça suporte a relacionamentos significativos no longo prazo, tanto on-line quanto off-line, e não apenas a rolagem passiva.

Recentemente, anunciamos que estamos revisando nossa abordagem para medir nosso sucesso e mudando uma de nossas principais métricas do tempo gasto para Interações Sociais Significativas, priorizando os tipos de interação que criam a malha que é nosso gráfico social; as pessoas conversando entre si e compartilhando umas com as outras sobre as coisas que mais importam para elas. E conforme aprendemos, nossas métricas continuarão a evoluir.

Mas além de melhorar as métricas quantitativas, outra maneira importante de obter uma imagem mais rica de como as coisas estão funcionando, uma maneira de capturar coisas importantes que não são mensuráveis, é balancear os poderosos dados quantitativos que temos com pesquisas qualitativas igualmente convincentes.

Os dados de uso podem dizer o que as pessoas estão fazendo, mas não informam o motivo.

É fundamental que superemos as paredes do escritório e ouçamos pessoas reais, de todos os setores da vida em todos os cantos do mundo, sobre como nossos produtos afetam suas vidas.

Há o perigo em assumir que a sabedoria só vem de grandes números. Às vezes, os aprendizados mais poderosos vêm de uma única pessoa. Aqui está um exemplo doloroso de algo incrivelmente importante que aprendemos que nunca apareceria em nossos registros de uso: Três anos atrás, criamos um produto “Year in Review” para o Facebook, que usou um algoritmo para criar um vídeo resumindo o ano das pessoas no Facebook. .

Eric Meyer, um membro da comunidade do Facebook, contou a história, que ele intitulou em seu blog, "Inadvertent Algorithmic Cruelty". Ele viu os vídeos de seus amigos online, mas evitou criar um dos seus, sabendo o tipo de ano que ele acabou de fazer. teve – um ano em que ele perdeu sua filha mais nova. Mas então, em seu feed de notícias, ele viu um “post sugerido” de um vídeo que criamos para ele. E lá estava olhando para ele – uma foto de sua filha recentemente falecida.

Depois de ler sua história, nós o convidamos para o Facebook para falar sobre sua experiência. Sua palestra influenciou profundamente a equipe de design e uma coisa que ele disse se transformou em um cartaz memorável do nosso Analog Research Lab: “Quando você diz“ Edge Case ”você está realmente definindo os limites do que você gosta”.

Desde então, mudamos nossa abordagem para esses tipos de experiências e evitamos fazer suposições sobre as pessoas, seus sentimentos ou suas vidas. Apenas ouvir e ser empático com as experiências das pessoas é uma parte crítica da construção e do design de uma maneira eticamente responsável. É mais difícil escalar, mas isso não é desculpa.

Nós não estamos projetando para números, estamos projetando para as pessoas.

Com mais de 2 bilhões de pessoas usando nossos produtos, seria irresponsável NÃO usar dados quantitativos para influenciar nossas decisões. Mas o design eticamente responsável exige que olhemos mais amplamente e mais profundamente do que apenas planilhas. Pesquisas qualitativas e, na verdade, apenas ouvir pessoas com histórias poderosas para contar como a nossa tecnologia as está impactando, são fontes críticas de sabedoria e nos ajudam a ir além da mensuração para realmente avaliar nosso impacto nas pessoas e no mundo.