Facebook usa inteligência artificial para ajudar a prevenir o suicídio, mas não sabe dizer se funciona

Cecile Janssens Blocked Desbloquear Seguir Seguindo 2 de janeiro Foto: Suicídio por Nick Youngson CC BY-SA 3.0 ImageCreator

Desde 2017, o Facebook usa inteligência artificial para escanear postagens, comentários e curtir informações que sugerem que alguém pode cometer suicídio. Mensagens alarmantes são revisadas por 'uma equipe de milhares de pessoas ao redor do mundo', que podem responder em poucos minutos e chamar a polícia quando ' está determinado que pode haver risco iminente de autoflagelação '.

O Facebook não divulga como funciona a triagem, por que as mensagens são sinalizadas como alarmantes e como os revisores decidem que a polícia deve ser informada. A empresa informa que fez 3.500 chamadas para a polícia no ano passado, mas não sabe quantos suicídios foram evitados. No New York Times , a empresa disse que não acompanha os resultados de suas chamadas por "razões de privacidade".

Eu estudo a previsão genética de doenças comuns e reviso regularmente os algoritmos por trás dos testes genéticos direto ao consumidor . Eu acho que é uma bandeira vermelha quando, na ausência de evidências científicas, as empresas não revelam quão bem seus testes funcionam e quão úteis são os resultados dos testes.

Como está longe de ser óbvio que as tentativas iminentes de suicídio possam ser inequivocamente identificadas nas postagens do Facebook, não se pode dar como certo que a prevenção de suicídio da empresa funciona. Aqui estão duas perguntas que a empresa precisa responder – pelo menos.

Com que frequência as chamadas do Facebook para a polícia são corretas?

Quando não há palavras, frases ou sinais claros que identifiquem pessoas que estão prestes a cometer suicídio, é inevitável que mensagens problemáticas possam ser mal interpretadas, causando sinais perdidos e alarmes falsos.

Se as chamadas para a polícia são, na maioria, alarmes corretos ou falsos, depende dos critérios de revisão. Quando os revisores usam critérios restritos e focados e só chamam a polícia quando têm quase certeza de que uma pessoa está prestes a tentar o suicídio, a maioria das ligações estará correta. Quando eles usam critérios amplos para evitar mais suicídios e também ligam quando estão menos certos, então as ligações incluirão mais alarmes falsos onde a polícia é chamada quando não há realmente uma tentativa de suicídio.

O New York Times informou recentemente quatro casos em que o Facebook chamou a polícia para evitar um suicídio. Um era um alarme falso para uma mulher que escrevera que ia se matar, mas que não tinha intenções suicidas, e três eram chamadas corretas para pessoas que estavam ao vivo transmitindo suas tentativas de suicídio online.

Quatro casos não são representativos das 3.500 chamadas que a empresa fez no ano passado, mas eles mostram que não é óbvio que o Facebook possa inferir com precisão tentativas de suicídio a partir de conteúdo escrito.

Com que frequência as chamadas são essenciais para evitar um suicídio?

Mesmo quando uma ligação está identificando corretamente uma pessoa que está prestes a cometer suicídio, isso não significa que a ligação no Facebook foi necessária para evitar o suicídio. Em todas as três chamadas corretas relatadas pelo New York Times , a ligação do Facebook veio depois que a polícia já havia sido notificada por outros. A ligação do Facebook ajudou a identificar a localização exata de uma pessoa, mas chegou tarde demais para outras duas: uma pessoa morreu e um suicídio já havia sido evitado.

Quando o algoritmo do Facebook usa comentários de amigos preocupados para sinalizar postagens e vídeos, não é surpreendente que esses amigos já tenham chamado a polícia. O Facebook pode ser útil na detecção de mensagens alarmantes que permanecem sem comentários de amigos, mas aqui a empresa pode enfrentar os limites de seu algoritmo: pode não ser possível sinalizar as postagens sem esses comentários.

A crença de boa fé deve ser baseada em evidências

A política de dados do Facebook escreve que as pessoas

“… Acessar, preservar e compartilhar suas informações com reguladores, autoridades legais ou outras pessoas… quando acreditarmos de boa-fé, é necessário: detectar, prevenir e combater fraudes, uso não autorizado dos Produtos, violações de nossos termos ou políticas, ou outra atividade prejudicial ou ilegal; para nos proteger (incluindo os nossos direitos, propriedade ou Produtos), você ou outros, incluindo como parte de investigações ou inquéritos regulamentares; ou para prevenir a morte ou ferimentos corporais iminentes ”.

Como os usuários do Facebook não podem desistir de um teste potencial de bem-estar pela polícia, eles merecem saber que a política por trás de tal invasão de privacidade fará mais bem do que mal. A empresa precisa mostrar que seu acesso a dados pessoais de usuários oferece oportunidades para a prevenção do suicídio que não seriam possíveis de outra forma.

Como qualquer instituto de pesquisa, o Facebook pode documentar o que acontece com as pessoas depois de chamar a polícia e armazenar esses dados separadamente do resto de seus dados. A empresa não pode se abster de avaliar sua política por causa de "razões de privacidade" quando viola a privacidade de seus usuários, analisando e analisando sua saúde mental a partir de comentários de posts e de amigos.

O Facebook não precisa divulgar seu algoritmo, mas a empresa deve relatar com que frequência suas ligações foram corretas e necessárias para a prevenção de suicídios. A empresa precisa ser transparente sobre exatamente o que significa quando a polícia bate à sua porta em seu nome.