Dados, Ética e AI

Atividades práticas para cientistas de dados e outros projetistas

IDEO Blocked Unblock Seguir Seguindo 12 de outubro de 2018

por Michael Chapman , Ovetta Sampson , Jess Freaner , Mike Stringer , Justin Massa e Jane Fulton Suri

Um pesquisador de design, um designer de negócios e um cientista de dados estavam sentados em um bar. Soa como a configuração de uma piada, mas a conversa foi séria. Nós tínhamos acabado de começar a trabalhar em um projeto que explorava como poderíamos ajudar uma companhia de seguros de responsabilidade médica a diminuir a incidência de eventos médicos adversos. Enquanto conversávamos, nossa conversa mudou de modo excitante imaginando ideias para ferramentas orientadas por dados em direção a maneiras que nosso trabalho poderia causar danos.

E se nossos projetos acabassem aumentando os prêmios para os médicos e, assim, os custos de saúde para os pacientes? E se eles expulsassem os médicos do seguro? E se os médicos parassem de relatar eventos adversos para evitar que seus prêmios subissem? Havia um potencial real de que nosso trabalho pudesse resultar em segurança reduzida para o paciente ou aumento do custo dos cuidados. Poderíamos, inadvertidamente, construir uma ferramenta que pudesse ser usada contra as pessoas que estávamos tentando ajudar.

Hoje, os sistemas de dados e algoritmos podem ser implantados em escala e velocidade sem precedentes. Consequências não intencionais afetarão pessoas com a mesma escala e velocidade.

Nossa equipe de design e nosso cliente tinham a mesma intenção de ajudar as pessoas, mas percebemos que precisaríamos de mais do que nossos próprios valores para chegar lá. Nós precisaríamos de atividades concretas para garantir que nós, e nosso cliente, estivéssemos fazendo o melhor possível para fundamentar nosso trabalho em boas práticas centradas no ser humano e mitigar conseqüências potencialmente prejudiciais.

Estamos longe de ser as primeiras pessoas a refletir sobre isso. Fomos inspirados por organizações como AI Now e Data + Society , livros como Weapons of Math Destruction e Technically Wrong , comunidades acadêmicas como FATML e CXI , e empresas de tecnologia como Google e Microsoft avaliando seus pontos de vista. Em particular, estamos acompanhando entusiasticamente a série O'Reilly sobre ética de dados e incentivamos você a ler o eBook Ethics and Data Science gratuito.

Estamos entusiasmados por fazer parte desta conversa. Esperamos que nossa voz contribua para uma nova perspectiva, enraizada na cultura de otimismo pragmático da IDEO e na construção para aprender.

Como podemos sempre colocar as pessoas em primeiro lugar enquanto projetamos sistemas de larga escala que mudarão com o tempo e evoluirão sem supervisão humana direta?

A semente que foi plantada durante essa conversa de bar tornou-se um conjunto de princípios e atividades que nossas equipes usam hoje na IDEO (cientistas de dados e designers de todas as outras disciplinas) para garantir que projetemos intencionalmente sistemas inteligentes a serviço das pessoas.

Desenvolvemos esses princípios e práticas usando uma abordagem de design thinking. Entrevistamos as equipes sobre onde encontraram desafios. Conversamos com os clientes sobre onde eles viram sistemas inteligentes darem errado. Conversamos com o público sobre onde designs inteligentes pareciam cruzar linhas. Observamos e lemos sobre os sistemas de IA que haviam saído dos trilhos e trabalhado para entender como isso poderia ter sido evitado. Nós iteramos nossos projetos iniciais e continuamos a fazê-lo.

1. Dados não são verdade

Dados são criados, gerados, coletados, capturados e estendidos por humanos. Mesmo os dados "brutos" nunca são verdadeiramente intocados. O fato de que qualquer conjunto de dados existe significa que um humano já decidiu qual sinal capturar e como proceder para capturá-lo. É por isso que os dados estão sempre incompletos e confusos e precisam ser interpretados e analisados. Pode ser influenciado pelo que está incluído ou excluído, como é enquadrado e como é apresentado.

2. Só porque a IA pode fazer alguma coisa, não significa que deveria

Os projetos devem ter raízes em um profundo entendimento e respeito pelas necessidades humanas. Embora o AI possa ser um componente viável, pode nem sempre ser a solução mais (ou apenas) desejável. Lembre-se que as máquinas podem ser grandes servos, mas são mestres terríveis.

3. Respeitar a privacidade e o bem coletivo

Embora existam políticas e leis que moldem a governança, a coleta e o uso de dados, alcance um padrão mais alto do que “seremos processados?” Aprenda profundamente sobre os valores e prioridades individuais e sociais em determinado contexto para revelar onde as sensibilidades individuais sobre privacidade e proteção de dados se sobrepõem ou entram em conflito com os benefícios da comunidade.

4. Consequências não intencionais da IA são oportunidades para o design

Tal como acontece com todos os desafios de design, não será certo da primeira vez. Use resultados inesperados e consequências recém descobertas como oportunidades.

Guiados por esses princípios, temos nos concentrado em várias atividades específicas à medida que exploramos como projetar sistemas inteligentes de forma ética.

Estes são um começo e estamos compartilhando-os agora porque sabemos que eles se beneficiarão de uma conversa dentro da comunidade. Continuaremos a desenvolver essas atividades, expandindo-as e refinando-as à medida que aprendemos mais sobre o que funciona na prática. Esperamos que essas atividades provoquem diálogos e forneçam formas concretas de ajudar nossa comunidade a projetar sistemas inteligentes de forma ética.

Estamos procurando por suas complicações, confirmações e pensamentos para ajudar a transformá-los em ferramentas que levem a fazer coisas melhores que ajudem mais pessoas. Por favor, destaque e comente cada uma das atividades e exercícios no Medium; estaremos participando ativamente da conversa. Esperamos que você participe.

Obrigado,

Michael Chapman (Diretor de Design, Pesquisa de Design)
Ovetta Sampson (Senior Design Research Lead)
Jess Freaner (Data Science Lead)
Mike Stringer (Diretor de Design Executivo, Data Science)
Justin Massa (Diretor Executivo de Portfólio)
Jane Fulton Suri (parceira emérito)