Espelho Preto, Espelho Leve: Ensino de Ética em Tecnologia Através de Especulação

Mesmo que não possamos prever o futuro, podemos usar a ficção científica para pensar em diferentes possibilidades

Casey Fiesler Blocked Desbloquear Seguir Seguindo 15 de outubro Em "Toda a História de Você", qualquer um com um implante pode reproduzir memórias diretamente na frente de seus olhos.

Depois de assistir ao episódio do Black Mirror A História Inteira de Você ”, um estudante da minha aula de ética da informação perguntou se, em um mundo em que cada ação que tomamos é registrada e cada memória pode ser acessada, veríamos um fim para crime inteiramente. Ou espere, ela refletiu depois de um momento, talvez a polícia não tivesse acesso a essa informação – não seria uma invasão de privacidade? Na verdade, como se aplica a Quarta Emenda, se ela protege contra uma busca não razoável? Outro aluno entrou e sugeriu que usar suas próprias memórias contra você seria um caso de autoincriminação. Uma violação da Quinta Emenda. Porém, ele acrescentou, ele não achava que os personagens do show estariam agindo da maneira que eles faziam, também. Obviamente, teríamos que desenvolver normas sociais para impedir que as pessoas simplesmente tocassem suas memórias umas com as outras, querendo ou não.

A turma foi rapidamente dividida, alguns assumindo a posição de que a privacidade era de suma importância, outros sugerindo que poderia haver algumas maneiras de aproveitar a tecnologia para tornar as pessoas mais seguras, se tivéssemos cuidado com a forma como a fizemos. Eu os lembrei que nós tivemos uma conversa semelhante sobre se o FBI deveria ser capaz de forçar a Apple a desbloquear iPhones . Então falei sobre a decisão de 1967 da Suprema Corte em Katz vs. Estados Unidos , que estabeleceu expectativas razoáveis de privacidade em relação a ligações telefônicas.

Essas questões regulatórias e éticas precisas não apareceram naquele episódio do Black Mirror – mas a mera idéia desse implante futurista provou ser um valioso catalisador para discutir as mesmas complexidades com as quais nos debatemos agora. Talvez nunca venhamos a ver a tecnologia de compartilhamento de memória, mas temos que decidir se os dados biométricos de alguém através de um Apple Watch ou de um marcapasso podem ser usados para incriminá-los . Alexander Graham Bell provavelmente não previu que o telefone levaria a uma decisão histórica de privacidade, e ele teria considerado a descrição de um Fitbit fora do campo de possibilidades. E os fundadores da Strava provavelmente não consideraram que o rastreamento de sua aptidão pudesse revelar a localização das bases militares . A tecnologia de hoje é a ficção científica de ontem. Então, mesmo que não possamos prever com precisão o futuro, a ficção científica não pode nos ajudar a aprender a ser inovadores?

Quando o Future of Computing Academy sugeriu recentemente que os autores de artigos sobre ciência da computação deveriam escrever sobre as possíveis implicações negativas da tecnologia que construíram ou da pesquisa que conduzem, uma queixa dos cientistas foi que isso exigiria especulação: como devemos sabe o que as coisas ruins podem acontecer? Este é um ponto justo, e também precisamente porque eu acho que encorajar a especulação criativa é uma parte importante do ensino do pensamento ético no contexto da tecnologia.

Esta não é uma ideia nova, e eu certamente não sou a única a pensar muito sobre isso (por exemplo, veja “ Como Ensinar Ética na Computação Através da Ficção Científica ”), mas eu queria compartilhar dois exercícios específicos que eu usar e que eu acho que são facilmente adaptáveis. E o Black Mirror também é apenas um exemplo. Eu também usei filmes (por exemplo, Minority Report e O Círculo , embora o livro do segundo seja melhor) e contos (em particular alguns grandes feitos por Cory Doctorow, como “ Scroogled ” e “ Car Wars ”). Há também livros que seria fantástico – desde clássicos como o jogo de Ender ou Bater neve para livros mais recentes que eu particularmente apreciado como um lerdo propriedade intelectual, como o de Doctorow Walkaway e de Annalee Newitz Autónoma . Também é importante lembrar de considerar trabalhos criados por mulheres e por outros que foram marginalizados na ficção científica.

Sinta-se à vontade para usar essas ideias da maneira que preferir – e, se ensinar ética na tecnologia, você poderá encontrar ainda mais ideias nessa lista gigante de currículos de outras pessoas .

Exercício 1: Regulamento especulativo

Este é um exercício que fiz especificamente com o episódio do Black MirrorBe Right Back ”, mas poderia ser ajustado para trabalhar com qualquer narrativa de ficção científica sobre uma tecnologia futura e abrangente (por exemplo, “The Entire History of You”, como descrito acima). Eu acho que funciona melhor quando a tecnologia parece viável, ou pelo menos representa uma linha reta previsível de nossas capacidades atuais. Em “Be Right Back”, uma jovem viúva se inscreve para um serviço que cria um chatbot de seu falecido marido a partir de seus padrões de comunicação (que é a tecnologia da qual não estamos longe ). Eventualmente, uma opção de atualização leva a uma recriação do marido na forma de um androily android (que estamos muito mais longe, mas você pode ver a linha reta).

Depois de uma exibição do episódio, o exercício começa assim: Que tipos de regulamentos existiriam em um mundo que tivesse essa tecnologia? Em outras palavras, se alguém pudesse “trazer de volta” uma pessoa morta em forma de robô, que leis atuais poderiam regular essa prática, ou quais novas seriam criadas? Como seriam os termos de serviço para essa tecnologia? Quais normas sociais se formariam? Que tipos de decisões éticas os atores individuais teriam que fazer?

Uma conversa semeada com essas perguntas pode ser interessante por si só, mas a regulamentação e as normas éticas costumam ser reativas. Por exemplo, situações específicas, como o escândalo da Cambridge Analytica e a evidência de campanhas generalizadas de desinformação on-line, levaram a pedidos de novos tipos de regulamentação para plataformas como o Facebook . Há uma década e meia, poderíamos imaginar que alguém poderia e usaria as plataformas de mídia social para tentar influenciar as eleições? Às vezes, as coisas malucas precisam acontecer antes que você possa começar a ver o espaço do design. Sem mencionar que os casos extremos e contrafactuais podem contribuir para a discussão mais interessante – na faculdade de direito, “ hipopótamos ” são uma pedagogia dominante.

Um exemplo de hipotético para a regulamentação especulativa.

Portanto, neste exercício, utilizo hipóteses específicas para transformar a conversa e abordar questões regulatórias e éticas específicas. Um robô pode ter direitos de custódia para uma criança? Existem consequências para maus tratos de um robô? Um robô pode pedir um divórcio? Quem é responsável pelo comportamento de um robô? Quem é responsável por seus cuidados? Um robô pode ter um copyright? Se você quiser usar este pedaço de ficção científica, aqui está o slide que eu tenho usado para propor estas perguntas ; Há toneladas mais hipotéticas que você poderia adicionar a ela. (Um estudante me perguntou como eu tinha todas essas coisas. Respondi que, tanto como advogado quanto como escritor de ficção científica, sou treinado para exatamente isso.)

Anotações do quadro branco eu peguei na primeira vez que fiz esse exercício, refletindo as escolhas políticas em evolução do aluno.

No final do primeiro período de aula, tentei fazer este exercício, e eu e meus alunos criamos algumas regulamentações bastante complexas, incluindo várias cláusulas que deveriam fazer parte dos termos de serviço da empresa de robótica. Acabou sendo um ótimo exercício para pensar sobre conflitos entre partes interessadas, tipos de responsabilidade e perguntas sobre quem detém o poder.

Exercício 2: Sala dos Escritores do Black Mirror

A maioria dos meus alunos tem conhecimento, se não for visto, do Black Mirror (embora eu também use tipicamente pelo menos um episódio na aula, como no exercício acima). Os melhores episódios tendem a ser aqueles em que a tecnologia não é muito estranha – pegue algo que já temos (como “ Quando seu coração parar de bater, você continuará twitando! ”), E leve isso um passo adiante. Apenas para o outro lado do arrepiante.

Para incentivar o pensamento especulativo, eu coloco os alunos em pequenos grupos e atribuo a cada um deles uma questão que abordamos em sala de aula – privacidade na mídia social, preconceito algorítmico, assédio on-line, propriedade intelectual, desinformação. Peço-lhes para dar um passo adiante. Onde poderia ir a tecnologia ou um sistema social que seria digno de um episódio do Espelho Negro ?

Às vezes, eles vêm com coisas que estão ao virar da esquina: E se o aprendizado de máquina preditivo souber de seus rastros da mídia social que você está doente e lhe enviar medicação? (Ou talvez Alexa pode simplesmente dizer a partir de sua voz .) Bem, isso não é tão assustador – mas que se a tecnologia não eram apenas neutro, mas totalmente motivado lucro, para que o programa faz um cálculo, com base em quão deprimido você parece, sobre se é mais provável fazer uma venda ao anunciar antidepressivos ou heroína?

Ou se publicidade não existisse? Uma vez, um grupo que contempla a privacidade sugeriu um mundo pós-escolha: quando nossa tecnologia sabe tudo o que há para saber sobre nós, pode nos enviar exatamente o que precisamos. (Eu sugeri que uma conspiração de Black Mirror adequada para essa ideia seria alguém lentamente ficando mais chateado com as invasões de privacidade, e, no final, um pacote da Amazon aparece na porta, contendo um livro intitulado So You're Having Existential. Crise Sobre Privacidade .) Em outra classe, nós nos separamos da Cambridge Analytica, e acabamos teorizando uma IA “benevolente” que usa conteúdo altamente personalizado para manipular as opiniões e emoções de todos na Terra, a fim de manter a paz – até percebe que a Terra está superpovoada, e as coisas só pioram a partir daí.

Claro, especular sobre as coisas ruins que podem acontecer não é um ótimo lugar para parar. O próximo passo é considerar como não chegamos lá. Em sala de aula, isso geralmente leva a conversas sobre diferentes partes interessadas, responsabilidades e regimes regulatórios. Eu também especificamente incentivo os alunos a pensar sobre o que os tecnólogos podem fazer. É muito fácil dizer apenas: "Devemos ter leis para isso". Em vez disso, o que a pessoa envolvida na criação dos algoritmos ou da IA pode fazer para assumir responsabilidades e evitar potenciais consequências negativas?

Eu também incentivo os alunos a conspirarem para o “Espelho de Luz” também. Onde a tecnologia pode nos levar a beneficiar a sociedade e melhorar as coisas? Como podemos chegar a esses futuros? Para ser justo, essas tramas tendem a ser menos convincentes – o que talvez seja a razão pela qual a narrativa da “tecnologia do mal” na ficção científica é tão comum – mas é uma nota muito mais edificante para terminar!

Esses exercícios e idéias estão todos a serviço da maneira que eu gosto de pensar sobre o ensino de ética – que é sobre o pensamento crítico mais do que qualquer outra coisa. Raramente há respostas em preto e branco para qualquer coisa. E a especulação é uma maneira de começar a ver as áreas cinzas e os casos de borda. Para ser claro, não deveríamos estar projetando uma regulamentação para a tecnologia que pode ou não chegar – não acho que tenhamos que nos preocupar em legislar sobre o direito de um robô de possuir propriedade ainda. Mas se você pode pensar especulativamente sobre as implicações éticas da tecnologia que alguém pode criar em 50 anos, você pode pensar especulativamente sobre as implicações éticas da tecnologia que você pode criar na próxima semana.

Espero que essas ideias sejam úteis para os outros, pensando na ética em um ambiente de aprendizado! Também observo que esses exercícios não são destinados apenas para uma sala de aula de “ética” – ser capaz de especular criativamente é uma grande habilidade para projetistas de tecnologia, o que é um dos benefícios da ficção de design (veja dois exemplos meus). E considerando as possíveis consequências negativas da tecnologia deve ser parte da prática cotidiana – afinal, a ética não é uma especialização !

Por fim, é importante lembrar que a ficção científica não é para todos, e usá-la excessivamente em um contexto tecnológico também pode servir para reforçar os estereótipos. Portanto, esteja atento também aos produtores e consumidores de ficção científica, e tenha em mente suas implicações adicionais. (Vamos encarar, muita ficção científica é bem problemática também!)

Há muitas coisas importantes que podemos fazer no mundo para ajudar, mas eu gostaria de pensar que ensinar tecnólogos a pensar criticamente sobre responsabilidade e ética é uma maneira de impedir que nossas vidas se transformem em um episódio do Black Mirror .

Por favor, clique no botão de aplausos para recomendar este artigo para seus amigos. Para mais informações sobre como chegamos ao próximo, siga-nos no Twitter e Facebook e inscreva-se no nosso boletim informativo .