Ouvindo as conseqüências não intencionais

Mitigar possíveis resultados negativos

IDEO Blocked Unblock Seguir Seguindo 12 de dezembro de 2018

Isso faz parte de uma série para provocar diálogo e fornecer meios concretos para ajudar as equipes a construir e projetar sistemas inteligentes de maneira ética. Leia nossa introdução.

Sistemas inteligentes são dinâmicos, aprendendo constantemente a partir de informações que estão sendo geradas e tocadas por seres humanos. Eles não vivem isolados, mas se conectam e refletem os contextos em constante mudança em torno deles. Isso significa que nossos projetos nunca são estáticos e que com o tempo eles se desviarão do curso originalmente definido. Boas intenções não são suficientes. Os cientistas de dados e outros projetistas precisam explorar, identificar e comunicar adequadamente as dependências dentro de um sistema para que possam monitorar o progresso do sistema à medida que ele aprende.

É impossível antecipar exatamente o que um sistema irá aprender (se pudéssemos fazer isso, a capacidade de aprender seria supérflua) ou como os jogadores fora de seu controle evoluiriam. Em vez disso, podemos considerar como as pessoas e nossos preconceitos podem influenciar o que e como ele aprende de maneiras inesperadas. Imagine maneiras pelas quais o sistema pode aprender coisas inesperadas ou não intencionais, planejar como você vai ouvir os sinais de que seu modelo deu errado, e criar failas para fechar problemas problemáticos

Atividades para tentar

_Escreva qual problema seu projeto está resolvendo e, em seguida, liste três comportamentos humanos ou valores culturais que você acredita que seu design evoca ou estimula. Examine seu conceito e cada um desses comportamentos ou valores em um caso extremo e discuta as consequências potenciais. Em equipe, explore como você pode criar salvaguardas, redundâncias ou alertas para sinalizar que seu design não está mais agindo conforme o planejado.

_Descreva dois cenários futuros que poderiam impactar seu sistema alterando os sinais de entrada e / ou os humanos participantes, um positivo (generosidade, paz e abundância) e um pessimista (divisão, discórdia e destruição). Por exemplo, como isso pode afetar as férias da família? Namoro? Sem-abrigo? Não gaste muito tempo trabalhando na precisão ou probabilidade do resultado. A intenção é definir contextos extremos para explorar diferentes caminhos evolutivos possíveis para os sistemas que colocamos em movimento hoje.

_ É comum dizer que "o que é medido é o que importa". Quais métricas podem ajudar você a entender que seu design está tendo consequências indesejadas? Selecione um conjunto de chaves para ajudá-lo a monitorar o progresso com antecedência e com frequência.

Vinheta do projeto

Um cliente do setor de serviços queria aproveitar os milhões de registros de dados que tinha nos clientes para melhorar a experiência geral de compra. Após semanas de entrevistas com clientes e agentes de vendas, a equipe de design definiu as diferentes categorias de informações que esses agentes usavam e desejavam ter na ponta dos dedos. Em seguida, a equipe de design conceituou uma nova interface de software que poderia destacar vários pontos de dados de clientes de uma só vez, incluindo os totais de gastos anteriores. Depois de muita discussão com a equipe central do cliente, decidimos que mostrar esses dados financeiros colocaria os clientes em desvantagem se estivessem conversando com um vendedor agressivo. Um agente de vendas poderia usar o valor médio de gasto do cliente como um proxy para a riqueza e, assim, ser tentado a vender um serviço mais caro que não se alinhasse com os desejos ou necessidades do cliente. A equipe do cliente não queria que os agentes de vendas tivessem informações privilegiadas que poderiam usar contra seus clientes. No final, os dados financeiros foram removidos da nova interface.

Explore as outras postagens desta série: