EdTech e transparência algorítmica

Como a investigação da pontuação do SAT de Kamilah Campbell é um lembrete da importância da inteligência artificial transparente e explicável

Shea Brown Blocked Unblock Seguir Seguindo 9 de janeiro Foto de NeonBRAND no Unsplash

As recentes notícias em torno da investigação da pontuação do estudante do ensino médio da escola Kamilah Campbell, da Flórida, que foi sinalizada pelo The College Board por possíveis fraudes, oferecem uma perspectiva interessante sobre questões relacionadas à transparência algorítmica no crescente setor da EdTech. Embora seja provável que apenas uma parte do processo usado para sinalizar o teste tenha sido automatizada, as respostas de ambas as partes destacam questões que se tornarão comuns em um cenário educacional que é cada vez mais dominado por algoritmos opacos.

fundo

Conforme relatado pela CNN e outros locais, a segunda tentativa de Campbell nos SATs, que resultou em uma melhoria de 330 pontos, está sendo retida e investigada pelo The College Board depois de ser encontrada, entre outras coisas, que suas respostas se assemelham às respostas de outros estudantes. Representado pelo advogado de direitos civis Ben Crump, Campbell está pedindo que sua pontuação no SAT seja liberada a tempo para que ela seja aceita na faculdade e se candidate a bolsas de estudos. " Esta pontuação de 1230 faz uma grande diferença se ela vai entrar na faculdade dos seus sonhos e se ela pode pagar " , diz Crump.

O College Board divulgou uma declaração esclarecendo seu processo de revisão, que analisa uma variedade de fatores para determinar se as pontuações dos alunos devem ser mantidas ou canceladas por suspeita de fraude. A evidência de fraude pode incluir um alto grau de similaridade entre as respostas de um aluno e um grupo de outros alunos, a presença (nesse grupo) de alunos que tiveram sua pontuação cancelada antes, a similaridade de respostas com uma “folha de fraude” confiscada. e a ausência de trabalho de rascunho no livreto de teste do aluno. A carta enviada a Campbell, do The College Board, citava “ um acordo substancial entre as respostas dela em uma ou mais seções pontuadas do teste e as de outros examinandos ” como uma razão para sinalizar o exame para revisão. Embora não seja mencionado no artigo original ou na declaração de revisão, esse sinalizador inicial é provavelmente a única parte automatizada do processo.

Relevância para o AI em EdTech

Independentemente do resultado do processo de revisão, ou da demanda de Campbell pelas pontuações a serem divulgadas, a retórica em torno desta história destaca várias questões importantes para a indústria EdTech que está investindo pesadamente em inteligência artificial e aprendizado de máquina como seu futuro.

Transparência

Crump deixou claro para a CNN que a transparência do processo é uma questão crítica, dizendo: “Ela agora está sendo acusada de trapaça. E porque? Eles dizem: 'Oh, você só precisa acreditar na nossa palavra, que há algo que vemos que está errado' ” , acrescentando que “ eles precisam nos dizer (o que veem) ”.

Este é um lembrete de quão importante a transparência será quando a maioria das habilidades ou avaliações de competência forem totalmente automatizadas . A carta inicial do College Board, e sua declaração divulgada posteriormente, tentou abordar essa questão esboçando seu processo em linhas gerais, mas a incompletude deixou muitas questões em aberto. – O processo de sinalização foi automatizado? Quão parecidas as respostas precisam ser para serem sinalizadas? Como esse corte foi escolhido? Qual é a taxa de falsos positivos para similaridade acima deste ponto de corte e como foi determinado? – As respostas a essas perguntas existem, mas elas foram efetivamente comunicadas às partes interessadas relevantes?

O Grupo de Especialistas de Alto Nível sobre Inteligência Artificial da Comissão Européia (AI HLEG) elaborou diretrizes éticas para o que eles estão chamando de “IA Confiável”, e eles oferecem conselhos específicos sobre transparência. Eles sugerem que os fornecedores “ fornecem, de forma clara e proativa, informação às partes interessadas… sobre as capacidades e limitações do sistema de IA… ”, sugerindo ainda que eles devem “se esforçar para facilitar a auditabilidade dos sistemas de IA, particularmente em contextos ou situações críticas. Na medida do possível, projete seu sistema para permitir o rastreamento de decisões individuais para suas várias entradas; dados, modelos pré-treinados, etc. Além disso, defina métodos de explicação do sistema de IA. ”

Uma preocupação pode ser: quanta informação o The College Board pode disponibilizar sem arriscar as pessoas que tentam “brincar com o sistema”? Nas palavras da AI HLEG, “ tenha em mente que pode haver tensões fundamentais entre objetivos diferentes (a transparência pode abrir a porta para o uso indevido; identificar e corrigir preconceitos pode contrastar com as proteções de privacidade). Comunique e documente essas compensações ”.

O fato de Crump ter optado por se concentrar na transparência é revelador, e a lição para a EdTech é que essas questões devem ser consideradas bem antes de implantar algoritmos de avaliação.

Prestação de contas

Outro foco do argumento retórico de Crump para a divulgação das pontuações é a questão da responsabilidade recíproca. Ele argumenta que “eles querem que esses estudantes sejam responsáveis perante eles, mas esse sistema não é responsável por ninguém. … Bem, desta vez, eles terão que ser responsáveis também. ”

Essa mensagem deve ressoar fortemente com aqueles que desenvolvem e implantam soluções algorítmicas para avaliar, pontuar, medir e prever habilidades e comportamentos humanos. As conseqüências das decisões tomadas por máquinas afetam pessoas reais de maneiras potencialmente significativas, e a questão de quem é responsável quando algo dá errado está se tornando cada vez mais pertinente. Uma pesquisa da Forrester Consulting (encomendada pela KPMG International) descobriu que 62% dos entrevistados culpam a empresa que desenvolveu um software defeituoso que causou um acidente veicular autônomo e 54% também culpam o fabricante que instalou o software e o motorista que poderia ter tomado controle manual (era uma questão “selecionar tudo o que se aplica”). A analogia na EdTech é que o fornecedor que cria o software de AI está no gancho em caso de erro, seguido de perto pelo distrito escolar ou instituição que comprou o software e o educador que escolhe usá-lo no lugar da avaliação humana direta.

Nada disso significa que o College Board fez algo errado, ou que a AI não tem um potencial incrível para revolucionar e democratizar a educação, mas as questões levantadas pelo caso Kamilah Campbell dão aos inovadores da EdTech motivos para fazer uma pausa e considerar cuidadosamente o caso. questões de transparência e responsabilidade em todas as etapas do processo de desenvolvimento.