Como Comprar Inteligentemente: Criando Consumidores Bem Informados de Intervenções Educacionais

A palavra “procurement” pode trazer à mente um processo burocrático envolvendo muita papelada, mas a essência da aquisição é crítica – como identificar os melhores produtos e fazer o melhor uso dos fundos educacionais para melhorar os resultados para os alunos? Isso é particularmente importante quando se trata de produtos de tecnologia educacional (ed tech), nos quais os distritos gastam bilhões de dólares todos os anos. O Ato de Todos os Estudantes de Sucesso destaca ainda mais a necessidade de ter informações confiáveis ??sobre a eficácia dos produtos que são comprados com fundos federais.

À medida que o pessoal do distrito integra novas tecnologias ao ensino, muitas vezes enfrentam o desafio de fazer escolhas informadas sobre intervenções de tecnologia de ponta. Com milhares de produtos para escolher, como os funcionários do distrito podem determinar quais são eficazes e trabalharão bem em suas próprias escolas com seus próprios alunos? Como eles sabem se os fornecedores de informações fornecem sobre seus produtos é confiável? E uma vez que os produtos são adotados, como eles podem dizer se o software está tendo os efeitos desejados e vale a pena os recursos serem alocados para eles?

Essas questões se resumem a dois desafios: (1) tomar decisões baseadas em evidências sobre o que os produtos de tecnologia de ponta devem comprar e, em seguida, (2) determinar se esses produtos estão funcionando conforme o esperado. Com a ênfase na responsabilidade na educação atual, as escolas precisam de melhores maneiras de avaliar o efeito dos recursos que compram.

Em reconhecimento a esse problema, o Escritório de Tecnologia Educacional do Departamento de Educação do US Office financiou o desenvolvimento do Coach de Avaliação de Ciclo Rápido (RCE Coach), um conjunto de ferramentas e recursos online projetados para apoiar decisões baseadas em evidências sobre compras. Este blog descreve esses dois desafios com mais detalhes e identifica maneiras pelas quais o Coach RCE pode ajudar a resolvê-los.

Desafio 1: Dificuldade em selecionar novos produtos tecnológicos devido à falta de evidências relevantes e de alta qualidade sobre a eficácia

Ao comprar tecnologias educacionais, é difícil prever se um produto terá o efeito desejado. Muitas tecnologias emergentes não existem há tempo suficiente para testes rigorosos de eficácia, tendo em vista os longos ciclos da pesquisa tradicional em educação. Quando existem estudos que demonstram eficácia, nem sempre é claro se os resultados podem ser replicados nas próprias escolas, dadas as diferenças de contexto, as populações estudantis e as abordagens de implementação. E a qualidade das evidências disponíveis varia amplamente, de depoimentos a estudos causais em grande escala.

Como tal, tomar decisões baseadas em evidências sobre novas tecnologias é um desafio. De acordo com um estudo de 2014 da Digital Promise , menos da metade dos distritos usam evidências rigorosas para tomar decisões sobre compras de tecnologia ed, confiando mais em recomendações e pilotos. Além disso, uma pesquisa com mais de 500 funcionários do distrito, conduzida por uma equipe interdisciplinar de pesquisadores, formuladores de políticas, profissionais e líderes do setor privado em 2016, constatou que apenas 11% dos entrevistados exigiam provas de eficácia para adotar uma tecnologia.

O efeito líquido é que é extremamente difícil para um diretor de tecnologia ou diretor de tecnologia instrucional estar confiante de que uma intervenção proposta irá “mover a agulha”.

Como o treinador da RCE pode ajudar:

  • O RCE Coach fornece recursos de desenvolvimento profissional, como um guia para ajudar os distritos a entender a qualidade das evidências fornecidas pelos desenvolvedores. Ele também fornece um guia para a escolha de tecnologias . Essas ferramentas permitem que os funcionários do distrito tenham conversas mais informadas com os desenvolvedores e façam as perguntas certas sobre suas evidências de eficácia.
  • Ao permitir que os distritos gerenciem e, em seguida, compartilhem avaliações imediatas e rápidas da tecnologia educacional usada em suas escolas, o Coach da RCE aumentou a disponibilidade de pesquisas sobre produtos amplamente utilizados e novos . Além disso, o RCE Coach solicita que os usuários insiram informações sobre os ambientes do distrito e como os produtos estão sendo usados. Assim, os distritos podem procurar por avaliações relevantes para seus contextos locais.

Desafio nº 2: tomar decisões baseadas em evidências para continuar ou expandir o uso de uma tecnologia de ponta.

Alguns distritos conduzem pilotos para testar novas tecnologias em suas salas de aula, mas o feedback resultante é frequentemente anedótico. Esses pilotos geralmente não têm o peso analítico para medir de forma autêntica os impactos na aprendizagem. Além disso, as metas para um uso particular de uma tecnologia às vezes não são bem definidas. Decisões de renovar licenças, portanto, muitas vezes são baseadas em fatores subjetivos, como feedback individual, resultados acadêmicos que poderiam ser influenciados por uma série de outras variáveis, inércia institucional ou intuição.

Como o treinador da RCE pode ajudar:

  • O Coach da RCE conduz os usuários através de alguns passos simples para definir seus objetivos para a tecnologia e formular as perguntas que eles realmente querem responder. Em outras palavras, facilita uma conversa entre os principais interessados ??sobre quais resultados o distrito se preocupa e quer medir.
  • O Coach facilita a criação e a realização de avaliações que podem isolar os efeitos da tecnologia, contabilizando outros fatores que podem influenciar o desempenho do aluno (ou outros resultados de interesse).
  • Além disso, os distritos podem usar o Coach para agregar dados sobre as tecnologias entre escolas e distritos – aumentando a confiança nos resultados da avaliação e permitindo análises de subgrupos específicos de alunos.

Como isso se parece na prática?

Diane Lauer, Assistente do Superintendente de Programas Prioritários e Apoio Acadêmico das Escolas do St. Vrain Valley do Colorado, usou o Coach para testar dois produtos diferentes destinados a melhorar a alfabetização dos estudantes . As descobertas permitiram que ela examinasse os dados de um desenvolvedor mostrando efeitos positivos e tivesse uma conversa mais apurada sobre as condições necessárias para que o software fosse eficaz.

Seu colega, Kahle Charles, o diretor executivo de currículo, está usando o RCE Coach para ajudar a determinar a eficácia de um piloto de recuperação de eCredit do ensino médio. Ele diz: “ Com o Coach da RCE, nosso objetivo é mudar o método de avaliação e implementação em nosso distrito escolar para incluir um processo de tomada de decisão baseada em evidências, ajudando-nos a fazer escolhas mais efetivamente para aumentar o desempenho dos alunos.”

No Sistema de Escolas Públicas do Condado de Wake, na Carolina do Norte, Matthew Lenard, o Diretor de Estratégia e Análise de Dados, usou o Coach para examinar os efeitos de um recurso de alfabetização digital . Essa avaliação estimulou uma conversa dentro do distrito sobre suas metas de compra do banco de dados e concluíram que a medida de resultado original – desempenho acadêmico – não refletia a teoria de mudança desejada.

Matthew também queria ampliar os esforços para determinar se as tecnologias educacionais estavam tendo os efeitos desejados e descobriu que a avaliação rápida do ciclo proporcionava uma maneira prática de perseguir esse objetivo. Seu colega Marlo Gaddis, diretor de tecnologia do distrito, observou que: “ As avaliações de ciclo rápido tornaram-se uma parte valiosa das decisões estratégicas de compra, licenciamento e avaliação de nosso distrito em uma série de produtos de tecnologia educacional”.

As avaliações de ciclo rápido podem desempenhar um papel valioso na expansão da compreensão da comunidade de educação sobre como os produtos de tecnologia de ponta funcionam em diferentes ambientes, entre diferentes populações de alunos e usando diferentes modelos de implementação. Com base nessa base de conhecimento, os distritos poderão julgar melhor o retorno do investimento de tecnologias e justificar os gastos com tecnologia de ponta no futuro.