Aprendizagem Automática Interpretável: Uma Visão Geral

Pol Ferrando Blocked Desbloquear Seguir Seguindo 26 de dezembro

Apesar de seu alto desempenho preditivo, muitas técnicas de aprendizado de máquina permanecem como caixas-pretas porque é difícil entender o papel de cada recurso e como ele se combina com os outros para produzir uma previsão. No entanto, os usuários precisam entender e confiar nas decisões tomadas pelos modelos de aprendizado de máquina, especialmente em áreas sensíveis como a medicina. Por essa razão, há uma necessidade crescente de métodos capazes de explicar as previsões individuais de um modelo, isto é, uma maneira de entender quais recursos fizeram com que o modelo fornecesse sua previsão para uma instância específica.

Uma configuração típica de aprendizado de máquina é mostrada na figura a seguir:

Fonte: https://www.darpa.mil/program/explainable-artificial-intelligence

Temos uma rede neural (o modelo de aprendizado de máquina ) treinada como um classificador de imagens. Esse modelo daria uma probabilidade (digamos, 0,98) de que um gato aparece na foto (uma observação ), então poderíamos dizer que “nosso modelo prevê que este é um gato com uma probabilidade de 0,98”. Mas nós não saberíamos realmente sobre as razões por trás dessa previsão. Não seria melhor se pudéssemos dizer que “nosso modelo prevê que se trata de um gato com uma probabilidade de 0,98 porque tem pêlos, bigodes, garras e orelhas com uma certa forma”? Com essa informação, entenderíamos porque nossa rede neural (corretamente) previu que existe um gato e, também, poderíamos decidir se devemos confiar ou não na previsão. Esse é o objetivo do aprendizado de máquina interpretável (ou aprendizado de máquina explicável ).

Trending AI Articles:

1. Como escolher entre angular e reagir para o seu próximo projeto

2. Seis Assinaturas AI para mantê-lo informado

3. Aumento de dados usando o Fastai

4. Máscara R-CNN explicada

Uma abordagem popular para esse problema de explicação é usar um modelo interpretável (ou transparente ), a partir do qual uma explicação pode ser extraída observando seus componentes. Por exemplo, uma árvore de decisão pode ser explicada observando as regras que levam da raiz até as folhas, ou um modelo linear generalizado pode ser explicado pelo coeficiente estimado de cada característica. Os modelos interpretáveis são uma solução válida (e fornecerão insights significativos), desde que sejam precisos para a tarefa, mas limitar-se a esse tipo de modelo é muito restritivo e pode comprometer a precisão, por isso é preferível usar modelos tão flexível quanto necessário pelo problema, sem restrições.

Para modelos menos transparentes (por exemplo, caixas pretas), uma abordagem alternativa é usar explicações específicas do modelo (ou dependentes do modelo ), ou seja, métodos de explicação projetados especificamente para um determinado tipo de modelo. Por exemplo, existem métodos para explicar as decisões de florestas aleatórias e outros métodos para redes neurais artificiais. O problema desses métodos é que o método de explicação tem que ser substituído toda vez que o modelo é substituído por um de um tipo diferente e, conseqüentemente, o usuário final precisa de mais tempo e esforço para se acostumar com o novo método de explicação.

Portanto, precisamos de explicações independentes de modelo (ou modelo agnóstico ). Isto é, um método que pode explicar as previsões de qualquer modelo. Com tais explicações, não estamos restritos a um tipo específico de modelo. Além disso, como esse método usa as mesmas técnicas e representações para explicar as previsões de qualquer modelo, é mais fácil comparar dois modelos candidatos para a tarefa ou alternar modelos se eles forem de tipos diferentes.

Um método independente de modelo requer apenas um modelo treinado e uma observação a ser explicada. Como não pode fazer nenhuma suposição sobre o modelo, a explicação deve ser gerada usando apenas as previsões feitas pelo modelo. Como resultado, ele destacará os recursos mais influentes na previsão do modelo. E isso normalmente os mostrará com artefatos visuais para facilitar a interpretabilidade. Por exemplo, uma explicação poderia ser um conjunto de pesos (um para cada recurso) que são positivos se o valor do recurso suportar a previsão e negativo, se não:

Exemplo de explicação

Os três principais métodos independentes do modelo são:

  • Explanações agnósticas do modelo interpretável local (LIME) . Esse método gera uma explicação para uma previsão dos componentes de um modelo interpretável (por exemplo, os coeficientes em uma regressão linear) que aproxima o modelo de caixa preta localmente em torno do ponto de interesse e que é treinado sobre uma nova representação de dados para garantir interpretabilidade.
  • Vetores de explicação . Intuitivamente, uma característica tem muita influência na decisão do modelo, se pequenas variações em seu valor causam grandes variações na saída do modelo, enquanto uma característica tem pouca influência na predição se grandes mudanças nessa variável apenas afetarem a saída do modelo. Esse método define explicações como vetores de gradiente no ponto de interesse, que caracterizam como um ponto de dados precisa ser movido para alterar sua previsão.
  • Método baseado em Interações para Explicação (IME) . Com base na teoria dos jogos cooperativos, este método considera as características como jogadores de um jogo em que o valor das coalizões é a mudança na previsão do modelo com relação à saída esperada do modelo produzida pelo conhecimento dos valores de característica da observação que está sendo explicada. O IME divide a alteração total na previsão entre os recursos de uma maneira “justa” às suas contribuições em todos os possíveis subconjuntos de recursos.

Em posts futuros, explicarei detalhadamente cada um desses métodos, juntamente com exemplos de sua aplicação.

Texto original em inglês.

Aprendizagem Automática Interpretável: Uma Visão Geral

Pol Ferrando Blocked Desbloquear Seguir Seguindo 26 de dezembro

Apesar de seu alto desempenho preditivo, muitas técnicas de aprendizado de máquina permanecem como caixas-pretas porque é difícil entender o papel de cada recurso e como ele se combina com os outros para produzir uma previsão. No entanto, os usuários precisam entender e confiar nas decisões tomadas pelos modelos de aprendizado de máquina, especialmente em áreas sensíveis como a medicina. Por essa razão, há uma necessidade crescente de métodos capazes de explicar as previsões individuais de um modelo, isto é, uma maneira de entender quais recursos fizeram com que o modelo fornecesse sua previsão para uma instância específica.

Uma configuração típica de aprendizado de máquina é mostrada na figura a seguir:

Fonte: https://www.darpa.mil/program/explainable-artificial-intelligence

Temos uma rede neural (o modelo de aprendizado de máquina ) treinada como um classificador de imagens. Esse modelo daria uma probabilidade (digamos, 0,98) de que um gato aparece na foto (uma observação ), então poderíamos dizer que “nosso modelo prevê que este é um gato com uma probabilidade de 0,98”. Mas nós não saberíamos realmente sobre as razões por trás dessa previsão. Não seria melhor se pudéssemos dizer que “nosso modelo prevê que se trata de um gato com uma probabilidade de 0,98 porque tem pêlos, bigodes, garras e orelhas com uma certa forma”? Com essa informação, entenderíamos porque nossa rede neural (corretamente) previu que existe um gato e, também, poderíamos decidir se devemos confiar ou não na previsão. Esse é o objetivo do aprendizado de máquina interpretável (ou aprendizado de máquina explicável ).

Trending AI Articles:

1. Como escolher entre angular e reagir para o seu próximo projeto

2. Seis Assinaturas AI para mantê-lo informado

3. Aumento de dados usando o Fastai

4. Máscara R-CNN explicada

Uma abordagem popular para esse problema de explicação é usar um modelo interpretável (ou transparente ), a partir do qual uma explicação pode ser extraída observando seus componentes. Por exemplo, uma árvore de decisão pode ser explicada observando as regras que levam da raiz até as folhas, ou um modelo linear generalizado pode ser explicado pelo coeficiente estimado de cada característica. Os modelos interpretáveis são uma solução válida (e fornecerão insights significativos), desde que sejam precisos para a tarefa, mas limitar-se a esse tipo de modelo é muito restritivo e pode comprometer a precisão, por isso é preferível usar modelos tão flexível quanto necessário pelo problema, sem restrições.

Para modelos menos transparentes (por exemplo, caixas pretas), uma abordagem alternativa é usar explicações específicas do modelo (ou dependentes do modelo ), ou seja, métodos de explicação projetados especificamente para um determinado tipo de modelo. Por exemplo, existem métodos para explicar as decisões de florestas aleatórias e outros métodos para redes neurais artificiais. O problema desses métodos é que o método de explicação tem que ser substituído toda vez que o modelo é substituído por um de um tipo diferente e, conseqüentemente, o usuário final precisa de mais tempo e esforço para se acostumar com o novo método de explicação.

Portanto, precisamos de explicações independentes de modelo (ou modelo agnóstico ). Isto é, um método que pode explicar as previsões de qualquer modelo. Com tais explicações, não estamos restritos a um tipo específico de modelo. Além disso, como esse método usa as mesmas técnicas e representações para explicar as previsões de qualquer modelo, é mais fácil comparar dois modelos candidatos para a tarefa ou alternar modelos se eles forem de tipos diferentes.

Um método independente de modelo requer apenas um modelo treinado e uma observação a ser explicada. Como não pode fazer nenhuma suposição sobre o modelo, a explicação deve ser gerada usando apenas as previsões feitas pelo modelo. Como resultado, ele destacará os recursos mais influentes na previsão do modelo. E isso normalmente os mostrará com artefatos visuais para facilitar a interpretabilidade. Por exemplo, uma explicação poderia ser um conjunto de pesos (um para cada recurso) que são positivos se o valor do recurso suportar a previsão e negativo, se não:

Exemplo de explicação

Os três principais métodos independentes do modelo são:

  • Explanações agnósticas do modelo interpretável local (LIME) . Esse método gera uma explicação para uma previsão dos componentes de um modelo interpretável (por exemplo, os coeficientes em uma regressão linear) que aproxima o modelo de caixa preta localmente em torno do ponto de interesse e que é treinado sobre uma nova representação de dados para garantir interpretabilidade.
  • Vetores de explicação . Intuitivamente, uma característica tem muita influência na decisão do modelo, se pequenas variações em seu valor causam grandes variações na saída do modelo, enquanto uma característica tem pouca influência na predição se grandes mudanças nessa variável apenas afetarem a saída do modelo. Esse método define explicações como vetores de gradiente no ponto de interesse, que caracterizam como um ponto de dados precisa ser movido para alterar sua previsão.
  • Método baseado em Interações para Explicação (IME) . Com base na teoria dos jogos cooperativos, este método considera as características como jogadores de um jogo em que o valor das coalizões é a mudança na previsão do modelo com relação à saída esperada do modelo produzida pelo conhecimento dos valores de característica da observação que está sendo explicada. O IME divide a alteração total na previsão entre os recursos de uma maneira “justa” às suas contribuições em todos os possíveis subconjuntos de recursos.

Em posts futuros, explicarei detalhadamente cada um desses métodos, juntamente com exemplos de sua aplicação.