Detectando o Pikachu em vídeos usando a Detecção de Objetos Tensorflow

Dentro das muitas funcionalidades e ferramentas do TensorFlow, existe um componente chamado TensorFlow Object Detection API . O objetivo desta biblioteca, como o nome diz, é treinar uma rede neural capaz de reconhecer objetos em um quadro, por exemplo, uma imagem.

Em um trabalho anterior meu, encontrado aqui , eu expliquei e passei pelo procedimento que segui para detectar Pikachu em dispositivos Android usando este pacote TensorFlow. Além disso, também dei uma introdução à biblioteca e discuti as diferentes arquiteturas e recursos que ela oferece, bem como uma demonstração sobre como avaliar o processo de treinamento usando o TensorBoard .

Detectando o Pikachu no Android usando a Detecção de Objetos Tensorflow
Este guia explica como treinar um modelo de detecção de objetos, usando o Pikachu como o objeto de destino, com a finalidade de… towardsdatascience.com

Seguindo em frente, alguns meses depois, assumi a tarefa de melhorar meu modelo de detecção de Pikachu previamente treinado com o propósito de detectá-los diretamente de um vídeo, usando Python, OpenCV e, é claro, TensorFlow Object Detection. O código está disponível no meu GitHub: https://github.com/juandes/pikachu-detection

Pikachu

Este artigo é sobre os passos que segui para conseguir isso. Em primeiro lugar, vou apresentar os problemas que notei no meu modelo original e o que fiz para melhorá-los. Em seguida, vou descrever como, usando esse modelo novo e aprimorado, construí um sistema de detecção de vídeos. Finalmente, você poderá ver dois vídeos com várias detecções do Pikachu.

Mas antes de começarmos, aqui está um pequeno gif mostrando algumas detecções rápidas.

Pikachu sendo detectado Isso é Pikachu