Use o AI em um NVIDIA Jetson Nano para jogar Doom usando gestos de corpo inteiro

Cameron Coward Segue 23 de jul · 2 min ler

A execução de uma rede neural convolucional (CNN) para inteligência artificial é uma tarefa intensiva em recursos, especialmente se envolver processamento de imagens ou vídeo. Por esse motivo, a maioria dos aplicativos de AI é executada em computadores poderosos ou em servidores de nuvem. O problema é que isso exige um computador local volumoso ou o envio de vídeo pela Internet e a espera de uma resposta. Em muitos casos, é mais desejável executar o AI "no limite". O NVIDIA Jetson Nano é um pequeno computador de placa única (SBC) projetado para fazer exatamente isso, e Nick Bild está usando um para jogar Doom usando o corpo inteiro gestos .

Doom é um videogame que foi originalmente lançado em 1993, mas permaneceu relevante por duas razões: foi um dos primeiros jogos de tiro em primeira pessoa (FPS) que estabeleceu as bases para todo o gênero, e veio a ser popular como um teste de benchmark. Se você pode fazer um gadget executar o Doom , você é bem sucedido.

Isso é especialmente verdade se você puder executar o Doom de uma maneira nova e interessante, que é exatamente o que a Bild fez usando uma CNN rodando em um NVIDIA Jetson Nano para reconhecer gestos corporais e usá-los como comandos para o jogo. Para que a rede neural reconhecesse esses gestos corporais, primeiro precisava ser treinada neles. No total, a rede neural foi treinada em 3.300 imagens. Esses correspondem a 11 diferentes comandos de controle, incluindo: andar para frente, atirar, pular, agachar e modo deus.

Após o treinamento, o NVIDIA Jetson Nano assiste ao Bild através de uma câmera CSI (Camera Serial Interface) conectada. Sempre que detecta um desses gestos, ele notifica uma interface API REST em execução em um laptop. Isso, por sua vez, simula uma tecla física. Um projetor é conectado ao laptop para que a tela do jogo fique na frente do Bild enquanto ele toca. O resultado é uma maneira inteiramente nova – se não particularmente prática – de jogar Doom .

Texto original em inglês.