Minifigures NVIDIA Jetson Nano e LEGO

LEGO Minifigura a detecção de objetos com o NVIDIA Jetson Nano.

Goran Vuksic Segue 1 de jul · 3 min ler

O NVIDIA Jetson Nano é um pequeno computador de IA que muitas vezes se refere a ele como “Raspberry Pi em esteróides”. Recebi meu Jetson Nano Developer Kit há alguns dias e decidi criar um pequeno projeto com ele: a detecção de objetos LEGO Minifigures.

Configurar o Jetson Nano foi muito fácil, e a NVIDIA forneceu um belo tutorial sobre isso: “ Começando com o Jetson Nano Developer Kit ”. Observe que você precisará de uma fonte de alimentação micro USB e cartão microSD que não estejam incluídos no Developer Kit. Além disso, usei a câmera padrão Raspberry Pi v2 para este projeto.

Após a configuração inicial e a instalação da imagem do cartão SD, consegui inicializar o Jetson Nano e fazer login no servidor JupyterLab no dispositivo.

Servidor JupyterLab em execução no modo "headless"

Para este projeto eu tive que construir uma plataforma rotativa e decidi usar o LEGO Boost para isso. Minha ideia era colocar LEGO Minifigures no topo da plataforma, fixar a câmera Raspberry Pi na frente dela e girar a plataforma em diferentes velocidades para testar como o reconhecimento Jetson Nano funciona.

Base da plataforma feita com o LEGO Boost

O aplicativo LEGO Boost que eu instalei no meu iPhone se conecta ao LEGO Brick via Bluetooth, e me permitiu definir diferentes velocidades para o motor que gira na parte superior da plataforma. Antes de colocar os diferentes Minifigures LEGO e outros objetos LEGO no topo da plataforma, tive que estender um pouco.

Topo da plataforma usado para colocar LEGO Minifigures

Passei algumas horas pesquisando na Internet por imagens LEGO Minifigures e anotei-as manualmente para construir o meu conjunto de dados de treinamento. Eu sei o que você está pensando agora, mas alguém tinha que fazer isso pela ciência e pela glória na Internet! ? Configurei uma instância do NVIDIA DIGITS na AWS, criei o conjunto de dados e treinei meu modelo.

Treinamento de modelo em DÍGITAS DA NVIDIA

Caso você queira construir um projeto semelhante com o LEGO Minifigures, meu modelo treinado está disponível aqui . Se você construir algo legal com isso, sinta-se à vontade para me informar sobre isso!

Finalmente, eu transferi o modelo para o Jetson Nano e testei como ele funciona. Você pode ver no seguinte vídeo:

1280 * 720px a 7,6 fps

Fiz vários testes com essa configuração e estou feliz com o desempenho do Jetson Nano. Todo o processo de configuração, treinamento do modelo e teste transcorreu sem problemas. Eu recomendaria definitivamente que você experimentasse se quisesse construir projetos semelhantes.

Se você decidir comprar o Jetson Nano, sugiro que você faça o curso “ Como começar com o AI no Jetson Nano ” da NVIDIA, que é gratuito. Ele levará você a vários exemplos de projetos de classificação de imagens e regressão de imagens, que são mais do que suficientes para começar sua jornada de IA. Após a conclusão deste curso, você receberá um certificado :

Certificado NVIDIA Jetson Nano

Para este projeto, um agradecimento especial ao meu filho Jan, que me ajudou a montar a plataforma LEGO Boost.

Obrigado pela leitura, espero que tenham gostado!

Texto original em inglês.