Pesquisadores usam Deep Learning para converter sons mono para 3D

Cameron Coward Blocked Unblock Seguir Seguindo 4 de janeiro

Seus ouvidos são um feito magnífico de otimização evolucionária, e se formaram ao longo de milhões de anos para dar a você fantásticos super poderes localizadores de som. A forma do seu ouvido e as capacidades de processamento auditivo do seu cérebro permitem que você determine de que direção um som está vindo e a que distância ele está com notável precisão. Mas esse efeito tem sido difícil de reproduzir em gravações. Agora, uma nova técnica de aprendizado profundo pode transformar gravações de sons mono em representações tridimensionais .

Esta técnica foi desenvolvida por Ruohan Gao na Universidade do Texas e Kristen Grauman na Facebook Research. No artigo vinculado, o autor afirma que “efetivamente imitar o som 3D sempre escapou aos pesquisadores”. Isso não é estritamente verdadeiro; O som 3D é totalmente possível em muitas situações. O difícil é gravar e reproduzir som 3D no mundo real. Os microfones estéreo não reproduzem fielmente os ouvidos humanos e, portanto, não ouvem da mesma maneira que nós.

O sistema criado por Gao e Grauman tenta fazer isso com uma configuração especial de gravação e aprendizado profundo. Os sons são gravados em um par de microfones embutidos em reproduções sintéticas de ouvidos humanos, que ouvem de forma semelhante às suas orelhas reais. Outro método converte som monoaural em sons binaurais através da aprendizagem profunda . Um sistema de aprendizado de máquina treinado assiste a um vídeo da gravação e tenta encontrar a fonte do som. A gravação é então distorcida para coincidir com a fonte prevista. Essa “gravação 2.5” não é perfeita, mas é um passo adiante na reprodução do som 3D.