Brave NUI World: aumento do controle de gestos sem toques

Dmitriy Chuta Blocked Desbloquear Seguir Seguindo 9 de janeiro Um exemplo de gerenciamento da interface usando gestos manuais, desenvolvido pela Chapps Future Laboratory

Vamos falar sobre a interface gráfica do usuário (GUI). Esta é uma forma de interface de usuário que usa ícones gráficos e representações visuais para exibir todos os elementos e controles de usuário relacionados na tela. Por elementos, queremos dizer botões, ícones, listas, etc. A interação humana com a interface está sendo feita via teclado, mouse ou qualquer outro dispositivo apontador. Estes também são bem conhecidos como dispositivos de entrada ou manipuladores .

O minuto da história

GUI é um fenômeno relativamente jovem. A GUI atual que conhecemos tem cerca de 50 anos. Em 1968, o inovador Douglas Engelbart, em cooperação com sua equipe, desenvolveu os fundamentos da primeira GUI no mundo. Ele ficou na história como a criação fundamental do primeiro sistema online (conhecido como NLS). O NLS deveria exibir a imagem raster na tela, interação com o mouse e hipertexto.

Desde então, a ciência e a tecnologia deram um enorme passo à frente, mas o entendimento básico das interfaces permaneceu no mesmo nível. Ainda estamos limitados a um dispositivo de exibição que temos hoje (por exemplo, um projetor), elementos gráficos (pastas) e um dispositivo apontador (mouse) para manipulação.

No entanto, não podemos ignorar conquistas na esfera da tecnologia que influenciaram significativamente a percepção moderna da interface gráfica.

Um dos principais pontos foi a introdução da tela sensível ao toque e, quando ela ficou disponível para uso mundial em nossa vida em uma base regular, o dispositivo que, ao mesmo tempo, pode ser usado para informações de entrada e saída. Suas vantagens são bastante claras e, entre elas, a simplicidade e a escalabilidade da interface (o tamanho pequeno e a tela grande são uma boa combinação para um dispositivo). Mas há uma desvantagem significativa no lugar e é alto consumo de energia.

O iPhone que foi apresentado em 2007 foi o primeiro dispositivo a suportar multitouch. “Um iPod com tela de toque, um telefone e um dispositivo para navegar na Internet em um único dispositivo” – foi assim que Steve Jobs apresentou o iPhone e, ao mesmo tempo, esmagou todos os concorrentes, que ainda dependiam de soluções de botão:

Botões e controles não podem mudar. Eles estão lá, mesmo que você não precise deles.

– Steve Jobs

O desenvolvimento de inteligência artificial na verdade assumiu um papel igualmente importante. Outros desenvolvimentos na esfera de reconhecimento de voz e a aparência dos assistentes de voz criaram uma nova dimensão no trabalho com a interface gráfica. O ponto notável dos assistentes de voz, como Siri e Alexa, é que sua interface permanece “fora de nossos olhos”. Mesmo apesar dos truques da interface do usuário, que simulam a comunicação com o AI, toda a “mágica” ocorre dentro do dispositivo. Mas, ao contrário das telas sensíveis ao toque, que mataram completamente o mercado de dispositivos de botão de pressão, as interfaces de voz se tornaram apenas uma opção adicional de interação com os sistemas. A razão para isso é bem descrita aqui .

As formas gigantes de variabilidade para construir sentenças, nuances de contexto, centenas de significados de palavras individuais, formas de pronunciar palavras, sotaque, defeitos de fala, entonações, mudando completamente o significado de frases em algumas línguas – tudo isso não permite reconhecer corretamente grandes quantidades de dados.

Não há dúvidas, que o controle de voz tem grandes perspectivas. Mas ainda há muito a fazer neste campo para ganhar e conquistar a lealdade absoluta dos usuários.

Guarde ou esqueça

A GUI tradicional foi desenvolvida em uma época em que ninguém conseguia pensar em rolagem. Agora está irremediavelmente desatualizado e reúne numerosos manipuladores. Imagine que você tenha uma noite livre e você decidiu acompanhar os episódios perdidos de suas séries favoritas. Então, aqui está você, com sua TV, iPhone, controle remoto da TV, Apple TV, iPhone (é como a lei do século 21 – você deve estar sempre em contato) e seu tablet doméstico (para verificar e-mails ou navegar pelo Instagram). Por um lado, você está acostumado a operar com muitos dispositivos ao mesmo tempo, você é o rei entre os seus assuntos. Por outro lado, você fica cansado e cansado de todos esses dispositivos.

O Black Mirror e seus dispositivos futuristas, mas graciosos, vêm à mente. Os dispositivos parecem tão convincentes que, olhando para eles, você começa a suspeitar que os criadores da série sabem mais sobre o futuro do que eles dizem. E em cada próxima apresentação da Apple, esperamos ver pelo menos algo parecido com uma série. Mas o futuro não nos atinge tão rápido quanto gostaríamos.

Espelho preto. Temporada 1, Episódio 2

O futuro da interface do usuário

As soluções mostradas no Black Mirror são geralmente elegantes e simples. Esta não é apenas uma interface gráfica familiar para nós, portanto, é mais sobre a chamada Natural User Interface. NUI – esta é uma interface intuitiva que elimina completamente a necessidade de dispositivos mecânicos, como um teclado ou mouse.

A vantagem dessa interface é que ela é bastante intuitiva e que o usuário não precisa aprender especificamente como trabalhar com ela.

Teoricamente, transferindo nossa experiência do mundo real para o virtual, já deveríamos ser capazes de realizar certas tarefas. Sabemos como mover objetos no mundo real para podermos usar as mesmas ações de movimento conhecidas no espaço virtual.

A realidade aumentada nos leva mais um passo para o NUI ideal. Mas ainda não temos o amplo uso da tecnologia de controle de gestos sem contato. Atualmente, os designers estão revisando a biblioteca de elementos da interface do usuário, tentando se afastar das soluções usuais para dar uma chance a novas formas de inserir informações. Focando no gerenciamento de controle de gestos, podemos inventar novos princípios de interação com os sistemas. Então precisamos testá-los na prática, encontrar pontos fracos e então podemos melhorá-los. Iteração após a iteração, continuaremos a nos distanciar da idéia de apontar o dispositivo para a interação sem contato.

Novo sistema de rastreamento de gestos da Microsoft

Isto é real?

A resposta curta é sim. Aqui estão algumas maneiras de rastrear as mãos para reconhecer gestos.

  1. Com a ajuda de uma luva especial.

O primeiro modelo de luva para uso amplo apareceu há quase trinta anos. A Power Glove da Mattel Inc foi usada como um dispositivo de controle para a Nintendo. Apesar do fato de que ao longo dos anos os modelos de luvas para esses fins se tornaram mais leves e melhores, essa tecnologia é difícil de trazer ao mercado de massa, já que os usuários geralmente não querem usar um acessório tão pesado como uma luva para o uso diário.

2. Usando câmeras

A característica distintiva – baixo consumo de recursos de computação e energia. O software compreende a estrutura esquelética da mão, o afastamento de suas partes, sua relação com outros objetos e gestos dinâmicos. (por exemplo, clicando, tocando, apertando e soltando, etc.) Você pode querer ler mais sobre rastreamento aqui .

de TEAGUE

Uma maçã podre ruim

Designers enquanto procuram por novas soluções geralmente esquecem os princípios fundamentais do design de interação (de um artigo de Don Norman e Jacob Nilsson). Estes incluem o seguinte:

  • Visibilidade
  • Comentários
  • Consistência (Padrões)
  • Operações não destrutivas
  • Descoberta
  • Escalabilidade
  • Confiabilidade

O resultado de não seguir esses padrões pode se tornar uma história triste para os negócios. Os usuários prestarão atenção a uma solução inovadora, mas não passarão nos testes de usabilidade.

Donald Norman, da NNG, chamou a atenção para o problema do impacto em 2010.

Como os gestos são efêmeros, eles não deixam para trás nenhum registro de seu caminho, o que significa que, se alguém faz um gesto e não obtém resposta ou resposta errada, há pouca informação disponível.

– Dan Norman

É preciso ressaltar que este artigo saiu depois que o iPad apareceu no mercado e criticou os gestos de contato, e, como vemos oito anos depois, essa tecnologia não só provou a si mesma como também se consolidou.

O segundo ponto que precisa ter atenção é a ergonomia. Steve Jobs explicou uma vez por que as telas nos MacBooks nunca terão uma tela sensível ao toque.

As superfícies de toque não querem ser verticais. Não funciona Não é ergonômico.

– Steve Jobs

Problemas de ergonomia são herdados na tecnologia de controle de gestos. Mas não há nada que não possa ser melhorado. Talvez o problema não esteja na tecnologia, mas no uso correto.

Onde aplicar e usar?

Uma nova maneira de inserir informações requer uma revisão da experiência geral do usuário. Logo no discurso amplo, junto com o conceito de “ amistoso ”, outra expressão aparecerá – “ amiga dos gestos ”. Hoje, as empresas avançadas já estão implementando novas tecnologias em seu fluxo diário, adicionando o uso de gestos aos seus processos. Os benefícios indiscutíveis desta tecnologia estão na educação.

Rastreamento de mão e reconhecimento de gestos “quebra a quarta parede”, transferindo a experiência do trabalho prático para um nível completamente diferente. As ilustrações nos livros de anatomia estão agora antes do último século. A visualização em 3D dos esqueletos e dos órgãos internos e a interação dos alunos com eles dão uma ideia real do tamanho e das proporções dos objetos, que nunca serão alcançados com imagens planas em papéis.

Essa tecnologia também é indispensável nos casos em que o controle de voz não é suficiente e as mãos estão ocupadas com outras ações de movimento necessárias. Usar o rastreamento de gestos em cirurgias não é um sonho de um grande futuro, mas a prática que está sendo usada hoje .

As grandes corporações sentem a importância desse desenvolvimento tecnológico e implementam gradualmente sua experiência dentro de seus produtos. Com isso, o BMW 7th modelo compreende um conjunto de comandos básicos de gestos e permite que o usuário adicione seus próprios gestos personalizados.

BMW 7 Series Gesture Controlde Consumer Electronics Show

Futuro Agora

A ideia de uma interface de usuário natural não é nova, mas ainda não se generalizou. Não há melhor momento do que agora para a sua implementação: as tecnologias tornaram-se mais acessíveis e o potencial humano está agora no seu máximo. Pela primeira vez em mil anos, nossas capacidades chegaram o mais perto possível para cobrir todas as nossas necessidades. Acreditamos que num futuro próximo, ninguém se adaptará às limitações das interfaces, mas será feito vice-versa.

As interfaces serão tão personalizadas quanto possível para cobrir todas as necessidades e tarefas das pessoas.

Existe um desafio para designers e desenvolvedores no desenvolvimento de uma nova linguagem de interação. Isso está associado a problemas de usabilidade e a uma possível violação dos princípios do design interativo. No entanto, a solução mais radical ao criar novas alavancas de interação definitivamente não é criá-las. Existem dois tipos de pessoas: aqueles que fazem e aqueles que esperam até que outros o façam. Nós do Chapps nos consideramos pessoas de negócios, e fazemos isso.

Ao se interessar pela esfera de interação sem contato, já prevíamos possíveis pontos de dor. Aqui estão alguns erros comuns que podem aparecer durante o desenvolvimento de interfaces de usuário naturais:

  1. Concentrando-se nos princípios da GUI

Novas interfaces não podem herdar cegamente os antigos princípios de interação. Podemos levar em consideração a experiência anterior, mas a NUI deve estar definindo a direção do vetor de desenvolvimento no futuro.

2. Criando uma quantidade excessiva de gestos

A última coisa que você quer fazer é fazer com que seu usuário se sinta muito burro para o seu produto. Concentre-se em gestos básicos e não sobrecarregue com informações extras.

3. Desconsiderando as limitações do dispositivo

Escopo não óbvio, velocidade de rastreamento e detecção, podem levar a um reconhecimento insatisfatório e, como resultado, à frustração do usuário.

4. Não processando um teste de usuário adequado

Ao desenvolver o NUI, o teste do usuário assume um papel principal. O que é natural para uma pessoa pode ser incompreensível ou estranho para outra. Após o teste, a opção mais natural é a preferida pela maioria das pessoas que participaram dos testes.

5. Esmagando a interface com ações complexas que matam a diversão e fazem o usuário perder o interesse

Tudo o que já foi ou será desenvolvido na esfera tecnológica existe para facilitar e melhorar a vida das pessoas e agregar valores ao mundo que nos rodeia. Se a interação parecer complicada demais, o usuário não perderá tempo precioso com isso, não importa o quanto ele seja leal à idéia ou à tecnologia geral.

3 principais regras de desenvolvimento NUI:

  1. Metáforas adequadas para gestos e animações
  2. Manipulação de erro inventada
  3. Diretrizes de produtos

E a quarta regra que gostaríamos de adicionar pessoalmente da Chapps Team . A posição ativa dos clientes e o interesse no desenvolvimento de soluções alternativas é muito importante para nós. Os clientes da Chapps não esperam o que se tornará uma tendência no próximo ano, já que juntos podemos criar e definir tendências hoje.