Os pesquisadores da Cornell desenvolveram duas tecnologias que rastreiam os movimentos dos olhos e leem as expressões faciais do usuário por meio de sensores semelhantes aos de um sonar. A tecnologia é pequena o suficiente para caber em óculos inteligentes comerciais ou fones de ouvido de realidade virtual (VR) ou realidade aumentada (AR), mas consome significativamente menos energia do que ferramentas semelhantes que usam câmeras.
Ambas as tecnologias usam alto-falantes e microfones em óculos para refletir ondas sonoras no rosto e captar sinais refletidos de movimentos faciais e oculares.
GazeTrak é o primeiro sistema de rastreamento ocular que depende de sinais acústicos, enquanto EyeEcho é o primeiro sistema baseado em óculos que pode detectar expressões faciais de forma contínua e precisa e recriá-las por meio de um avatar em tempo real. Ambos os dispositivos podem durar várias horas com uma bateria de smartglass e mais de um dia com um fone de ouvido VR.
GazeTrak utiliza tecnologia inovadora para rastrear a direção do olhar do usuário. Ao utilizar um alto-falante e quatro microfones em cada armação de lente de um par de óculos, o sistema emite ondas sonoras inaudíveis que ecoam no globo ocular e são captadas pelos microfones.
Os sinais sonoros resultantes são alimentados em um pipeline de aprendizado profundo personalizado que usa inteligência artificial para analisar continuamente as diferenças em milissegundos para determinar a direção do olhar do usuário. A tecnologia não é afetada por ruídos de fundo altos, tornando-a uma ferramenta confiável para rastrear o olhar.
Atualmente, o GazeTrak não é tão preciso quanto outros wearables de rastreamento ocular que usam câmeras convencionais. No entanto, a tecnologia é muito mais eficiente em termos energéticos, consumindo apenas 5% da energia exigida por outros dispositivos. Os pesquisadores por trás do GazeTrak afirmam que se o dispositivo usasse a mesma capacidade de bateria do Tobii Pro Glasses 3, ele poderia funcionar por até 38,5 horas, em comparação com 1,75 horas do Tobii. Além disso, espera-se que a precisão do GazeTrak melhore significativamente à medida que a tecnologia avança.
EyeEcho usa um alto-falante e um microfone localizados próximos às dobradiças dos óculos para capturar expressões faciais por meio do movimento da pele. Os sinais refletidos são então interpretados usando IA para permitir videochamadas em modo mãos-livres através de um avatar, mesmo em ambientes barulhentos.
EyeEcho pode rastrear expressões faciais continuamente, ao contrário de outros óculos inteligentes que apenas reconhecem rostos ou distinguem algumas expressões específicas. O sistema EyeEcho é altamente preciso na leitura de expressões faciais com apenas quatro minutos de treinamento em cada um dos rostos dos 12 participantes do teste. O sistema ainda consegue reconhecer expressões com precisão, mesmo quando os sujeitos realizam diversas atividades cotidianas em ambientes diferentes.
EyeEcho oferece melhor desempenho do que EarIO, que é outro sistema de leitura de expressões desenvolvido por Ke Li e colegas. Diz-se que oferece melhor desempenho usando menos dados de treinamento, além de sua precisão permanecer estável por um longo período de tempo.
“Existem muitos sistemas baseados em câmeras nesta área de pesquisa ou mesmo em produtos comerciais para rastrear expressões faciais ou movimentos do olhar, como Vision Pro ou Oculus”, ele disse. “Mas nem todo mundo quer câmeras em wearables para capturar você e o que está ao seu redor o tempo todo.”
“As preocupações com a privacidade associadas aos sistemas que usam vídeo se tornarão cada vez mais importantes à medida que os headsets VR/AR se tornarem muito menores e, em última análise, semelhantes aos óculos inteligentes de hoje”, disse o co-autor François Guimbretière, professor de ciência da informação em Cornell Bowers CIS e no Departamento multi-universitário de Design Tech. “Como ambas as tecnologias são tão pequenas e eficientes em termos de energia, elas serão a combinação perfeita para óculos AR leves e inteligentes.”
Teste Agora! 
