Jeffrey Cross
Jeffrey Cross

Gateways para a alma - EyeWriter

Em 2003, meu amigo Tony, também conhecido como grafiteiro Tempt1, foi diagnosticado com ELA, uma doença progressiva que o deixou quase completamente paralisado, exceto pelos olhos. Para ajudá-lo a continuar fazendo sua arte, colaborei com um grupo de desenvolvedores de software e hackers de hardware, incluindo membros do Free Art and Technology (FAT), do OpenFrameworks e do Graffiti Research Lab, para criar o EyeWriter (eyewriter.org ), um sistema de rastreamento ocular de baixo custo, de código aberto, que permitiria ao Tempt1 e a outros pacientes de ELA desenhar e controlar um computador usando apenas os olhos.

Nosso objetivo era um sistema super barato que pudesse ser feito por quase qualquer pessoa, quase em qualquer lugar. Existem sistemas de rastreamento de olhos comerciais e de pesquisa, mas eles são complexos e caros, com mais de US $ 10.000. Limitamos o design do EyeWriter para enfatizar o baixo custo e a facilidade de construção em relação a outros aspectos do desempenho.

desenhar

O EyeWriter funciona iluminando os olhos do usuário de forma controlada e analisando uma imagem de vídeo dos movimentos dos olhos. Para a câmera, escolhemos um PlayStation Eye (também conhecido como PS3 Eye), uma pequena webcam de 25 dólares vendida como acessório do sistema de jogo.

O PS3 Eye captura vídeo NTSC 640 × 480 e pode ser modificado para alta sensibilidade ao infravermelho, o que torna a câmera uma favorita da comunidade de hackers multi-touch. O PS3 Eye, em seguida, alimenta seu vídeo via USB para um computador, onde é capturado pelo aplicativo EyeWriter construído em C ++ usando openFrameworks (openframeworks.cc).

Para o nosso primeiro EyeWriter, concluído em 2009, colocamos a câmera do PS3 Eye na frente de um olho, montando-a em uma extensão anexada à frente de um par de armações de óculos. O software cortou a imagem do vídeo, aumentou seu contraste e limitou-o a mostrar apenas um ponto preto da pupila contra um fundo branco. Para aumentar esse efeito de pupila escura, nós iluminamos o globo ocular com 2 LEDs infravermelhos próximos, montados perto da câmera.

O software localizou as coordenadas do aluno na imagem da webcam e usou um mapa para associar esse local ao local em que o pincel de desenho precisa estar na tela do computador do usuário. Para construir o mapa, o usuário percorreu uma rotina de calibração onde ele moveu os olhos para seguir visualmente uma sequência de pontos que aparecem ao redor da tela.

Essa versão 1.0 era simples e funcionava, mas apenas enquanto os olhos do usuário permanecessem parados em relação à tela. Mova a cabeça e ela jogou a calibração fora. Então, decidimos criar uma versão 2.0 que é um pouco mais complexa, mas permite um movimento mais normal da cabeça.

EyeWriter 2.0

No EyeWriter 2.0, a câmera fica fixa logo abaixo da tela, em vez de ser usada em armações de óculos. Existem 3 iluminadores infravermelhos: um anel de 16 LEDs infravermelhos em torno da lente da câmera e dois iluminadores de 8 LEDs em cada lado da tela. Nós hackeamos o PS3 Eye para tocar seu sinal VSYNC e alimentar o sinal elétrico em um Arduino, que o usa para estrobar os iluminadores com cada quadro de vídeo, alternando entre o centro e os dois lados. Com o iluminador central ligado, o IR ricocheteia na parte de trás do olho e cria o mesmo efeito brilhante de “olho vermelho” que você vê na fotografia com flash, mas com os iluminadores laterais acesos, as pupilas parecem escuras. Isso permite que o software localize a posição da pupila como a parte da imagem que alterna entre claro e escuro.

Cada iluminador lateral cria um “brilho” onde a luz é refletida diretamente para o globo ocular e para dentro da câmera. Ao rastrear os locais de reflexo em ambos os lados, bem como o centro da pupila, o sistema pode calcular as orientações dos olhos, não importa onde a cabeça esteja ou de que modo a face esteja virada.

Meus alunos da Parsons School of Design modificaram o software EyeWriter para que ele possa controlar o cursor no nível do sistema operacional, e não apenas no aplicativo de desenho do olho. Junto com qualquer botão ou outra entrada de clique, isso transforma o EyeWriter em uma substituição de mouse / trackpad de uso geral. O EyeWriter 2.0 custa menos de US $ 150 para ser fabricado, e o sistema se sustenta contra os sistemas mais de 50 vezes o seu preço.

O EyeWriter ganhou prêmios e foi bem recebido, mas não está alcançando quase o número de pessoas que poderiam se beneficiar. Eu ouvi de muitos que querem um EyeWriter para alguém que amam, mas para quem fazer um ainda é um grande obstáculo. Por isso, temos colaborado com a MakerBot Industries em um kit que inclui peças impressas em 3D e tudo mais que você precisa para construir um EyeWriter 2.0. Esperamos disponibilizar este kit em 2012.

O maior desafio com o kit agora é o fornecimento da câmera. Queremos um que seja superior ao PS3 Eye, tenha o mesmo tipo de pino de saída VSYNC, não seja caro e não exija abrir um estojo de plástico e jogue-o fora junto com 4 microfones não utilizados. Sugestões são bem vindas.

Veja blog.makezine.com/errata/make-volume-29-web-extras-and-downloads/ para saber como criar um EyeWriter 2.0.

Ação

Deixar Um Comentário