Tecnologias assistivas utilizam realidade aumentada para comunicação com crianças autistas

Projetos desenvolvidos na UFRGS incluem fichas de comunicação para utilizar com smartphones e uma mesa interativa
boneco e aviãozinho de pano em cima da mesa tangível
A mesa tangível consiste em uma superfície horizontal aumentada computacionalmente sobre a qual é possível interagir com um software aplicativo utilizando objetos físicos convencionais - Foto: Rochele Zandavalli/UFRGS

Cerca de uma em cada cem crianças é portadora do Transtorno do Espectro Autista (TEA) e pode ter problemas de envolvimento social e aquisição de habilidades de comunicação de grau leve a grave. Pensando nesse público, alguns projetos vêm sendo desenvolvidos na UFRGS, como o da pesquisadora Valéria Ilsa Rosa e o da professora Liliana Passerino. Ambos utilizam tecnologias digitais e realidade aumentada com o objetivo de ajudar as crianças a desenvolverem suas habilidades comunicativas.

Em sua tese de doutorado, defendida este ano no Programa de Pós-Graduação em Design da UFRGS, a professora da Fundação Universidade Regional de Blumenau (FURB) Valéria Ilsa Rosa desenvolveu uma prancha de comunicação alternativa e aumentativa, utilizando realidade aumentada. Rosa escolheu o tema motivada pelo contato que teve ao ser auxiliar de uma criança com paralisia cerebral. “Trabalhar com tecnologia assistiva é enriquecedor; é muito gratificante poder ajudar as pessoas. É algo além do design e da academia”, justifica.

Por meio da prancha de comunicação, faz-se uso do sistema PECS (Sistema de Comunicação por Troca de Imagens). É um método muito usado em instituições que atendem autistas, que utiliza figuras em fichas para estabelecer uma associação entre atividade e símbolo e visa ajudar a criança a perceber que por meio da comunicação ela pode obter as coisas de que necessita com mais rapidez. “As pranchas de comunicação aumentada não eram visualmente agradáveis nem coerentes – cada um faz a sua. Então eu quis fazer algo mais clean, esteticamente mais agradável”, explica.

Utilizando o aplicativo HP Reveal em um smartphone (pode ser baixado gratuitamente na AppStore e na PlayStore), o usuário aponta a câmera do celular para uma das imagens da prancha e, ao reconhecer o símbolo, animação e sons referentes ao significado do desenho são exibidos na tela do aparelho. Este é o grande diferencial do projeto: ele está em um aplicativo gratuito que necessita apenas de um smartphone e das fichas desenvolvidas pela pesquisadora para funcionar. “O smartphone prende a atenção dessas crianças com TEA – que têm dificuldade de concentração”, diz Rosa.

Foram feitas aplicações na Associação de Amigos do Autista (AMA) em Florianópolis com seis meninos autistas, durante sessões que eles tinham com a fonoaudióloga do local, e os resultados animaram a pesquisadora. “Eu não esperava tanto dos resultados da pesquisa. Os pais me deram um retorno muito positivo, a fonoaudióloga também. Durante as observações nos atendimentos, eu ficava sempre emocionada com o mínimo progresso quando as crianças utilizavam a Prancha de Comunicação Alternativa e Aumentativa”, comenta Rosa.

prancha de comunicação

No sistema PECS, o usuário aponta para se comunicar. Por exemplo, a ficha “eu quero” seguida de uma ficha de um objeto para simbolizar um desejo – Imagem: Valéria Ilsa Rosa

 

Mesa interativa

O outro projeto que está em produção é da professora da Faculdade de Educação da UFRGS Liliana Passerino, que trabalha desde o ano 2000 com o desenvolvimento de tecnologias assistivas para pessoas com autismo. Seu mais novo projeto consiste em uma mesa tangível para planificação cognitiva em alunos com TEA, ou seja, uma superfície horizontal aumentada computacionalmente sobre a qual é possível interagir com um software aplicativo utilizando objetos físicos convencionais.

imagem interna da mesa tangível

O funcionamento da mesa: um software que é executado em um computador projeta uma imagem no espelho, que reflete em uma placa de acrílico com vinil. O aluno vai utilizar objetos com códigos de marcação embaixo, chamados fiduciais, que são iluminados por leds de infravermelho e captados por uma câmera. O software reconhece cada fiducial como um número e a posição dele na mesa. Ao tocar em um ponto predeterminado da mesa, a tarefa é cumprida, animações e sons são exibidos – Foto: divulgação/UFRGS

A mesa foi desenvolvida em parceria com a Universidad de Zaragoza, onde Passerino passou oito meses para aprender sobre o processo de criação e montagem da mesa, que já havia sido previamente desenvolvida por outros pesquisadores. “O software da mesa tangível não foi desenvolvido pelo nosso grupo, mas pela Universitat de Barcelona e tinha inicialmente a aplicação em uma mesa tangível de som. A Universidad de Zaragoza pegou o protótipo – como era um software livre – e aproveitou para fazer uma mesa para desenvolver aplicativos”, explica. Foi de Passerino, porém, que partiu a ideia de trabalhar com TEA. “Em Zaragoza, trabalham muito com déficit de atenção e outros transtornos. Foram feitos estudos também com a terceira idade. Então, quando conheci o projeto, perguntei à professora Sandra Baldassarri se ela gostaria de usar esse material para pensar um projeto com autismo”, conta.

Em um centro de educação especial, em Zaragoza, Passerino trabalhou com 13 sujeitos, sete deles com TEA e seis com outras deficiências de comunicação graves. “Eu achei que os sujeitos com TEA foram os que mais se beneficiaram. Tinham sujeitos com síndrome de Down e sujeitos com alguma deficiência cognitiva de leve a moderada. Os autistas eram os que menos participavam em sala de aula e, com o uso da mesa, eles deram um pulo significativo na compreensão dos processos de comunicação principalmente”, opina Passerino. A mesa foi utilizada com crianças que não tinham nenhum tipo de comunicação falada ou gestual, pois, segundo a pesquisadora, não tinham compreensão simbólica do que significavam os objetos. Não compreendiam o que era uma bola ou uma cadeira, por exemplo. “Começamos a trabalhar com miniaturas em cima da mesa tangível em situações que simulavam a vida real. Isso ajudou o sujeito a começar a se apropriar de uma simbolização mínima para depois passar para um sistema de comunicação alternativa, já que ele adquire habilidades para conseguir usar um tablet para construir uma fala”, explica a professora. A doutoranda Martha Barcelos Vieira, orientanda de Passerino na UFRGS, explica que até mesmo crianças com mobilidade reduzida podem fazer uso da mesa. “Há uma vantagem, que é referente a habilidade motora do usuário da mesa. Na impossibilidade de usar teclado e mouse, a mesa facilita esse processo. Assim, descartamos o uso da motricidade fina”, elucida.

Aqui no Brasil, o projeto tem duas frentes: uma para continuar trabalhando com pesquisa – com autismo e outras deficiências – e outra para trabalhar em laboratório com os alunos de graduação e pós-graduação na área de ensino. A disciplina Acessibilidade e Tecnologia Assistiva na Escola Inclusiva é ofertada desde 2012 para alunos de algumas licenciaturas. Em todos os semestres é desenvolvido um trabalho, e, neste, o projeto é fazer aplicativos para aqueles alunos do centro de educação especial em Zaragoza – já que a pesquisa lá continua mesmo após o retorno de Passerino ao Brasil. Os professores do centro de Zaragoza preenchem um formulário especificando o que gostariam de trabalhar com seus alunos e qual o perfil destes, por exemplo, se são verbais ou se têm limitações funcionais. “A partir disso, os alunos de graduação são divididos em grupos. Cada grupo produz um aplicativo para um conjunto de alunos do centro, conforme o que foi especificado no formulário. A turma é assistida por alunos de pós-graduação com mais experiência na produção de aplicativos, que são feitos em duas versões, português e espanhol, pois assim tudo que for produzido poderá ser utilizado em escolas no Brasil também”, conta Passerino. Além disso, a disciplina conta com uma parte teórica, na qual os alunos estudam as necessidades de cada deficiência e como supri-las nas atividades com a mesa. “Por exemplo, baixa visão exige um fundo preto que destaque grandes letras brancas. A criança pode ser alfabetizada ou não, e isso também altera a dinâmica com a mesa. Avaliamos os aplicativos criados também por esses critérios”, explica a pesquisadora.

Uma terceira frente do projeto será aberta semestre que vem com cursos de formação para professores, ensinando a montar uma mesa de baixo custo. “A mesma mesa, porém barata. A gente agora está pesquisando a solução para que essa mesa custe menos de R$ 1.500,00. Esse é o nosso objetivo, tornar a mesa mais barata que um computador”, diz Passerino. Além disso, a nova versão da mesa é dobrável, facilitando muito o seu transporte, que poderá ser feito por um carro, o que não é possível com a versão atual. A pesquisadora prevê que já em setembro seja instalada uma mesa em duas escolas públicas-piloto que irão participar do projeto – uma em Canoas e outra em Porto Alegre – e que os professores sejam capacitados para utilizá-las. Durante o ano letivo de 2019, começarão os trabalhos com os alunos dessas escolas.

A professora conta que as dificuldades na produção da mesa não são poucas. Há muitos problemas para a importação dos materiais necessários, e a pesquisadora não tem conseguido o reembolso de notas fiscais chinesas. “Então a maioria das coisas que estão aqui foi comprada com nosso dinheiro. Nós compramos muito material próprio, porque nós temos esse problema de prestação de contas”, comenta Passerino.

O grande diferencial da mesa é que ela pode ser usada por todos. “Pode ser usada por diversas faixas etárias, tanto de adultos quanto de crianças. Ela não é focada em uma deficiência específica, então não é centrada na deficiência, mas sim na habilidade da pessoa. É possível variar o nível de dificuldade do aplicativo conforme o usuário. Então, podemos ter coisas bem complexas ou muito simples. Isso permite que os professores planejem suas próprias aulas”, explica a pesquisadora. “Todos os nossos materiais são pensados para crianças com deficiência, mas eles seguem a linha do desenho universal. Ou seja, quem olha não vê a deficiência, quem olha vê um objeto bonito, agradável e que pode ser usado com qualquer criança. Então, se a gente pensa no sujeito com deficiência, os ditos normais vão se beneficiar igual. Porque o objeto não é excludente, ele é inclusivo”, finaliza.

Leia também: