A tecnologia de assistaªncia a  visão remota (RSA) osque conecta indivíduos com deficiência visual a agentes humanos por meio de uma chamada de va­deo ao vivo em seus smartphones osajuda pessoas com visão reduzida ou sem visão a navegar em tarefas que exigem visão. Mas o que acontece quando a tecnologia de visão computacional existente não oferece suporte total a um agente no cumprimento de determinadas solicitações, como ler instruções em um frasco de remanãdio ou reconhecer informações de voo na tela digital de um aeroporto?

De acordo com pesquisadores do Penn State College of Information Sciences and Technology, existem alguns desafios que não podem ser resolvidos com as técnicas de visão computacional existentes . Em vez disso, os pesquisadores postulam que eles seriam melhor abordados por humanos e IA trabalhando juntos para melhorar a tecnologia e aprimorar a experiência tanto para usuários com deficiência visual quanto para os agentes que os apoiam.

Em um estudo recente apresentado na 27ª Conferência Internacional sobre Interfaces Inteligentes de Usua¡rio (IUI) em mara§o, os pesquisadores destacaram cinco problemas emergentes com RSA que, segundo eles, justificam um novo desenvolvimento na colaboração humano-IA. Resolver esses problemas pode avana§ar na pesquisa de visão computacional e iniciar a próxima geração de servia§os RSA, de acordo com John M. Carroll, distinto professor de ciências e tecnologia da informação.

"Estamos interessados ​​em desenvolver esse paradigma em particular porque éuma atividade colaborativa envolvendo pessoas com e sem visão, bem como capacidades de visão computacional", disse Carroll. “Na³s o enquadramos de uma maneira muito rica, onde hámuitas questões interessantes de interação humano-humano, interação humano-tecnologia e inovação tecnologiica ”.

Atualmente, a tecnologia de assistaªncia a  visão remota estãodispona­vel por meio de aplicativos gratuitos que conectam usuários com deficiência visual a voluntários com visão ou como um serviço pago conectando-os a agentes com visão. A tecnologia éimplantada quando uma pessoa com deficiência visual precisa de ajuda em uma tarefa dia¡ria que exige visão oscomo encontrar uma mesa vazia em um restaurante, ler o ra³tulo de um pacote de comida ou identificar a cor de um objeto ose liga para um agente usando um va­deo ao vivo funcionar em seu dispositivo ma³vel. O agente então vaª o mundo do usua¡rio atravanãs dessa lente, servindo como seus olhos para ajuda¡-lo a navegar em sua solicitação.

Mas de acordo com Syed Billah, professor assistente do IST e coautor do artigo, o apoio que os agentes prestam não éfa¡cil.

"Por exemplo, criar uma visão de mundo olhando atravanãs da ca¢mera émentalmente exigente para os agentes", disse Billah. "A boa nota­cia éque parte dessa tarefa pode ser transferida para computadores que executam um algoritmo de reconstrução 3D."

No entanto, parte do suporte que os agentes fornecem oscomo ajudar um usua¡rio com deficiência visual a navegar em um estacionamento ou ler um ra³tulo em um frasco de medicamento osvem com apostas mais altas.

"Para resolver esses problemas, háespaço para melhorias com a atual tecnologia de visão computacional", disse Billah.

Em seu estudo, os pesquisadores revisaram as tecnologias RSA existentes e entrevistaram usuários para entender os desafios técnicos e de navegação que enfrentam ao usar o servia§o. Eles então identificaram um subconjunto de desafios que poderiam ser abordados com as tecnologias de visão computacional existentes e propuseram ideias de design para aborda¡-los. Eles também identificaram cinco problemas emergentes que, devido a  sua complexidade, não podem ser abordados pelas técnicas de visão computacional existentes.

Os pesquisadores acreditam que esses problemas podem levar a novas oportunidades para aprimorar o design e a experiência do RSA:

Reconhecer que objetos comumente identificados como obsta¡culos por ca¢meras de smartphones podem não ser considerados obsta¡culos por pessoas com deficiência visual, mas sim ferramentas aºteis. Por exemplo, uma parede ao longo de uma cala§ada pode ser exibida como um obsta¡culo em aplicativos de navegação comuns, mas uma pessoa com deficiência visual andando com uma bengala pode contar com ela para percorrer seus passos.

Ajudar os usuários a navegar em seu ambiente quando um feed de ca¢mera ao vivo pode ser perdido durante a baixa largura de banda do celular, o que ocorre frequentemente em ambientes internos.

Reconhecer conteaºdo em telas LCD digitais, como informações de voo em um aeroporto ou painanãis de controle de temperatura em um quarto de hotel.

Reconhecer textos emsuperfÍcies irregulares. Muitas vezes, informações importantes são impressas de forma a dificultar a leitura dos agentes humanos que auxiliam os deficientes visuais; por exemplo, instruções de medicação em um frasco de comprimidos curvo ou uma lista de ingredientes em um saco de batatas fritas.

Prever como as pessoas ou objetos fora do enquadramento se movera£o. Os agentes devem ser capazes de comunicar rapidamente informações ambientais no ambiente paºblico de um usua¡rio, por exemplo, outros pedestres ou um carro em movimento, para ajudar o usua¡rio a evitar colisaµes e mantaª-lo seguro. No entanto, os pesquisadores descobriram que atualmente édifa­cil para os agentes rastrear essas outras pessoas e objetos e quase impossí­vel prever suas trajeta³rias.

Os pesquisadores esperam que seu estudo melhore a experiência para usuários e agentes com deficiência visual.

"No futuro imaginamos que podemos usar a visão computacional para dar ao agente uma experiência muito imersiva e fornecer-lhe a tecnologia de realidade misturada", disse Rui Yu, doutorando do IST "E poderemos ajudar diretamente os utilizadores a obter algumas informações ba¡sicas sobre seu ambiente com base na tecnologia de visão computacional ."

Sooyeon Lee, ex-aluna de doutorado no College of IST e atual pesquisadora de pa³s-doutorado no Rochester Institute of Technology, e Jingyi Xie, estudante de doutorado em informa¡tica, também colaboraram no estudo, que foi apoiado pelos Institutos Nacionais de Saúde dos EUA e pela Biblioteca Nacional de Medicina.