AR应用软件CARA能够将信息转换为音频

该团队利用Microsoft HoloLens在现实世界的“场景”上创建数字网格。使用称为认知增强现实助手（CARA）的独特软件，他们能够将信息转换为音频消息，为每个对象提供佩戴耳机时听到的“声音”。

 

通过CARA，HoloLens将检测周围环境中的物体，然后使用空间化声音通过让他们呼唤您来告知您物体是什么。如果对象位于左侧，则语音将来自AR头显的左侧，而右侧的任何对象将从头显的右侧向您发出声音。声音的音高会根据你与物体的距离而改变; 物体越近，音高越高。

 

加州理工学院的团队设计了几种简化体验的模式。一种是“聚光灯模式”，用户可以将他们的脸直接指向一个物体，并且该特定物体会通过告诉您它是什么。另一种模式称为“扫描模式”，其中房间中的物体由CARA扫描。

 

第三种模式“目标模式”允许用户使用房间中的任何物体作为指导来帮助导航周围环境。这种方法与您在博物馆使用音频指南时的体验非常相似，但是您将收到有关您周围环境的信息。

 

加州理工学院生物科学教授/神经生物学执行官Markus Meister表示：“VR和AR的所有技术都是从场景中获取信息，然后将其转换为其他用途。”

 

在加州理工学院的试验期间，有7名盲人使用HoloLens，目的是导航到二楼办公室。戴上AR头显后，测试对象会收到一条消息，说明导航已经开始，然后按照“跟我来”的说明进行操作。

 

通过最少的培训，每个受试者都发现自己在大厅，两组楼梯和几个角落中航行，导航目的地都通往二楼办公室。他们的第一次尝试没有任何问题，并且因为虚拟指南旨在提前几步，测试对象能够“看到”前面的内容。