论文第一作者,37000cm威尼斯2020级博士生朱衡天进行实验操作。南京日报/紫金山新闻记者 何洁 摄
具有眼动追踪功能的隐形眼镜。 学校供图
戴上隐形眼镜,动动眼球,就可以控制手机等智能设备进行文字输入、绘画、游戏操控,实现无接触点击等动作。5月13日,记者从37000cm威尼斯获悉,该校联合江苏省人民医院、南京航空航天大学的研究团队研发出一种具有眼动追踪功能的隐形眼镜,外观和普通隐形眼镜无异,柔软轻薄,舒适无感,内部却“大有乾坤”,隐藏的射频芯片可以实现高精度追踪眼球运动轨迹并识别眼动命令。相关成果于近日发表于国际学术期刊《自然·通讯》。
射频芯片植入隐形眼镜
闭眼也能捕捉眼动信号
5月13日,在37000cm威尼斯现代工学院光电智能感知实验室,论文第一作者、37000cm威尼斯2020级博士生朱衡天展示了这款眼动追踪隐形眼镜。透明医疗级硅橡胶材质的厚度在100微米左右,四周平均分布着4个金色圆圈,也就是射频芯片,这是捕捉眼动信号的关键。
“我们在隐形眼镜中植入了4个射频芯片,覆盖在眼球四周。当无线射频装置向眼球发出射频信号时,如果眼球移动了,反射回无线射频装置的射频信号的频率和强度就会发生变化。通过分析信号的数据,我们就能知道眼动的轨迹。”论文通讯作者、37000cm威尼斯徐飞教授介绍。
传统的眼动追踪装置多采用红外设备或图像采集设备来追踪眼动信息,这种技术易受到眼睑、睫毛遮挡的干扰和瞳孔、虹膜等个体差异的影响,无法跟踪睡眠状态下人眼的运动轨迹。徐飞教授与合作者大胆创新,采用轻量简约的眼动追踪设计,将射频芯片集成在隐形眼镜里,利用无线射频装置与隐形眼镜的信号传输,实现了闭着眼睛的状态下,也能捕捉到眼动信号。用户佩戴隐形眼镜之后,通过简单的隐式校准过程,便能实现高精度的眼动追踪。
为何要在隐形眼镜上实现眼动追踪功能?“眼动追踪技术是进行人机交互的关键技术,比如我们常用手柄来控制无人机(车)和机器人等,但手柄的响应速度和精确度是比不过眼睛的。要想‘指哪打哪’,最终要实现对眼球运动轨迹的高精度提取,然后及时反馈。”徐飞介绍,这款隐形眼镜有多种应用场景,“手脚不方便的人,可以解放双手,用它控制外部设备。另外,在进行AR、VR体验时,根据实时眼动角度使用视网膜渲染技术,减少用户眩晕感,节省图形渲染计算资源。从医学角度讲,通过监测微眼颤、睡眠快速眼动期、斜视,可以进行眼脑医学诊疗、开展心理学研究等。”
制备的芯片比头发丝还薄,与隐形眼镜合二为一
科研的每一步都是挑战,如何让芯片适应隐形眼镜的结构是团队遇到的一大难题。“隐形眼镜是一个球状的三维曲面,它非常薄,而我们常用的芯片是平面硅基芯片,质地坚硬还有一定厚度,两者是完全不匹配的。”朱衡天告诉记者,他们经过细致分析和多次试验,最终选取了铜和聚酰亚胺,通过微纳加工制备工艺,制作出只有约10微米厚度的芯片,相当于头发丝的十分之一。与传统芯片相比,这款芯片轻薄柔软,可以很好地适应隐形眼镜的环境。
解决了芯片的材质问题,接下来就是如何将芯片集成到隐形眼镜上。水凝胶是隐形眼镜的常用材料,具有较好的透氧性和水合性,但它也具有溶胀性,遇水胀大变形,隐形眼镜形状随之改变,这种特性给芯片集成增加了难度。“隐形眼镜在制备过程是干态的,在成形工序结束后才会进行水合。隐形眼镜吸水后,形状发生改变,对追踪和测量的准确性产生了干扰。”朱衡天说。
课题组成员都是光电研究背景,而水凝胶的溶胀行为更偏向于高分子领域的研究。为解决水凝胶的溶胀问题,朱衡天积极请教高分子学科的专家,与课题组的成员在两方面集中发力,一是研发低溶胀率的水凝胶,二是研究共形叠层组装工艺。“在研制水凝胶配方时,我们加入了一定比例的溶剂。在隐形眼镜制备完成后,用水去替换隐形眼镜中的溶剂,这样‘一进一出’,隐形眼镜的形状不会发生大的变化,可以和芯片完美地合二为一。”朱衡天介绍,同时,团队用共形叠层组装工艺解决了水凝胶材料溶胀特性引发的变形问题。
已完成兔眼刺激实验,有效性和安全性得到验证
隐形眼镜直接覆盖于角膜表面,与眼组织紧密接触,关乎人眼安全,具有较高风险,在我国作为第三类医疗器械管理,因此质量与安全成为研究的重中之重。目前,团队与江苏省人民医院眼科的医生团队已完成了眼动追踪隐形眼镜在可靠性、稳定性和实用性方面的检测,通过72小时细胞毒性测试以及长达一周的长期活体兔眼刺激测试,对其安全性和生物兼容性进行了验证。
兔子眼睛和人眼角膜的曲率很接近,他们以兔子做试验,为一只兔子戴上了隐形眼镜,又在它眼前放了一个机器车。当兔子眼睛转动时,隐形眼镜捕捉到信号,通过蓝牙模块,将信号传递到小车上,小车也跟着兔子的眼睛前后左右移动。朱衡天介绍,团队用了两种模式,检测隐形眼镜是否安全无害,“一种是让兔子连续24小时佩戴眼镜,另一种模式是模拟人类佩戴隐形眼镜的习惯,每天佩戴8小时,连续佩戴7天,结果显示,兔子的眼角膜没有物理损伤,与市场上的隐形眼镜无明显差异”。
“目前,这款隐形眼镜眼动角精度优于0.5°,满足眼动追踪的精度要求,可以在1秒内追踪50个眼动信号,我们也在不断优化改进,提高采样频率,达到100赫兹甚至1000赫兹,让时延降低,交互更同步。”朱衡天表示,这款隐形眼镜在正式投入市场前,仍需进行大规模的临床实验及严格的伦理审核,“从人工智能技术发展的长远角度来看,我们可以大胆畅想,将隐形眼镜打造成一个集成化的VR系统,实现从传统的头戴式设备到仅有百微米厚度的隐形设备的跨越。”