马里兰大学研究人员开发出受人眼启发的新型改进型相机

发布时间:2024-08-19 14:19:35 栏目:精选知识

    导读 由马里兰大学计算机科学家领导的团队发明了一种相机机制,可以改善机器人观察和对周围世界做出反应的方式。他们的创新相机系统受到人眼工作...

    由马里兰大学计算机科学家领导的团队发明了一种相机机制,可以改善机器人观察和对周围世界做出反应的方式。他们的创新相机系统受到人眼工作原理的启发,模仿了眼睛用来保持清晰和稳定视力的微小不自主运动。该团队对这款相机的原型设计和测试——称为人工微扫视增强事件相机 (AMI-EV)—— 在 2024 年 5 月发表在《科学机器人》 杂志上的一篇论文中进行了详细介绍。

    “事件相机是一种相对较新的技术,比传统相机更善于跟踪移动物体,但当今的事件相机在涉及大量运动时很难捕捉到清晰、无模糊的图像,”该论文的主要作者、 马里兰大学计算机科学博士生何波涛说道。“这是一个大问题,因为机器人和许多其他技术(如自动驾驶汽车)都依赖准确及时的图像来对不断变化的环境做出正确反应。因此,我们问自己:人类和动物如何确保他们的视线始终集中在移动物体上?”

    对于何教授的团队来说,答案是微扫视,即当人们试图集中视线时不由自主发生的微小而快速的眼球运动。通过这些微小而连续的运动,人眼可以长时间准确地聚焦于物体及其视觉纹理(例如颜色、深度和阴影)。

    何立表示:“我们认为,就像我们的眼睛需要微小的运动来保持聚焦一样,相机可以使用类似的原理来捕捉清晰准确的图像,而不会因运动而产生模糊。”

    该团队通过在 AMI-EV 内插入旋转棱镜来重定向镜头捕捉的光束,成功复制了微扫视。棱镜的连续旋转运动模拟了人眼中自然发生的运动,使相机能够像人一样稳定记录物体的纹理。然后,该团队开发了软件来补偿棱镜在 AMI-EV 内的移动,以巩固来自移动光线的稳定图像。

    该研究的共同作者 、马里兰大学计算机科学教授Yiannis Aloimonos认为该团队的发明是机器人视觉领域的一大进步。

    “我们的眼睛拍摄周围的世界,这些照片被发送到大脑,大脑对图像进行分析。感知就是通过这个过程发生的,这就是我们理解世界的方式,”阿洛伊莫诺斯解释道,他也是 马里兰大学高级计算机研究所 (UMIACS) 计算机视觉实验室的主任。“当你和机器人一起工作时,用相机代替眼睛,用计算机代替大脑。更好的相机意味着机器人有更好的感知和反应。”

    研究人员还认为,他们的创新可能具有超越机器人和国防的重大意义。从事依赖精确图像捕捉和形状检测的行业的科学家一直在寻找改进相机的方法——而 AMI-EV 可能是他们面临的许多问题的关键解决方案。

    “凭借其独特的功能,事件传感器和 AMI-EV 有望成为智能可穿戴设备领域的焦点,”该论文的资深作者、研究科学家 Cornelia Fermüller表示。“与传统相机相比,它们具有明显的优势,例如在极端光照条件下的卓越性能、低延迟和低功耗。这些功能非常适合虚拟现实应用,例如,无缝体验和快速计算头部和身体运动是必需的。”

    在早期测试中,AMI-EV 能够在各种情况下准确捕捉和显示运动,包括人体脉搏检测和快速移动形状识别。研究人员还发现,AMI-EV 可以以每秒数万帧的速度捕捉运动,优于大多数常见的商用相机,后者平均每秒捕捉 30 到 1000 帧。这种更流畅、更逼真的运动描绘可能对创造更具沉浸感的增强现实体验和更好的安全监控以及改善天文学家在太空中捕捉图像的方式等任何方面都至关重要。

    “我们的新型摄像系统可以解决许多具体问题,比如帮助自动驾驶汽车辨别道路上哪些是人,哪些不是人,”阿洛伊莫诺斯说。“因此,它有许多应用,许多普通公众已经与之互动,比如自动驾驶系统甚至智能手机摄像头。我们相信,我们的新型摄像系统正在为未来更先进、更强大的系统铺平道路。”

免责声明:本文由用户上传,如有侵权请联系删除!