查看原文
其他

迎来新的跨越!清华大学戴琼海及方璐最新Nature

枫叶 iNature 2023-01-10


iNature

平面数字图像传感器在广泛的领域得到了广泛的应用,近年来像素的数量迅速增加。然而,由不完美透镜或环境干扰引起的空间非均匀光学像差从根本上限制了成像系统的实际性能。

2022年10月19日,清华大学戴琼海及方璐共同通讯在Nature 在线发表题为“An integrated imaging sensor for aberration-corrected 3D photography”的研究论文,该研究提出了一种集成扫描光场成像传感器,称为元成像传感器,以实现通用应用的高速像差校正三维摄影,无需额外的硬件修改。元成像传感器不是直接检测二维强度投影,而是通过振动编码微透镜阵列捕捉超精细的四维光场分布,在后处理中可以灵活、精确地合成复杂场调制图像。

使用该传感器,该研究可以在没有数据先验的情况下,用一个球面透镜实现高达10亿像素的高性能摄影,导致光学成像系统容量和成本的数量级下降。即使在存在动态大气湍流的情况下,元成像传感器也能够在80厘米地面望远镜上实现跨越1000弧秒的多站点像差校正,而不降低采集速度,为高分辨率的天气天空调查铺平了道路。此外,高密度精确深度图可以同时检索,方便了从自动驾驶到工业检测的各种应用。

二维成像传感器已经使许多领域发生了革命性的变化,包括工业检验、移动设备、自动驾驶、监视、医疗诊断、生物学和天文学。得益于半导体产业的快速发展,数字传感器的像素数量在过去十年中迅速增长。然而,大多数成像系统的实际性能已经达到了由光学而不是电子设置的瓶颈。例如,给定一个十亿像素的传感器,成像系统的有效像素数通常限制在百万像素级别,这是由于不完美镜头或环境干扰引起的光学像差,这导致光从一个点发射到二维传感器上的大片区域。同时,三维场景在二维平面上的投影会导致光场的各种自由度的丧失,如深度和局部相干性。因此,长期以来,利用集成传感器获取高密度深度图一直是一个挑战。
光学工程专家花费了数百年的时间,设计了完美的成像系统,用顺序模式下的多个精密工程透镜进行像差校正。然而,光学设计和制造的难度随着空间带宽乘积的增加呈指数增长,空间带宽乘积描述了光学系统的自由度总数,并设置了由于衍射极限而产生的有效像素数的上限。在这种情况下,具有大有效空间带宽产品的高性能非相干成像系统通常非常昂贵和笨重,如大口径望远镜。超构透镜和自由曲面光学可以通过制造优化的透镜表面来潜在地缓解这一问题,只要在大尺度上给予足够的加工精度。图像去模糊算法可以通过精确估计点扩散函数(PSF)来提高图像对比度。带有编码孔径的PSF工程通过减少频域的零值来保留更多的信息。然而,低调制传递函数(MTF)丢失的高频信息很难被检索,这些方法通常需要特定的数据先验和精确的PSF估计,特别是对于空间非均匀像差。此外,这些方法对小景深的动态环境像差仍然敏感。
集成元成像传感器的原理(图源自Nature
自适应光学通过一个可变形的镜面阵列或空间光调制器来实现主动像差校正,将从一点发出的光线以不同的角度定向到传感器上的同一位置。自适应光学在天文学和显微学方面都取得了巨大的成功,并对重要的科学发现作出了贡献。然而,由于空间非均匀像差的存在,目前的自适应光学方法的有效视场非常小。特别是对于地面望远镜,大气湍流引起的像差将自适应光学的视场直径限制在约40弧秒,这对于大型天气巡天望远镜来说太小了。更重要的是,目前的自适应光学系统通常是复杂的,庞大的和昂贵的,这使得轻量级系统或便携式设备的开发困难。
该研究提出了一种集成扫描光场成像框架,包括硬件和软件,称为元成像传感器,以低成本和大空间带宽产品实现像差校正3D成像。类似于利用纳米结构对光场进行前所未有的操作的超表面,元成像传感器通过振动编码微透镜阵列促进了空间-角域光场的高速测量和合成,这比传统光场技术要精确得多,将光学调制过程与数据采集分离开来。然后,该研究通过基于波光学的数字自适应光学(DAO)在单个集成传感器上实现了高性能三维成像和多站点像差校正。利用时空连续性,该研究开发了一种基于光流的运动校正算法,以防止运动伪影,并保持成像速度(达到相机帧率)。
为了建立元成像传感器的能力,该研究对摄影、自动驾驶、工业检验、视频监控和天文学等领域的不同应用进行了定量分析。具体来说,该研究用一个镜头就能获得高达十亿像素的高性能全聚焦图像,这意味着系统成本和容量降低了三个数量级。特别是在严重的非均匀像差条件下,元成像传感器实现了十倍以上的分辨率提高。此外,元成像传感器促进了80厘米口径望远镜上直径超过1000弧秒的多站点像差校正,为实现高分辨率地面天气测量铺平了道路。在不同的工业应用中,百万像素深度图可以在毫秒尺度上同时获得,比传统光场相机具有更好的精度和分辨率。

参考消息:
https://www.nature.com/articles/s41586-022-05306-8

END内容为【iNature】公众号原创,转载请写明来源于【iNature】
微信加群
iNature汇集了4万名生命科学的研究人员及医生。我们组建了80个综合群(16个PI群及64个博士群),同时更具专业专门组建了相关专业群(植物,免疫,细胞,微生物,基因编辑,神经,化学,物理,心血管,肿瘤等群)。温馨提示:进群请备注一下(格式如学校+专业+姓名,如果是PI/教授,请注明是PI/教授,否则就直接默认为在读博士,谢谢)。可以先加小编微信号(iNature5),或者是长按二维码,添加小编,之后再进相关的群,非诚勿扰。

投稿、合作、转载授权事宜
请联系微信ID:13701829856 或邮箱:iNature2020@163.com

觉得本文好看,请点这里!

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存