清华《Nature》：另辟蹊径！研制元成像芯片，突破光学像差难题！

完美光学成像是人类感知世界的终极目标之一，但这个目标却从根本上受制于镜面加工误差与复杂环境扰动所引起的光学像差。《科学》期刊也将“能否制造完美的光学透镜”列为21世纪125个科学前沿问题之一。

近日，清华大学成像与智能技术实验室提出了一种集成化的元成像芯片架构（Meta-imaging sensor），为解决这一百年难题开辟了一条新路径。区别于构建完美透镜，研究团队另辟蹊径，研制了一种超级传感器，记录成像过程而非图像本身，通过实现对非相干复杂光场的超精细感知与融合，即使经过不完美的光学透镜与复杂的成像环境，依然能够实现完美的三维光学成像。团队攻克了超精细光场感知与超精细光场融合两大核心技术，以分布式感知突破空间带宽积瓶颈，以自组织融合实现多维多尺度高分辨重建，借此能够用对光线的数字调制来替代传统光学系统中的物理模拟调制，并将其精度提升至光学衍射极限。这一技术解决了长期以来的光学像差瓶颈，有望成为下一代通用像感器架构，而无需改变现有的光学成像系统，带来颠覆性的变化，将应用于天文观测、生物成像、医疗诊断、移动终端、工业检测、安防监控等领域。

该成果于10月19日以“集成化成像芯片实现像差矫正的三维摄影”（An integrated imaging sensor for aberration-corrected 3D photography）为题以长文（Article）的形式发表在《自然》（Nature）期刊上。

论文链接：

https://www.nature.com/articles/s41586-022-05306-8

图1. 元成像芯片成像原理与大范围像差矫正效果（来源：《自然》）

传统光学系统主要为人眼所设计，保持着“所见即所得”的设计理念，聚焦于在光学端实现完美成像。近百年来，光学科学家与工程师不断提出新的光学设计方法，为不同成像系统定制复杂的多级镜面、非球面与自由曲面镜头，来减小像差提升成像性能。但由于加工工艺的限制与复杂环境的扰动，难以制造出完美的成像系统。例如由于大范围面形平整度的加工误差，难以制造超大口径的镜片实现超远距离高分辨率成像；地基天文望远镜，受到动态变化的大气湍流扰动，实际成像分辨率远低于光学衍射极限，限制了人类探索宇宙的能力，往往需要花费昂贵的代价发射太空望远镜绕过大气层。

为了解决这一难题，自适应光学技术应运而生，人们通过波前传感器实时感知环境像差扰动，并反馈给一面可变形的反射镜阵列，动态矫正对应的光学像差，以此保持完美的成像过程，基于此人们发现了星系中心的巨大黑洞并获得了诺贝尔奖，并广泛应用于天文学与生命科学领域。然而由于像差在空间分布非均一的特性，该技术仅能实现极小视场的高分辨成像，而难以实现大视场多区域的同时矫正，并且由于需要非常精细的复杂系统往往成本十分高昂。

早在2021年，自动化系戴琼海院士领导的成像与智能实验技术实验室研究团队发表于《细胞》期刊上的工作，首次提出了数字自适应光学的概念，为解决空间非一致的光学像差提供了新思路。在最新的研究成果中，研究团队将所有技术集成在单个成像芯片上，使之能广泛应用于几乎所有的成像场景，而不需要对现有成像系统做额外的改造，并建立了波动光学范畴下的数字自适应光学架构。通过对复杂光场的高维超精细感知与融合，在具备极大的灵活性的同时，又能保持前所未有的成像精度。这一优势使得在数字端对复杂光场的操控能够完全媲美物理世界的模拟调制，就好像人们真正能够在数字世界搬移每一条光线一样，将感知与矫正的过程完全解耦开来，从而能够同时实现不同区域的高性能像差矫正。

图2.元成像芯片——单透镜高性能成像（来源：《自然》）

传统相机镜头的成本和尺寸都会随着有效像素数的增加而迅速增长，这也是为什么高分辨率手机成像镜头即使使用了非常复杂的工艺也很难变薄，高端单反镜头特别昂贵的原因。因为它们通常需要多个精密设计与加工的多级镜片来校正空间不一致的光学像差，而如果想进一步推进到有效的十亿像素成像对传统光学设计来说几乎是一场灾难。元成像芯片从底层传感器端为这些问题提供了可扩展的分布式解决方案，使得我们能够使用非常简易的光学系统实现高性能成像。在普通的单透镜系统上即可通过数字自适应光学实现了十亿像素高分辨率成像，将光学系统的成本与尺寸降低了三个数量级以上。

除了成像系统存在的系统像差以外，成像环境中的扰动也会导致空间折射率的非均匀分布，从而引起复杂多变的环境像差。其中最为典型的是大气湍流对地基天文望远镜的影响，从根本上限制了人类地基的光学观测分辨率，迫使人们不得不花费高昂的代价发射太空望远镜，比如价值百亿美元的韦伯望远镜。硬件自适应光学技术虽然可以缓解这一问题并已经被广泛使用，但它设计复杂、成本高昂，并且有效视野直径通常都小于40角秒。数字自适应光学技术仅仅需要将传统成像传感器替换为元成像芯片，就能为大口径地基天文望远镜提供全视场动态像差矫正的能力。研究团队在中国国家天文台兴隆观测站上的清华-NAOC 80厘米口径望远镜上进行了测试，元成像芯片显著提升了天文成像的分辨率与信噪比，将自适应光学矫正视场直径从40角秒提升至了1000角秒。

图3.清华-NAOC 80厘米口径望远镜40万公里地月观测实验（来源：《自然》）

元成像芯片还可以同时获取深度信息，比传统光场成像方法在横向和轴向都具有更高的定位精度，为自动驾驶与工业检测提供了一种低成本的解决方案。未来，课题组将进一步深入研究元成像架构，充分发挥元成像在不同领域的优越性，建立新一代通用像感器架构，从而带来三维感知性能的颠覆性提升，或可广泛用于天文观测、工业检测、移动终端、安防监控、医疗诊断等领域。

清华大学自动化系戴琼海院士、电子系方璐副教授为该论文共同通讯作者；自动化系吴嘉敏助理教授、清华-伯克利深圳学院2020级博士研究生郭钰铎、自动化系博士后邓超担任共同第一作者。自动化系乔晖助理教授以及清华-伯克利深圳学院2018级博士研究生张安科、清华大学自动化系2018级博士研究生卢志、清华大学自动化系2020级博士研究生谢佳辰共同参与了该研究。该研究受到了国家自然科学基金委与国家科技部的资助。

来源：清华大学。