← 全部文章

人工智能

一块平面镜片先把雨滴变模糊:机器人视觉不必全靠AI补图

一块直径2.516毫米的平面镜片,把贴近镜头的遮挡先变成模糊光斑,再让算法恢复半米外的场景。它没有“看穿”雨滴,也没有凭空补画背景;真正的新意,是把机器视觉的去遮挡从像素处理前移到了光进入传感器之前。

约 7 分钟

一块直径2.516毫米的平面镜片,把贴近镜头的遮挡先变成模糊光斑,再让算法恢复半米外的场景。它没有“看穿”雨滴,也没有凭空补画背景;真正的新意,是把机器视觉的去遮挡从像素处理前移到了光进入传感器之前。

镜头脏了,算法不一定有答案

无人机穿过雨雾,巡检机器人钻进灰尘,内窥镜表面沾上液体。对人来说,镜头前的一滴水只是麻烦;对依赖相机作出动作的机器,它可能意味着目标消失、边界错位,甚至把不存在的东西认成障碍。

常见解决办法各有代价。雨刷、气流和疏水涂层试图把遮挡移走,却会增加机械结构,也不适合毫米级探头。多镜头系统利用视差绕开近处遮挡,但体积、成本和标定复杂度随之上升。图像修复网络可以在拍摄后填补被挡住的像素,却无法保证补出的纹理真的存在。

8月15日,韩国浦项工科大学(POSTECH)、美国华盛顿大学等团队在《Nature Communications》发表一种去遮挡宽带超透镜。它只用一次曝光,让远处彩色场景保持聚焦,同时在原始传感器图像中压低近处遮挡的锐利痕迹。随后,神经网络负责重建画面。

这里的顺序很重要:不是先收下一张被雨滴挡住的照片,再让AI猜背景;而是先改变哪些光能以清晰形式抵达传感器。算法仍在,但它面对的输入已经不同。

一块平面镜片,为何会把距离和颜色混在一起

超透镜不是弯曲玻璃。它由大量小于可见光波长的纳米结构组成,每个“元原子”给经过的光施加不同相位延迟,于是一个近乎平面的表面也能聚焦。

轻薄是优势,色散却是老问题。不同波长经过衍射结构时,聚焦位置和点扩散函数会变化。研究团队进一步把这种现象概括为“深度—波长对称性”:某一波长从某个距离入射形成的光斑,可能与另一波长从另一个距离入射形成的光斑近似相同。

这带来一个反直觉限制。假设镜片被设计成让远处场景的红、绿、蓝光都聚焦,那么贴近镜头的雨滴或网格,也可能在另一组波长上重新变清楚。想要同时做到“远景宽带清晰”和“近物彻底散焦”,两项目标会在光学上打架。

团队没有继续硬压色差,而是给光谱开了几扇门。他们把每个RGB感光通道分为通带和阻带。远景中负责清晰成像的波长落入通带;近处遮挡因为深度变化而对应到另一组容易聚焦的波长,这组光尽量落入阻带,被多带滤光片拒绝。剩余近处光保持散焦,于是遮挡在传感器上只留下较弱、较模糊的痕迹。

然后,研究者用可微分光学模拟器和图像模拟器共同优化纳米结构的方向分布。镜片先在物理世界里筛选光,重建网络再处理残余像差和模糊。这不是“光学取代算法”,而是光学与算法重新分工。

原型做成了,但数字必须拆开看

团队制造了三块孔径2.516毫米、焦距4毫米的氮化硅超透镜:一块采用去遮挡设计,一块只优化宽带成像,另一块是传统双曲相位基线。纳米结构周期395纳米、高700纳米,样品由电子束曝光制作。

实验把近处遮挡设置在约4.5厘米,远处目标通常在0.5米以外。研究者以5纳米步长测量430至645纳米范围内的点扩散函数。结果显示,去遮挡镜片能在通带中让远处光斑保持尖锐,同时使近处响应散开。

在有遮挡的成像测试中,宽带基线重建图像的峰值信噪比(PSNR)为18.79分贝,去遮挡镜片达到20.94分贝。论文将后者相对传统双曲镜片的提升写为32.29%,相对宽带基线则为11.45%。这些数字描述特定实验图像质量,不是相机在所有场景中的“准确率”。

更吸睛的是下游机器视觉结果:VisDrone目标检测的mAP为0.1704,两个基线分别为0.0350和0.0292;Kvasir-SEG内窥图像分割的IoU为0.8317,基线为0.3472和0.5950;Cityscapes道路分割的mIoU为0.6701,基线为0.4666和0.4601。

摘要写“提升13.54%、48.45%和20.35%”容易让人误读。按表中数值,它们是相对传统双曲镜片的绝对指标差:13.54、48.45和20.35个百分点。若计算相对百分比,会得到完全不同的数字。

还有一个更关键的边界:这些任务并不是让无人机飞进雨中、把设备送入人体或让汽车驶上公路。研究者把VisDrone、Kvasir-SEG和Cityscapes的验证图像打印出来,再通过三种实体镜片和设定的遮挡重新拍摄,最后把所得图像交给未经针对性微调的现成视觉模型。它证明了光学差异能传递到算法指标,却仍是受控台架验证。

这套实验设计也解释了为什么三个指标的增幅看起来悬殊。传统双曲镜片在有遮挡时的VisDrone mAP只有0.0350,起点极低,去遮挡镜片升至0.1704仍谈不上高水平目标检测;它说明输入变好能救回一部分识别能力,不等于系统已经满足飞行安全。Kvasir-SEG的IoU从0.3472升到0.8317,幅度更大,却只说明在所打印的内窥图像和指定遮挡上,分割轮廓更接近标注,不能转译成病灶检出率或临床获益。

另一项值得肯定的控制,是三种镜片都各自配有重建网络,而下游识别模型不针对这些光学图像微调。这样可以把“镜片加重建”的差异传递给现成视觉模型,减少靠重新训练识别器吃掉测试集特征的嫌疑。但它也使产品问题更复杂:如果每种制造批次、温度漂移或封装偏差都改变点扩散函数,重建网络是否需要重新标定?论文没有给出长期漂移或跨样品互换的数据。

真正移动的边界:让传感器少收下一些危险信息

过去十年的机器视觉,常把更多信息等同于更好:更高像素、更大数据集、更强模型。但去遮挡超透镜选择了另一条路——在信息进入系统时,就拒绝一部分最容易让近处遮挡变清晰的光。

这是一种“物理先验”。系统不是要求网络从任意坏图中恢复真相,而是让镜片把输入分布塑造成更容易恢复的样子。对安全敏感设备,这个差别很实际。生成式修复即使画面自然,也可能补出错误的血管边缘、道路标线或无人机目标;光学抑制至少能减少网络必须猜测的遮挡能量。

受益者可能不仅是超透镜厂商。滤光片、偏振器、图像传感器、纳米制造和视觉算法必须共同优化。竞争也会从“谁的单片镜片最薄”变成“谁能提供经过场景验证的光学—传感—算法组合”。这会把一部分权力从通用软件模型重新交给掌握光学设计、封装和制造良率的团队。

但选择性拒绝光也意味着成本。当前三段通带中心约为457、530和628纳米,论文给出的元原子平均偏振转换效率分别为77.2%、73.0%和54.4%。这还不是整个相机的总光效率;多带滤光片、额外偏振光学、传感器量子效率和封装损耗都要继续相乘。晴天实验中的画质收益,未必能直接抵消弱光中的光子损失。

距离、视场和制造,都是尚未跨过的门槛

当前设计针对约4.5厘米附近的遮挡。论文指出,缩窄通带可以扩大有效深度范围,但代价是更低的光谱透过率。现实雨滴可能紧贴保护玻璃,也可能悬在不同位置;泥点、雾气、血液和网格的透明度、形状与运动速度也不相同。一组固定通带能否覆盖这些变化,还没有答案。

镜片还以法向入射点扩散函数优化,视场有限。研究者用重建网络的位置编码缓解空间变化的像差,但这也说明系统并没有摆脱算法。每种镜片还分别训练自己的重建网络,硬件公差、温漂或污染改变后是否需要重新标定,有待测试。

制造同样不能用“平面”两个字轻轻带过。样品采用电子束曝光,适合高精度原型,却不是消费级大批量工艺。好消息是,同年4月另一项《Nature》研究已展示每秒300片可见光超透镜的卷对卷制造。但那只能证明平面光学存在高速复制路线,不能证明这块复杂相位镜片、商业多带滤光片和偏振组件已经能以同样速度、良率与总成本生产。

论文页面还明确标注当前为未编辑早期版本。作者声明无竞争利益,但研究得到三星未来技术项目、POSCO合作项目、韩国政府和美国国家科学基金会等支持。这不否定结果,却提醒读者:真正决定产业价值的将是独立复现和真实设备测试,而不是一组实验室基准。

机器看见世界之前,先决定什么不该被看清

这项研究没有造出能看穿一切的镜头。它做的是更克制、也更有工程意味的事:把一个长期交给算法补救的问题,重新写成光如何进入相机的问题。

未来可靠的机器视觉,可能并不依赖一颗万能摄像头和一个万能模型。镜片选择光,传感器转换光,算法恢复图像,控制系统再决定动作。每一层都应减少下一层必须猜测的部分。

因此,这块2.516毫米原型真正移动的,不是“AI修图”的上限,而是感知系统的责任边界。只有当它在真实雨滴、弱光、振动、广视场和批量制造中仍然成立,“先在光学端去遮挡”才会从漂亮的物理设计,变成机器人可以信任的一双眼睛。


资料来源

  1. Nature Communications — De-occluding broadband metalens — 2026-08-15 — https://doi.org/10.1038/s41467-026-76606-0
  2. arXiv — Learned split-spectrum metalens for obstruction-free broadband imaging in the visible — 2026-01 — https://arxiv.org/abs/2601.19403
  3. POSTECH Computer Graphics Lab — Publications — 2026 — https://cg.postech.ac.kr/publications/
  4. Nature — 300-unit-per-second roll-to-roll manufacturing of visible metalenses — 2026-04-15 — https://doi.org/10.1038/s41586-026-10369-y
  5. Microsystems & Nanoengineering — Review for optical metalens based on metasurfaces — 2025-10-21 — https://doi.org/10.1038/s41378-025-01064-5

SOURCES / 参考来源

同一方向

更多 →