← 全部文章

科学与社会

复旦把像素的遗忘速度变成可编程变量:3072 个光晶体管,覆盖 0.34 到 320 公里每小时

三千多个光晶体管把毫秒到秒级的视觉记忆做成可调变量。它没有造出一双完整的机器眼睛,却提醒我们:看见运动之前,传感器已经替世界安排了时间。

约 7 分钟

AI 生成的时间可编程视觉概念图;轨迹、颜色和器件结构不对应真实实验图像或道路测试。

复旦把像素的遗忘速度变成可编程变量:3072 个光晶体管,覆盖 0.34 到 320 公里每小时

凌晨的十字路口里,有三种时间同时发生。

一位老人正慢慢走过斑马线,动作以秒计算;一辆自行车从路边穿过,车轮和身体的变化在几百毫秒内完成;更远处,一辆汽车掠过路口,留给摄像头的也许只有几毫秒。

对人来说,这些对象都叫“在动”。对传感器来说,它们却属于不同的时间世界。

如果曝光太长,高速车辆会拖成一片;如果曝光太短,慢动作的变化又可能微弱得像噪声。提高帧率可以抓住更快的运动,却会产生更多数据,消耗更多带宽与算力;把所有原始画面先送到处理器,再由算法判断哪些变化重要,也意味着机器必须先完整看见,才能决定应该忽略什么。

我们习惯用像素数量描述相机,仿佛机器视觉的进步就是把一张网织得更密。但运动并不是空间里的静物。一个像素不仅要回答“哪里有光”,还必须暗中回答另一个问题:

这一束光,应该在我身上停留多久?

2026 年 7 月,复旦大学等机构的研究者在 Nature Sensors 发表了一种时间可编程的片上传感系统。论文中的光晶体管,不再把光生载流子的寿命当作制造完成后无法改变的材料常数,而是利用快速电荷陷阱与较慢的铁电极化,把响应时间从毫秒连续调到秒。

研究团队集成了 3,072 个晶体管,采用双寻址结构,把写入与读取分开,并演示同一阵列对约 0.34 到 320 千米每小时的多速度运动进行感知。

这组数字很容易被写成一台“看清从蜗牛到汽车”的未来相机。但论文真正值得注意的地方并不是速度纪录。它做的是一件更基础的事:

把像素的遗忘速度,变成可以编程的硬件变量。

每个像素都在遗忘,只是速度被材料写死了

一台普通相机按固定节奏拍下帧。快门打开一段时间,光子被转换成电荷;快门关闭,像素读出;下一帧重新开始。曝光时间太长,运动对象在同一张图里移动,形成模糊;曝光时间太短,进入像素的光又可能不够,图像变暗、噪声变重。

工程师可以调整曝光和帧率,也可以使用高动态范围、运动去模糊或更强的后端模型。但这些方案往往以更多采样、更多数据传输和更多计算为代价。

事件相机采取另一条路。它不按统一帧率记录完整画面,而是在单个像素的亮度变化超过阈值时报告事件。这样可以用很高的时间分辨率捕捉快速变化,也减少静止背景产生的冗余数据。但事件相机回答的是“变化何时发生”,并不等同于让一个像素任意选择对过去保留多久。

新研究把焦点放在载流子寿命上。光照使器件内部产生载流子,载流子不是立即全部消失,它们留下的电导变化就是一种短暂记忆。寿命长,过去的光会在当前读数中保持更久,慢变化容易积累;寿命短,旧信号迅速衰减,快速运动不容易被长尾拖模糊。

这像给每个像素安排不同长度的便笺。

看缓慢移动的对象时,便笺可以写久一点,把微弱、分散的变化积累起来;看高速目标时,便笺必须很快擦掉,防止上一个位置的光继续污染下一个位置。

一个理想的运动传感器,不必只有一种便笺。它应该能在场景变化时,重新决定自己保留多长的过去。

电荷陷阱加铁电极化,拧出一个时间旋钮

论文使用的器件把两种速度不同的物理过程耦合在一起。

第一种是较快的电荷捕获与释放。材料中的陷阱会暂时抓住光生载流子,改变器件的电导与衰减过程。它像短时记忆,来得快,也能较快离开。

第二种是更慢的铁电极化。铁电材料内部的电偶极取向可以被写入,并在电压撤去后保留状态。这个状态会影响界面能带和载流子的行为,像一只更慢、更持久的手,在器件里改变信号离开的速度。

研究团队不是简单把一个“快器件”和一个“慢器件”并排放置,而是让两种机制共同作用于同一个光晶体管。通过编程铁电状态,光生载流子的有效寿命可以在毫秒到秒的范围连续改变。

独立的 Nature Sensors 评论把这一点概括为:载流子寿命从固定材料参数,变成了可编程硬件变量。它比“可调曝光”更贴近器件内部。曝光仍然是一段外部采集窗口,而这里改变的是光照结束后,像素内部的痕迹以什么速度消退。

论文还设计了双寻址结构,把写入时间状态和读取光响应分开。这样,不同位置可以拥有不同时间尺度,又不必让编程操作和读出彼此严重干扰。阵列层面,研究者报告了较高均一性、像素串扰与噪声抑制,并用光学输入重现多种速度的交通场景。

如果把传统图像传感器比作一排只会按同一节拍抄写的记录员,这个阵列更像一排可以分别设置记忆长度的观察员。有人盯住慢动作,有人只对瞬间变化敏感;它们不必先把所有细节完整上交,才开始分工。

跨三个数量级的速度,还不是一台相机

论文中最醒目的结果,是约 0.34 到 320 千米每小时的运动速度范围。它跨越近三个数量级,非常适合作为标题数字。

但它必须被放回实验装置。

研究使用经过设计的光学输入、器件阵列、读出系统与算法,把不同速度的场景投射到传感器上。数字说明同一器件平台可以通过改变时间参数,覆盖宽范围运动,而不是证明一台完整相机已经在真实道路上、各种距离和天气中识别了这一速度范围内的车辆。

速度本身也不是传感器唯一面对的变量。一个远处高速对象在像面上可能移动得很慢,一个近处低速对象反而跨过更多像素;照明、焦距、目标尺寸、方向和对比度都会改变像素看到的时间尺度。夜雨、逆光、闪烁光源、玻璃反射和局部遮挡,会让实验室里清楚的轨迹变得复杂。

论文集成 3,072 个晶体管,也不能被误读为一台 3,072 像素的商品相机已经完成。完整视觉系统还需要光学镜头、驱动、寻址、模数转换、存储、校准、封装和计算。论文所说的“不需要外部电路或偏压”针对的是载流子寿命调节机制,不表示整套系统没有外围硬件或不消耗能量。

器件从论文走向相机,至少还要回答六个问题:

第一,时间状态写一次能保持多久,反复编程后是否漂移;第二,数十万乃至数百万像素制造时,均一性和良率如何;第三,寿命调节、读出和校准的总功耗是多少;第四,温度、湿度和老化是否改变衰减曲线;第五,真实任务中它比高帧率相机、事件相机或软件多尺度处理节省多少能量;第六,当速度判断错了,阵列如何及时改回合适的时间窗口。

论文提供的是一种硬件原理和阵列演示,不是这些问题的总答案。

筛选下沉到像素,后端就没有完整的过去

传感器与处理器的传统分工,是前者尽量忠实收集,后者负责理解。可现实中的“忠实收集”从来不是中性的。镜头有视场,像素有光谱响应,快门有曝光窗口,模数转换有位宽。每一层都决定什么能成为数据。

时间可编程像素把这种选择进一步前移。

当像素被设成长记忆,短促变化可能被平滑,缓慢变化得到积累;被设成短记忆,旧信号迅速消失,高速边缘更清楚,持续微弱的信息却可能留不下来。也就是说,在算法拿到数据之前,硬件已经完成一次时间筛选。

这可能带来效率。自动驾驶、机器人、工业检测和无人机面对的场景变化很快,把部分运动特征提取放在传感器内部,可以减少原始数据搬运。数据传输常是边缘系统的重要能耗来源;如果像素先保留有用的时间结构,后端不必对每一帧从头计算。

但“更少数据”从不等于“更少判断”。它只是把判断搬到了更早的地方。

谁来设定每个区域的时间尺度?系统依据什么识别慢行人和快车辆?如果一个罕见事件不符合预设速度,它是否会在硬件层就被抹掉?如果传感器根据环境自动调节,调节算法是否会形成新的盲区?

在普通相机里,我们还能回看原始视频,发现算法漏掉了什么。若硬件在采集时已经让某些信号快速衰减,后端可能根本没有一份完整的过去可供复查。

这不意味着时间可编程传感器天然危险。任何传感器都在压缩世界。真正重要的是,工程说明书不能只报告识别准确率和功耗,还要报告它选择性遗忘的条件:不同时间设置下,哪些类别的变化更容易留下,哪些更容易消失;失败时是否有冗余通道;关键场景能否保留原始或较少压缩的数据。

未来的传感器审计,也许不只检查它看见了什么,还要检查它被设计成多快忘记。

传感器审计,要查它被设计成多快忘记

人类视觉也不是持续、无损地记录世界。眼睛与大脑在不同时间尺度上积分、适应、抑制和预测。我们能在昏暗处积累光,也能在明亮环境迅速调整;注意力让某些变化被放大,另一些被忽略。

工程师常从这种生物机制获得灵感,但机器没有必要复制人眼。它真正需要的是为任务分配时间:工厂传送带上的高速缺陷、仓库里缓慢倾斜的货架、夜间道路上的行人与车辆,都要求不同的过去长度。

这项研究最有意思的地方,是让“过去长度”进入了器件设计。

过去我们问一只机器眼睛有多少像素、每秒多少帧、识别多少类别。以后还会多一个问题:它的每个位置,愿意为世界保留多少毫秒?

答案不会只是一个参数。它决定机器怎样把连续现实切成可处理的事件,怎样在速度、清晰度、能耗与遗漏之间分配代价。

真正的智能感知,并不是把一切都记下来。它是在不知道下一刻会发生什么时,仍能谨慎地决定什么可以忘记。

参考资料清单

  • 《Nature Sensors 原论文》,2026 — https://www.nature.com/articles/s44460-026-00101-8
  • 《独立同行评论》,2026 — https://www.nature.com/articles/s44460-026-00106-3
  • Zenodo,2026 — https://doi.org/10.5281/zenodo.20473191

SOURCES / 参考来源

同一方向

更多 →