Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

DARPA要给传感器装上机器学习大脑,智能决定摄像视角

DARPA寻找配置了成千上万与机器学习相结合的晶体管的智能像素,以此从多个传感器中寻找最有用的视角。

DARPA 正在追求一种摄像头像素,其中的每一个像素都是带有 1000 个集成晶体管的智能像素,这意味着每个像素都拥有一个属于自己的可重新编程的大脑。


这可能意味着将从不同的热(红外线)释放、不同的分辨率和帧速率之间进行选择,或者甚至收集用于绘图或提高情境意识的工作的三维激光雷达数据。该相机最终将依靠机器学习来自动留意视角范围内正在发生的一切并基于情境重新配置成像传感器。


Lewis 认为未来的传感器将能够同时执行许多功能,因为传感器的整块像素的不同块可以通过软件在不同成像模式下工作的方式而被重新配置。同样的重构能力也可以在同一个传感器的不同传感模式中非常快速地切换。没有一个单独的照相机可以做到这一点。


Synced (114).jpg

在 DARPA 的微系统办公室(MTO)工作的 Lewis 说到,一个主要驱动是收缩从轨道到海洋中寻找目标位置的军事平台的成本和规模。


有了这样的多功能传感器,就能产出成功的 ReImagine 项目,这些更小更便宜的平台将会提供一定程度的情景感知,这些功能在今天只能安装于更大的陆海空设备与平台上实现。Lewis 说到,随着更加广泛的情景感知能力的达成,更重要的回报也将实现:更明智的决策。


ReImagine 项目的一个重要特征是团队将会被要求在一个基于共用的数字电路和软件平台上开发软件可重构(software-configurable)的应用程序。在这个四年的计划中,麻省理工学院林肯实验室——一个联邦政府资助的研究开发中心(FFRDC),其根源可以追溯到二战时期的雷达技术研制——将负责提供系统三层传感器硬件的可重构的数字化层。


成功的提议者(DARPA 发言人口中的表演者)所面临的挑战将是设计和制造各种百万像素检测器层和「模拟接口」图层,以及将多样化的相关信号(比如绘图用的 LIDAR 信号)转换为数字数据的相关软件和算法。这些数字数据,反过来,也应该适用于通过参与到机器学习的过程中来处理那些传感器可以自主意识到具体的物品、信息、发生的事情和其他领域范围内的功能。Lewis 认为,使用这些通用数字化层的一个原因是希望它能够使得软件中的社区开发程序加速创新过程,并为那些软件可配置的应用程序解锁应用。


在项目的后续阶段,表演者需要在室外测试中展示开发技术的便携性。用 Lewis 的话说,「通过传感器控制参数的实时自适应性开发学习算法,指导传感器收集那些具有最高价值信息的数据。」响应视觉线索,这种自适应性可能会转化为热检测模式来描述无人机群或者超慢动作(高帧速率)的视频,从而帮助梳理出机械装置如何正常工作。


「即使如今机器学习和人工智能以最快的速度在向前发展,这款软件仍然无法通用地控制那些连接这些工具与物理世界的传感器,」Lewis 说到,「有了重新构想,我们会给予机器学习和图像处理算法一种可以改变或者决定收集何种类型的传感器数据的能力。」


重要的是,他补充道,就像有了眼睛和大脑一样,这些信息可以双向流动:传感器给算法传递信息,算法也能影响传感器。尽管在 Lewis 看来国防应用还是重中之重,他也在设想一些商业的副产品。未来智能手机可能不仅会配置拍照和录像功能的摄像头传感器,但它们的功能也被限制在新一代应用开发者的想象之中。


入门DARPA计算机视觉机器学习机器智能智能硬件产业
暂无评论
暂无评论~