Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

百度全新无人挖掘机作业系统登上国际权威期刊《Science Robotics》

近日,由百度研究院机器人与自动驾驶实验室(RAL)团队牵头开发的全新无人挖掘机作业系统(AES)这一最新技术成果,登上了国际顶级期刊《Science》子刊《Science Robotics》,并获得了评审专家与期刊编委的高度评价。

该研究融合了感知运动规划和控制系统,可驱动挖掘机自主完成挖装任务,进行24小时连续无人化作业,并成为全球首个实际落地的、可长时间作业的无人挖掘机系统,在工程机械自动化、无人化作业领域具有重要价值和影响。

随着新型基础设施建设的大力推进,工程机械行业乘风而上,并不断向数字化、智能化方向演进。挖掘机被誉为工程机械“皇冠上的明珠”,在资源开采、工业生产、建设施工和抢险救灾等领域应用广泛,且拥有十分可观的全球市场份额。

为什么要将挖掘机无人化?实际上,由于工作环境和能力要求等原因,挖掘机行业普遍存在招工难的人力短缺问题;挖掘机操作手还会遇到塌方、恶劣天气等问题,这些问题为工业生产带来巨大挑战。基于此,百度无人挖掘机作业系统(AES)应运而生。

挖掘机恶劣工况和作业环境

通用型无人挖掘作业系统

百度RAL实验室牵头提出了百度无人挖掘机作业系统(AES)的研究,并联合马里兰大学和百度智能云事业部合作开发。AES包含一套以三维环境感知、实时运动规划、鲁棒运动控制为核心的AI算法,可在不同工作情况下进行无人化作业。

无人挖掘机系统(AES)硬件系统

技术上,AES实现了三个方面的提升:使用多种传感器融合和感知算法,感知模块可以支持无人挖掘机在不同的工况和恶劣环境下进行无人化作业,保证了AES系统的作业效率、鲁棒性和泛化能力;作业和运动规划模块融合了数据驱动的学习算法和优化算法,可以有效计算挖掘位置和挖掘机铲斗轨迹,确保作业效率;高精度运动控制系统,有效实现挖掘机各机构的精准运动控制。

无人挖掘机系统(AES)框架图

具体而言,首先,感知系统利用低成本相机和激光雷达,实时生成高精度的三维环境地图,通过计算机视觉深度学习等算法,AES可以检测作业环境中的运输卡车、障碍物、石块、标识和人员等,并对卡车、障碍物等物体进行准确的三维姿态估计,同时也可以识别作业物料材质等信息。其次,基于感知系统的信息反馈,通过学习和优化算法,AES能够快速进行作业规划和多自由度的挖掘机各关节运动路径规划,确保提升作业效率的同时降低机械损耗。最后,通过高精度运动闭环控制算法,AES能够实现挖掘机各机构的精准运动控制,解决了传统工程机械中运动控制无法闭环、轨迹难以跟踪、跟踪精度差等难题。此外,AES还包含一整套软件和界面设计,协助终端用户完成系统的操作、部署和使用。

AES视觉感知系统功能模块

以石块操作任务为例,AES系统的操作流程如下。感知系统以“从粗到细”的方式对场景信息进行处理。首先对图像进行增强处理,消除粉尘对整个识别系统的影响;之后对作业区域的物料进行材质识别;然后将图像中石块所在区域进行语义和实例分割算法处理。通过融合二维实例分割结果和LiDAR三维点云,确定石块的精确三维位置。感知模块最后将石块三维位置反馈给规划和控制模块,AES最后通过挖掘机多自由度运动规划和运动闭环控制,实现移除石块的任务。

AES石块操作示例

目前,AES已在多种复杂的室内和室外不同工况下进行了挖装测试、石块操作及挖沟任务等,充分显示了AES系统具备处理多种挖掘机任务的能力,证明了AES系统的技术先进性、作业任务兼容性、系统稳定性和鲁棒性。

AES测试场景

实现落地应用 百度AI助力工业生产智能化

AES已经落地工业废料处理相关领域,在实际的无人化、自动化应用中发挥重要作用。AES实现了工业废料连续24小时自动上料功能,助力工业废料处理产线实现全程的无人化处理。在工业废料上料过程中,AES感知模块首先进行工业废料的地形三维重建,确定待挖掘区域;运动规划模块根据感知模块的信息反馈设计运动轨迹,控制模块根据运动轨迹进行工业废料处理。目前AES赋能的无人挖掘机系统已在工业废料处理产线上无故障作业了数千小时,充分显示了AES系统的稳定性和鲁棒性,有效减少了工业废料对挖掘机操作手的损害,并为客户大幅节省人力成本。

AES连续24小时无人作业

在AES系统的基础上,百度RAL联合百度智能云事业部开发的“盘古工程机械无人作业平台”,已成为国内首个基于智能云平台、软硬一体、技术领先的工程机械无人作业平台。基于盘古平台的挖掘机,在没有驾驶员操作的情况下,自主感知作业环境、规划任务并完成作业。

目前,百度盘古团队和徐工等工程机械头部厂商打磨合作,优化和落地无人化作业系统,帮助工程机械用户提升生产安全性、降本增效,推动工业生产向数字化、智能化、安全化、绿色化的目标迈进。

百度盘古”赋能工程机械无人化作业

建设与发展是人类社会的主旋律,工业生产的自动化和智能化是未来的主流趋势。百度将继续创新与迭代AI技术,瞄准工业生产细分领域,为工业生产真实场景技术转型突破赋能,持续推动技术落地产业实际应用。


入门激光雷达
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

激光雷达技术

自动驾驶车辆传感器的一种,采用激光扫描和测距来建立车辆周围环境的详细三维模型。Lidar 图像具有高度准确性,这使得它可以与摄像头、超声波探测器和雷达等常规传感器相提并论。然而激光传感器面临体积过大的问题,同时,它的机械结构非常复杂。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

运动规划技术

运动规划(也被称为导航问题或钢琴搬运工的问题)是机器人的一个术语,用于将期望的运动任务分解成离散的运动,以满足运动的限制,并可能优化运动的某些方面。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

路径规划技术

路径规划是运动规划的主要研究内容之一。运动规划由路径规划和轨迹规划组成,连接起点位置和终点位置的序列点或曲线被称为路径,构成路径的策略则被称为路径规划。路径规划在很多领域都具有广泛的应用,如机器人的自主无碰行动;无人机的避障突防飞行等。

百度机构

百度是全球领先的人工智能平台型公司。百度大脑是中国领先的“软硬一体AI大生产平台”,是百度AI的集大成,对外全方位输出超过270多项核心AI能力,服务230万开发者。飞桨是中国首个全面开源开放、功能完备的产业级深度学习平台,是中国自主研发的“智能时代的操作系统”。百度智能云是百度AI To B 业务的重要承载者和输出者,是产业智能化领导者。小度助手是中国领先的对话式人工智能操作系统,拥有中国市场最繁荣、开放的对话式人工智能生态,今年6月,小度助手语音交互次数超过58亿次。作为全球领先的、最活跃的自动驾驶开放平台,百度Apollo代表中国最强自动驾驶实力,被知名研究公司Navigant Research列为全球四大自动驾驶领域领导者之一。目前聚焦在以自动驾驶、汽车智能化、智能交通为核心的三大赛道。自动驾驶技术方面,超过十项中国第一,实力领跑行业。智能交通方面,百度 “ACE交通引擎”是全球首个车路行融合的全栈式智能交通解决方案。

https://www.baidu.com/
实例分割技术

实例分割是检测和描绘出现在图像中的每个不同目标物体的任务。

三维重建技术

三维重建是指利用二维投影或影像恢复物体三维信息(形状等)的数学过程和计算机技术。

姿态估计技术

姿势估计是指检测图像和视频中的人物形象的计算机视觉技术,以便确定某人的某个肢体出现在图像中的位置。

推荐文章
暂无评论
暂无评论~