Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

前特斯拉Optimus科学家跳槽HF,直接开源了一个机器人代码库

Hugging Face 开源 LeRobot,让 AI 机器人研发迎来重大利好。

今年 3 月,以构建大型开源社区而闻名的 AI 初创公司 Hugging Face,挖角前特斯拉科学家 Remi Cadene 来领导一个新的开源机器人项目 ——LeRobot,引起了轰动。

图片

                               Remi Cadene 在今年三月宣布结束其三年的 Tesla 机器人研究生涯,并加入 Hugging Face。

在此之前,Remi Cadene 是特斯拉 Autopilot 和 Optimus 机器人研究项目的团队成员。

现在,Hugging Face 宣布正式推出并开源机器人工具包 LeRobot,基于有史以来最大规模的众包机器人数据集。

图片

LeRobot Github 链接:

https://github.com/huggingface/lerobot

LeRobot 代码库堪称机器人领域的「Transformers」。

图片

                            图源:https://twitter.com/RemiCadene/status/1787378793499496855

Cadene 在 X 上表示:「人工智能发展的下一步是将其应用于我们的物理世界。因此,我们正在推动社区共同努力构建 AI 机器人,这对所有人开放!」

图片

LeRobot 工具包不仅仅是一个软件包,而且是一个全面的平台,包括用于共享、可视化数据和训练 SOTA 模型的多功能库。用户可以通过 LeRobot 访问大量预训练模型,以快速启动他们的项目。

此外,LeRobot 与物理模拟器无缝集成,这允许没有物理机器人硬件的爱好者和开发者在虚拟环境中模拟和测试他们的 AI 模型。

在硬件方面,LeRobot 旨在处理各种机器人硬件:「从教育和研究中使用的简单机械臂到先进 AI 研究设施中更复杂的类人机器人。」

总的来说,LeRobot 项目的目标是提供一个能够适应和控制任何形态机器人的 AI 系统,使机器人在多功能性和可扩展性方面得到增强。

Cadene 还展示了借助 LeRobot,机器人可以获取的一些能力,包括训练机器人抓取物体、在未绘制空间内导航等等。

图片
图片
在 Mobile Aloha 数据上,完全端到端地学习导航和操作:
图片

在两个机械臂之间传递物体:

图片

得益于大型语言模型(LLM)及生成式 AI 的突破性进展,机器人领域的发展也获得了极大的推动。

例如,最近特斯拉 Optimus 团队宣布了一项新进展:二代 Optimus 人形机器人已经「进厂打工」了:

图片

                             二代 Optimus 人形机器人

波士顿动力纯电驱动的新版人形机器人 Atlas 问世:

图片

                              新一代 Atlas

初创公司 Meetee Robotics 发布了首款双足人形机器人 MenteeBot,它能理解自然语言命令:

图片

                          MenteeBot

面向机器人技术升级、形态多样化的现状,Cadene 表示 LeRobot 项目的发展愿景是「从多样化社区中构建软件和硬件,以在现实世界中开发下一代智能机器人」。

通过降低入门门槛、促进知识和资源共享,Hugging Face 将构建一个可能重新定义 AI 机器人领域的社区。

参考链接:
https://venturebeat.com/automation/hugging-face-launches-lerobot-open-source-robotics-code-library/?continueFlag=c01b16f005d42a3bd6c9caa728d95926
产业LeRobotHugging Face
相关数据
人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

机器人技术技术

机器人学(Robotics)研究的是「机器人的设计、制造、运作和应用,以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。 机器人可以分成两大类:固定机器人和移动机器人。固定机器人通常被用于工业生产(比如用于装配线)。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器;另外还有能够实现感知能力的软件,比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成,这也是人工智能领域最早的终极目标之一。

类人机器人技术

类人机器人是一种具有与人类相似外形的机器人。类人机器人的主要特性包括:1. 可以在人类日常环境中工作 2. 可以使用人类日常使用的工具 3. 具有与人类相似的外形 目前类人机器人的设计主要来满足功能方面和实验方面的需求。针对功能性设计的类人机器人需要协助人类完成一些高危险,高难度的任务以及辅助病人,幼儿及老年人的日常生活和娱乐等。类人的设计使其可以很好的在人类日常环境中行走以及使用人类日常工具。同时,其类人的交互模式使其可以更好的完成辅助人类以及交互娱乐的功能; 而针对实验需求的类人机器人可以帮助人类更好的探究人类自身的认知,智力,心理等多方面特点。 通常来讲,类人机器人完整的模仿人类的外形,具有躯干,头部和四肢。也存在针对部分特定人体进行仿真的类人机器人,例如只模仿腰部以上的PR2机器人,只模仿腿部的机器人,以及只涉及眼睛和嘴来模仿人类面部表情的机器人(例如Kismet机器人)。此外,仿制人在普通类人机器人的基础上进一步从美学角度上对人类的皮肤,毛发,神态等模仿,从而达到了以假乱真的效果。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

推荐文章
暂无评论
暂无评论~