7月22日消息，卡内基梅隆大学研究人员教会机器人拾取透明或反光的物体。

研究人员解决这一问题的方法是教会机器人从彩色图像中推断形状。长期以来，拾取透明和反光物体一直阻碍着机器人的发展，但新系统有望缓解这一问题。

该团队开发的新技术不需要复杂的传感器、大量的训练或人类指导。相反，它主要依靠嵌入在机器人手臂上的彩色摄像头。研究人员David Held表示，之前深度相机将红外光照射在物体上，以确定其形状，这种技术对于不透明的物体很有效。对于透明和反光物体的挑战是，光线要么直接穿过，要么从表面散落，使深度相机无法计算出准确的形状。

然而，彩色相机可以看到透明和反射物体，也可以看到不透明的物体。研究人员开发了一种彩色相机系统，能够根据颜色识别形状。利用该技术，研究人员能够训练该系统模仿深度系统，并隐含推断形状来把握物体。该团队使用针对不透明物体的深度相机图像与相同物体的彩色图像配对。训练完成后，彩色相机系统应用于透明闪亮的物体。根据这些图像，加上深度摄像头能够提供的信息，系统可以很成功地抓住具有挑战性的物体。

研究人员发现，有时手臂会失误，但它在抓取透明或反光物体方面的表现比以往任何系统都要好。该系统在抓取不透明物体时，仍能比透明或反光物品更有效。该系统还能够抓取杂乱堆积的物体。

Facebook的AI团队最近对机器人技术非常着迷。过去一年Facebook没少在机器人上下苦功，从六足机器人，到Replica真实感训练数据集，到Habitat模拟引擎，最近又推出了PyRobot。从名称就可以看出，这是一个基于PyTorch的机器人框架。该框架是与卡内基梅隆大学合作创建，可运行由Facebook的机器学习框架PyTorch训练的深度学习模型。Facebook希望PyRobot能加快机器人开发，通过共享代码，数据集和模型的通用API来发展机器人研究生态系统。

PyTorch加快了AI子领域研究的进展，提供了一定程度的抽象，让构建最先进的系统、使用共享库和工具、以及优化性能的操作变得更加容易。如今，Facebook团队也将其应用于机器人领域，与Carnegie Mellon大学研究人员合作推出了PyRobot框架，可以运行PyTorch训练的深度学习模型，Facebook还希望将其打造成一个生态系统。

PyRobot能够为人工智能研究人员降低入门门槛，使其在短时间内（几个小时）轻松设置并运行机器人，而无需浪费时间去考虑设备硬件、驱动程序、控制系统等。PyRobot目前支持Sawyer机器人和LoCoBot，这是一个用于Carnegie Mellon机器人自治课程的机器人。支持Universal Robots和Franka等UR5等其他机器即将推出，与MuJoCo和Habitat等模拟器的集成也在进行中。

机器学习和机器人研究的简单共享界面

通常设置一个机器人，仅仅让它挥动手臂的简单动作，也需要几天甚至一周时间来调试机器人的本地软件。机器人社区流传着一个笑话：如果你博士论文研究的是机器人，多一个机器人，你的论文完结时间就往后延长一年。由此可见调试机器人有多浪费时间。

PyRobot通过在多个机器人和模拟器之间使用通用API来解决上述问题。下面这段代码很好的展示了用PyRobot将会多么轻松：

PyRobot具有适用于所有机器人的通用功能，例如关节位置控制、关节速度控制、关节扭矩控制、笛卡尔路径规划、正向运动学和反向运动学（基于机器人URDF文件）、路径规划和视觉SLAM等。虽然它将底层软件堆栈的复杂性抽象掉了，不过用户仍然可以灵活地使用不同级别的组件，例如绕过规划器以执行低级别的速度和扭矩命令。

PyRobot可用于实现各种高级AI应用程序、点目标导航、推动和抓取等操作任务，以及使用机器人进行数据收集的远程操作。PyRobot提供了一种在机器人技术中使用AI和机器学习算法的简便方法，可以使用与物理机器人的接口来收集任务的数据，比如抓取任务；可以训练深度学习模型，然后在机器人上执行算法。一些正在进行的项目中，PyRobot确实简化了用于末端执行器控制和点目标导航的sim2real策略转换测试。

可扩展的研究和教育工具

为什么机器人研究一直做不大？原因有两个，首先是硬件成本过高，其次是专业软件太复杂。PyRobot怎么解决这两个问题呢？它使用通用的API，降低软件的复杂度，配合像LoCoBot一类相对比较便宜的机器人使用。这样降低了入门门槛后，人工智能研究人员就可以部署多个机器人来收集数据、并行学习。通过在不同硬件上提供通用框架，PyRobot将引领机器人技术基准的开发（类似于AI中的其他领域）并量化进度。Facebook计划与机器人研究社区一起努力建立这些基准。PyRobot还可以帮助扩展人工智能教育计划，从而更容易为具有不同背景的学生提供实操体验。

扩展PyRobot平台并推进AI研究

Facebook计划在不久的将来，通过与模拟器（如AI Habitat，Gibson和MuJoCo）的接口为PyRobot添加功能；并与社区合作，为例如Universal Robots等更多硬件提供支持。除了开源PyRobot，Facebook AI还计划分享其他最先进的机器人算法的开源实现并发布机器人数据集。机器人技术对于推进人工智能整体非常重要，因为它使研究人员能够探索教学机器等挑战，以学习预测模型，并在现实世界中开发“常识”知识。解决这些问题将使AI更加强大，有朝一日可用于智能助理等应用程序。Facebook希望凭借PyRobot灵活、开放的设计，帮助Facebook AI研究人员和该领域的其他人加快实现这些目标的进程。

关于卡内基梅隆大学

卡内基梅隆大学有享誉全美的认知心理学、管理和公共关系学、写作和修辞学、应用历史学、哲学和生物科学专业。它的计算机、机器人科学、理学、美术及工业管理都是举世公认的一流专业。特别是计算机专业，与麻省理工学院、斯坦福大学和加州大学伯克利分校并列全美榜首，卡内基梅隆大学的软件工程专业更是遥遥领先于其它名校。卡内基梅隆大学在国际软件业界拥有极高的声誉，目前国际软件行业最通行的标准---Capability Maturity Model for Software软件生产能力成熟度模型(CMM)正是由该校的软件工程研究院研发并制定的。近年来卡内基梅隆大学在原有的CMM体系基础上又推出了CMMI最新体系，成为软件行业最新标准。

卡内基梅隆大学的软件工程研究院成为美国国防部军管研究院，成为全球软件学院的楷模，其毕业生大多成为业界精英。全球500强企业中IT巨头们纷纷在卡内基梅隆大学捐款并设立研究所，正因如此卡内基梅隆大学对入学学生要求之高成为全球瞩目。