普渡大学和Adobe Research的研究团队最近开发了一个新的交互式框架LeRop,LeRo可以驱动机器人自动捕获人的照片,特别是肖像。新框架在arXiv 预先发表的一篇论文中提出,可以使机器人跟随人类用户到达理想地点,然后对其进行拍照。

LeRop是专门为拍摄室内人像而设计的。首先将机器人引导到合适的位置或所需的拍摄位置,然后它使用照片评估模型提出最佳视图,并使用深度强化学习(DRL)模型来调整机器人的位置和方向,以确保机器人的位置和方向及最佳照明条件。

研究人员在论文中写道:“激活构图后,机器人会尝试调整其位置以形成最能匹配给定模板图像的视图,并最终拍摄照片,模板图像可以通过框架使用现成的照片评估模型动态地预测,或者由用户从预定义的集合中手动选择。”

LeRop是一个交互式框架,用户可以对它进行编程,使其跟随一个目标到达希望捕获照片的位置。一旦用户到达指定地点,机器人就会开始搜索捕获的最佳视图。LeRop的DRL组件最终使它能够根据其与模板图像的匹配方式来调整视点。

研究人员为该机器人配备360度摄像头和高质量的主摄像头,因为这可以使机器人始终保持周围全景,而无需连续旋转或切换到不同的视点。LeRop具有模块化结构,这意味着可以根据用户的需要来替换或修改其所有模型。

研究团队在三个室内场景的各种试用测试中对LeRop进行了评估,并将其集成到名为Turtlebot的简单机器人中。在这三个设置中,机器人分别为人类用户拍摄了20张照片,其中10张带有预定义的模板,另外10张使用动态生成的模板。

机器人对预定义模板的平均调整数量为11.20,对于动态生成的模板,平均调整数量为12.76。另外利用研究人员的框架,机器人可以使用预定义的模板平均花费22.11秒拍摄图像,而使用动态生成的模板平均花费22.40秒。

LeRop 框架是朝着创建高效的机器人摄影系统迈出的第一步,它搭载的系统可以快速,自动地拍摄高质量的人像。但是,研究人员开发的系统仍然存在许多局限性,可能会阻止其大规模采用。例如,到目前为止,它的板载计算能力有限,因此只能在功能强大的远程计算机上运行。

此外,到目前为止,研究人员仅将其集成到Turtlebot中,Turtlebot是一个自由度极低的简单机器人。在接下来的工作中,他们希望在具有更多自由度的更复杂的机器人上测试系统。

研究人员在论文中说到:“我们的系统目前仅支持单人肖像。集体照暂时还在开发。在将来的工作中,希望可以测试不同的照片评估美学模型,并将工作扩展到室外场景。”