视频中，机器人抽取放置积木，保持积木墙纹丝不动，太厉害了吧！看来机器人叠乐高指日可待了。

这是麻省理工学院的研究人员编译的数据集，名为“ Omnipush ” ，该数据集记录了物理上推动数百个不同对象的机器人系统的详细数据。该数据集具有同类中最大、种类最丰富的的特点，研究人员可以使用数据集训练机器人，以“学习”推动动力学，这对于许多复杂的对象操纵物体（包括重新定向和检查对象以及整齐的场景）都是至关重要的。

“Omnipush ” 的数据集包含对250个对象的250次不同推送，总计大约62,500次唯一推送。例如，研究人员已经在使用它来构建模型，以帮助机器人预测物体在被推动时会降落在何处。

Omnipush捕获数据的方式

研究人员通过设计一个自动化系统来捕获数据，该系统包括具有精确控制的工业机械臂、3D运动跟踪系统、深度和传统相机以及将所有东西融合在一起的软件。

机械臂推着模块化的物体，可以调整它们的重量，形状和质量分布。对于每次推动，系统都会捕获这些特征，以及这些特征如何影响机器人的推动。

第一篇论述Omnipush的论文的作者机械工程系（MechE）的研究生玛丽亚·鲍萨（Maria Bauza）说，“我们需要大量丰富的数据来确保我们的机器人能够学习”，“在这里，我们正在从机器人系统中收集数据，并且机器人的数量足够多以捕获丰富的推动现象。这对于帮助机器人理解推动的工作方式以及将这些信息转换为现实世界中的其他类似对象非常重要。”

另外，参与这篇论文的还有：计算机科学与人工智能实验室和电气工程与计算机科学系（EECS）的研究生Ferran Alet和Lin Yen-Chen Lin、工程学院卓越教学教授Tomas Lozano-Perez、松下计算机科学与工程系教授Leslie P. Kaelbling、EECS助理教授Phillip Isola，以及MechE副教授Alberto Rodriguez。

操作物体对机器人研究的重要性

建模涉及物体和表面之间摩擦的推动动力学，对于更高级别的机器人任务至关重要。

Rodriguez最近与他人合作设计了一款游戏Jenga，Jenga是视觉和技术上令人印象深刻的机器人，当机器人正在执行一项复杂的任务，驱动该任务的机制的核心仍然是操纵物体之间的摩擦影响物体的移动。

Omnipush建立在Rodriguez，Bauza和其他研究人员在操纵与机制实验室（MCube）中建立的类似数据集的基础上，该数据集仅捕获了10个机器人的操纵物体的数据。在2016年将数据集公开后，他们收到反馈，其中一个反馈就是抱怨是缺乏研究对象的多样性，应该将在数据集上受过训练的机器人努力地将信息推广到新的对象上。另一个反馈即缺乏检测视频，这对于计算机视觉、视频预测和其他任务很重要。

对于他们的新数据集Omnipush，研究人员利用工业机器人手臂精确控制推进器的速度和位置。当手臂推动物体时，将使用“Vicon”运动跟踪器跟随物体。还有一个RGB-D摄像机，可将深度信息添加到捕获的视频中。

还有一个关键是构建模块化对象。由铝制成的均匀的中央部件看起来像四角星，重约100克。每个中心部分的中心和点都包含标记，因此Vicon系统可以在1毫米内检测到其姿势。

收集和处理多样化的数据

罗德里格斯说，了解质量分布及其对推动结果的影响是机器人可以从这组对象中学到的东西。

想象一下，推桌子时要用四只腿，其中最大的重量超过了一只腿。推桌子时，你会看到它在沉重的腿上旋转，所以必须重新调整。

可以将四个形状较小的零件（凹形，三角形，矩形和圆形）磁性连接到中央零件的任何一侧。每块重量在31到94克之间，但是额外的重量（从60到150克不等）可以掉入这些块的小孔中。所有类似拼图的物体在水平和垂直方向都对齐，这有助于模拟形状和质量分布相同的单个物体的摩擦。不同侧面，重量和质量分布的所有组合增加了250个唯一对象。

每次推动时，机械臂会自动移动到距对象几厘米的随机位置，它选择一个随机方向并将对象推一秒钟。从停止的地方开始，然后选择另一个随机方向，并重复该过程250次。每次推送都会记录对象和RGB-D视频，可用于各种视频预测目的。每天花费12个小时来收集数据，耗时两个星期，总计超过150个小时。仅在手动重新配置对象时才需要人工干预。

这些对象并没有专门模仿任何现实生活中的物品。取而代之的是，它们旨在捕获现实世界对象预期的“运动学”和“质量不对称性”的多样性，从而模拟现实世界对象运动的物理过程。这样，机器人可以将质量分布不均匀的Omnipush对象的物理模型外推到重量分布不均相似的任何现实世界对象。

Omnipush将推动机器人操纵技术的新研究

在一个实验中，研究人员使用Omnipush训练了一个模型，只给出推入的初始姿势和描述，以预测被推物体的最终姿势。

他们在150个Omnipush物体上训练了模型，并在物体伸出的部分上对其进行了测试。结果表明，经Omnipush训练的模型的准确度是在一些相似数据集上训练的模型的两倍。

在他们的论文中，研究人员还记录了其他研究人员可以用来比较的准确性基准。

由于Omnipush会捕获推送的视频，因此一种潜在的应用是视频预测。例如，一个合作者现在正在使用数据集来训练机器人以实质上“想象”在两点之间的推动物体。在Omnipush上进行训练后，将为机器人提供两个视频帧作为输入，显示其开始位置和结束位置的对象。机器人使用起始位置来预测所有未来的视频帧，以确保对象到达其结束位置。然后，它以与每个预测视频帧匹配的方式推动对象，直到到达具有结束位置的帧。

“机器人问，'如果我执行此操作，则对象将在此帧中的什么位置？' 然后，它选择使物体达到所需位置的可能性最大化的动作。” Bauza说。“它通过首先想象图像在按下后将如何变化来决定如何移动对象。”

卡内基梅隆大学计算机科学和机器人学教授Matthew T. Mason说：“ Omnipush包括对象运动的精确测量以及视觉数据，用于机器人与对象之间的重要相互作用。” “机器人研究人员可以使用这些数据来开发和测试新的机器人学习方法，这将推动机器人操纵技术的不断发展。”