据technologyreview网站2016年12月9日刊文，人工智能(AI)研究人员一直致力于超越2D图像和像素的AI技术，他们现正在构造绘制3D画面和3D操作的系统能力，这可能对机器人和无人驾驶汽车产生重要的影响——帮助机器学习如何在现实世界中更高智能化地作业。
麻省理工学院大脑和认知科学系教授Josh Tenenbaum称，在AI领域内，一个令人兴奋和重要的趋势是向基于学习的视觉系统方向转变：从仅从事包含平面图像的事情到从事包含3D物体的事情。这仅仅是认知物质世界的一个技术，认知科学的研究表明，人们正利用某种3D模型来感知和操作。
使机器理解3D世界在近期应该会有相当重要的实际应用。许多神经信息处理系统(NIPS)领域的研究人员正在开展于现有产品中引入简单3D能力机器学习系统的试验，为AI研究人员创造的一系列新3D环境也应该会推动该领域进一步地深化研究。
一支由Sergey Levine率领的加利福尼亚大学伯克利分校工作组展示了一种利用组合视频成像和实验来学习物理世界的系统。他们的机器人通过戳目标进行实验，研究其对目视世界的影响，从而创建一种对物理世界的简单理解;它再基于这种理解采取新的行动。 比如该机器人在对目标微移数千次之后，能够将目标移动到一个新的地方。
牛津大学的Nando de Freitas教授也表示，没有对现实世界的探索，AI将会继续保持沉寂。 “解决物理学问题的唯一方法就是互动。仅仅从像素中学习是不够的。”
