摩根大通推出多模态文档理解模型DocLLM
到2024年，我们将看到更多实时图像、音频和视频生成传播应用。
除了模仿学习，斯坦福团队还开发了低成本的全身遥操作系统Mobile ALOHA，用于收集双臂移动操作数据。该系统将机器人安装在轮式底座上，实现了全身远程操控。研究人员可以通过遥控器控制机器人的移动和操作，从而完成各种复杂的任务。这个全身远程操控系统的设计简单直接，使用方便灵活，为机器人的操作提供了便利。
整个炒虾机器人的设计过程中，斯坦福团队综合考虑了移动、稳定性和全身远程操控等因素。他们选择了移动速度接近人类行走速度的Tracer移动底座，并在其上安装了ALOHA机械臂，实现了全身远程操控系统。此外，研究人员还注重机器人的稳定性，使其能够在操作重型物品时保持稳定。整个机器人的设计成本仅为22万元，相比其他类似机器人的价格要低廉许多。
该编码器具有多项功能。首先，它能够增强视觉感知能力，通过提供额外的视觉编码器，使MLLM能够更好地理解和分析图像内容。其次，VCoder能够处理特殊类型的图像，例如分割图和深度图。分割图能够帮助模型识别和理解图像中不同物体的边界和形状，而深度图则提供了物体距离相机远近的信息。最后，VCoder改善了对象感知任务的表现。通过提供额外的感知模态输入，如分割图或深度图，它显著提高了MLLM的对象感知能力，包括更准确地识别和计数图像中的对象。