scholar lane logo wechat

学术巷子 | 来自全球的每日最新论文

自然语言处理 计算机视觉 机器人
cs.RO方向，2025年7月4日更新论文20篇
[1] 信念-愿望-意图机器人的有效解释：何时解释以及解释什么
标题: Effective Explanations for Belief-Desire-Intention Robots: When and What to Explain
作者: Cong Wang / Roberto Calandra / Verena Klös
原文:   [英文]   [中文]  
备注: Paper accepted at IEEE RO-MAN 2025; 6 pages
摘要:
当机器人在我们的日常生活中执行复杂且依赖于情境的任务时，偏离预期的行为可能会让用户感到困惑。对机器人推理过程的解释可以帮助用户理解机器人的意图。然而，何时提供解释以及解释的内容是避免用户烦恼的重要因素。我们研究了用户对机器人在厨房中帮助进行日常清洁任务时的解释需求和内容的偏好。我们的结果表明，用户希望在意外情况下获得解释，并且更喜欢简明的解释，这些解释能够清楚地说明令人困惑的行为背后的意图以及与该决策相关的情境因素。基于这些发现，我们提出了两种算法，用于识别意外行为并为信念-愿望-意图（BDI）机器人构建有效的解释。我们的算法可以轻松集成到BDI推理过程中，为更好的基于情境和用户特定的解释的人机交互铺平道路。
[2] RoboBrain 2.0 技术报告
标题: RoboBrain 2.0 Technical Report
作者: BAAI RoboBrain Team / Mingyu Cao / Huajie Tan / Yuheng Ji / Minglan Lin / Zhiyu Li / Zhou Cao / Pengwei Wang / Enshen Zhou / Yi Han / Yingbo Tang / Xiangqi Xu / Wei Guo / Yaoxu Lyu / Yijie Xu / Jiayu Shi / Cheng Chi / Mengdi Zhao / Xiaoshuai Hao / Shanyu Rong / Zhengliang Cai / Bolun Zhang / Shuyi Zhang / Huaihai Lyu / Mengfei Du / Lingfeng Zhang / Xi Feng / Xiaodan Liu / Yance Jiao / Chenrui He / Mengsi Lyu / Zhuo Chen / Yulong Ao / Xue Sun / Zheqi He / Jingshu Zheng / Xi Yang / Donghai Shi / Kunchang Xie / Bochao Zhang / Shaokai Nie / Chunlei Men / Yonghua Lin / Zhongyuan Wang / Tiejun Huang / Shanghang Zhang
原文:   [英文]   [中文]  
备注: None
摘要:
我们介绍了RoboBrain 2.0，这是我们最新一代的具身视觉-语言基础模型，旨在统一物理环境中复杂具身任务的感知、推理和规划。它有两个变体：一个轻量级的7B模型和一个全规模的32B模型，具有异构架构，包括一个视觉编码器和一个语言模型。尽管体积紧凑，RoboBrain 2.0在广泛的具身推理任务中表现出色。在空间和时间基准测试中，32B变体取得了领先的结果，超越了之前的开源和专有模型。特别是，它支持关键的现实世界具身AI能力，包括空间理解（例如，功能预测、空间指称、轨迹预测）和时间决策（例如，闭环交互、多智能体长时间规划和场景图更新）。本报告详细介绍了模型架构、数据构建、多阶段训练策略、基础设施和实际应用。我们希望RoboBrain 2.0能推动具身AI研究，并作为构建通用具身代理的实际步骤。代码、检查点和基准测试可在此https URL获取。
[3] 通过自监督递归神经网络实现仿生机器人轨迹规划
标题: Towards Bio-Inspired Robotic Trajectory Planning via Self-Supervised RNN
作者: Miroslav Cibula / Kristína Malinovská / Matthias Kerzel
原文:   [英文]   [中文]  
备注: 12 pages, 4 figures, 2 tables. To be published in 2025 International Conference on Artificial Neural Networks (ICANN) proceedings. This research was funded by the Horizon Europe project TERAIS, GA no. 101079338, and in part by the Slovak Grant Agency for Science (VEGA), project 1/0373/23
摘要:
在机器人领域，轨迹规划被理解为生成一系列关节配置，以引导机器人代理或其机械臂从初始状态到达期望的最终状态，从而在考虑机器人运动学和环境等约束的情况下完成操作任务。通常，这通过基于采样的规划器来实现，这些规划器计算量大。最近的进展表明，轨迹规划也可以通过对轨迹的监督序列学习来完成，通常只需要通过神经网络架构进行一次或固定次数的传递，从而确保计算时间是有限的。然而，这种完全监督的方法执行的是模仿学习；它们并不是基于轨迹是否能够成功到达目标来学习，而是尝试重现观察到的轨迹。在我们的工作中，我们基于这种方法，提出了一种基于递归架构的认知启发自监督学习方案，用于构建轨迹模型。我们在一个机器人手臂的运动学规划任务上评估了该方法的可行性。结果表明，该模型能够仅使用给定的正向和逆向运动学模型对来学习生成轨迹，并表明这种新方法可能有助于规划需要自适应解决方案的更复杂的操作任务。
[4] cVLA：迈向高效的摄像机空间VLA
标题: cVLA: Towards Efficient Camera-Space VLAs
作者: Max Argus / Jelena Bratulic / Houman Masnavi / Maxim Velikanov / Nick Heppert / Abhinav Valada / Thomas Brox
原文:   [英文]   [中文]  
备注: 20 pages, 10 figures
摘要:
视觉-语言-动作（VLA）模型为解决复杂的机器人操作任务提供了一个引人注目的框架，但它们的训练通常代价高昂。在本文中，我们提出了一种新颖的VLA方法，该方法利用视觉语言模型（VLMs）在二维图像上的竞争性能，直接推断机器人末端执行器在图像帧坐标中的姿态。与之前输出低级控制的VLA模型不同，我们的模型预测轨迹航点，使其在训练上更高效且与机器人具体实现无关。尽管设计轻量，我们的下一个标记预测架构能够有效学习有意义且可执行的机器人轨迹。我们进一步探索了结合深度图像、推理时技术（如解码策略）以及示范条件下动作生成的未充分利用的潜力。我们的模型在模拟数据集上进行训练，并展示了强大的从模拟到现实的迁移能力。我们使用模拟和真实数据的组合来评估我们的方法，证明了其在真实机器人系统上的有效性。
[5] GPS-DRIFT：使用IMU-GPS融合和不变滤波的海洋表面机器人定位
标题: GPS-DRIFT: Marine Surface Robot Localization using IMU-GPS Fusion and Invariant Filtering
作者: Surya Pratap Singh / Tsimafei Lazouski / Maani Ghaffari
原文:   [英文]   [中文]  
备注: 6 pages
摘要:
本文提出了一种扩展的DRIFT不变状态估计框架，能够稳健地融合GPS和IMU数据，以实现精确的位姿和航向估计。该方法最初是为海洋自主水面车辆（ASV）的测试和使用而开发的，但也可以应用于其他移动系统。在原有的仅依赖本体感知的DRIFT算法基础上，我们开发了一种保持对称性的传感器融合流程，利用不变扩展卡尔曼滤波器（InEKF）将GPS的全球位置更新直接整合到校正步骤中。关键的是，我们引入了一种新颖的航向校正机制，该机制结合了GPS地面航向信息和IMU方向，克服了纯惯性导航中航向不可观测的固有问题。该系统已在定制的Blue Robotics BlueBoat上部署和验证，但方法论的重点在于融合外感知和本体感知传感器的算法方法，以实现无漂移的定位和可靠的方向估计。此项工作为在具有挑战性或GPS信号减弱的环境中实现精确的航向观测和定位提供了一个开源解决方案，并为未来的实验和比较研究奠定了基础。
[6] CoInfra：一种用于恶劣天气的大规模协作基础设施感知系统和数据集
标题: CoInfra: A Large-Scale Cooperative Infrastructure Perception System and Dataset in Adverse Weather
作者: Minghao Ning / Yufeng Yang / Keqi Shu / Shucheng Huang / Jiaming Zhong / Maryam Salehi / Mahdi Rahmani / Yukun Lu / Chen Sun / Aladdin Saleh / Ehsan Hashemi / Amir Khajepour
原文:   [英文]   [中文]  
备注: This paper has been submitted to the IEEE Transactions on Robotics for review
摘要:
我们介绍了CoInfra，一个大型协作基础设施感知系统和数据集，旨在推进在真实世界和恶劣天气条件下的稳健多代理感知。CoInfra系统包括14个完全同步的传感器节点，每个节点配备双RGB摄像头和一个LiDAR，部署在一个共享区域内，并持续运行以实时捕捉所有交通参与者。本文提供了一种稳健的、延迟感知的同步协议和一个支持实时数据融合、OTA管理和远程监控的可扩展系统架构。另一方面，数据集是在不同天气场景下收集的，包括晴天、雨天、冻雨和大雪，包含来自8个基础设施节点的195k LiDAR帧和390k摄像头图像，这些数据在全球时间上对齐并在空间上校准。此外，提供了五个对象类别（即汽车、公交车、卡车、行人和自行车）的全面3D边界框注释，既有全球帧也有单个节点帧，并附有用于上下文理解的高清地图。基准实验展示了早期和晚期融合策略之间的权衡，并讨论了高清地图集成的显著优势。通过在此https URL上公开发布我们的数据集、代码库和系统文档，我们旨在支持可重复的研究，并推动基础设施支持的自动驾驶在具有挑战性的真实世界环境中的进展。
[7] 用于测试自动驾驶控制器的具有AI驱动数字孪生的车辆环路模拟器
标题: A Vehicle-in-the-Loop Simulator with AI-Powered Digital Twins for Testing Automated Driving Controllers
作者: Zengjie Zhang / Giannis Badakis / Michalis Galanis / Adem Bavarşi / Edwin van Hassel / Mohsen Alirezaei / Sofie Haesaert
原文:   [英文]   [中文]  
备注: None
摘要:
模拟器是测试自动驾驶控制器的有用工具。车中环（ViL）测试和数字孪生（DT）是广泛使用的仿真技术，有助于控制器顺利部署到实际车辆。然而，传统的ViL测试依赖于全尺寸车辆，需要大量空间和高昂费用。此外，基于物理模型的DT由于建模不精确而存在现实差距。本文开发了一种综合且实用的模拟器，用于测试由缩小版物理车辆和AI驱动的DT模型增强的自动驾驶控制器。缩小版车辆可以节省仿真测试的空间和费用。AI驱动的DT模型确保了卓越的仿真保真度。此外，该模拟器与现成的软件和控制算法很好地集成，易于扩展。我们使用具有正式安全保证的过滤控制基准来展示模拟器在验证自动驾驶控制器方面的能力。实验研究展示了模拟器的有效性，表明其在验证自动驾驶车辆和智能交通控制解决方案方面具有巨大潜力。
[8] 使用一次采样骨架地图的路径规划
标题: Path Planning using a One-shot-sampling Skeleton Map
作者: Gabriel O. Flores-Aquino / Octavio Gutierrez-Frias / Juan Irving Vasquez
原文:   [英文]   [中文]  
备注: None
摘要:
路径规划算法旨在计算无碰撞路径，许多研究集中在寻找最优距离路径。然而，对于某些应用来说，更合适的方法是平衡响应时间、路径安全性和路径长度。在这种情况下，骨架图是图形化方案中的一个有用工具，因为它提供了自由配置空间的内在表示。然而，骨架化算法非常耗费资源，主要面向图像处理任务。我们提出了一种高效的路径规划方法，该方法能够在可接受的处理时间内找到安全路径。该方法利用基于U-Net架构的深度去噪自动编码器（DDAE）来计算导航地图的骨架化版本，我们称之为SkelUnet。SkelUnet网络通过一次性采样（OSS）促进整个工作空间的探索，而不是精确算法使用的迭代过程或概率采样过程。SkelUnet在一个包含12,500个二维地牢地图的数据集上进行训练和测试。运动规划方法在一个无人机（UAV）的仿真环境中使用250个以前未见过的地图进行评估，并通过各种导航指标评估计算路径的可导航性。结果表明，使用SkelUnet构建路线图提供了显著优势，例如连接所有自由工作空间区域，提供更安全的路径，并减少处理时间。这些特性使得该方法特别适合结构化环境中的移动服务机器人。
[9] DigiT4TAF -- 为未来交通系统搭建物理与数字世界的桥梁
标题: DigiT4TAF -- Bridging Physical and Digital Worlds for Future Transportation Systems
作者: Maximilian Zipfl / Pascal Zwick / Patrick Schulz / Marc Rene Zofka / Albert Schotschneider / Helen Gremmelmaier / Nikolai Polley / Ferdinand Mütsch / Kevin Simon / Fabian Gottselig / Michael Frey / Sergio Marschall / Akim Stark / Maximilian Müller / Marek Wehmer / Mihai Kocsis / Dominic Waldenmayer / Florian Schnepf / Erik Heinrich / Sabrina Pletz / Matthias Kölle / Karin Langbein-Euchner / Alexander Viehl / Raoul Zöllner / J. Marius Zöllner
原文:   [英文]   [中文]  
备注: Accepted at the IEEE IAVVC 2025 Conference
摘要:
在未来，移动性将受到数字化日益增加的使用的强烈影响。不仅个体道路使用者将高度互联，道路及相关基础设施也将如此。在这一点上，数字孪生变得特别有吸引力，因为与基本模拟不同，它提供了一个连接现实和虚拟环境的持续双向连接。本文描述了用于开发德国巴登-符腾堡州自动驾驶测试区（TAF-BW）数字孪生的数字重建。TAF-BW提供了各种不同的道路段，从交通繁忙的城市交叉口和隧道到多车道高速公路。测试区配备了全面的车联网（V2X）通信基础设施和多个配备摄像头传感器的智能交叉口，以便于实时交通流量监控。通过在交叉口提取对象列表，实现了作为数字孪生输入的真实数据生成。这个过程通过结合使用来自智能基础设施的摄像头图像和安装在测试车辆上的LiDAR传感器得以实现。使用统一接口，可以重新模拟对交通参与者的真实检测记录。此外，讨论了模拟框架的设计和重建过程。最终的框架可公开下载和使用，网址为：this https URL。演示使用两个案例研究来说明数字孪生及其接口的应用：分析交通信号系统以优化交通流量，以及在通信领域模拟与安全相关的场景。
[10] 一种用于3D多目标和多源关联与融合的后期协作感知框架
标题: A Late Collaborative Perception Framework for 3D Multi-Object and Multi-Source Association and Fusion
作者: Maryem Fadili / Mohamed Anis Ghaoui / Louis Lecrosnier / Steve Pechberti / Redouane Khemmar
原文:   [英文]   [中文]  
备注: None
摘要:
在自动驾驶领域，最近的研究越来越关注基于深度学习的协同感知，以克服单个感知系统的局限性。尽管这些方法实现了高精度，但它们依赖于高通信带宽，并需要不受限制地访问每个代理的目标检测模型架构和参数。这些限制在现实世界的自动驾驶场景中带来了挑战，因为通信限制和保护专有模型的需求阻碍了实际应用。为了解决这个问题，我们引入了一种新颖的后期协同框架，用于3D多源和多目标融合，该框架仅依赖于共享的3D边界框属性——类别、大小、位置和方向——而无需直接访问检测模型。我们的框架在后期融合中建立了新的最先进水平，与现有方法相比，位置误差降低了最多五倍。此外，它将尺度误差减少了7.5倍，方向误差减少了一半，同时在融合来自异构感知系统的检测时保持了完美的100%精度和召回率。这些结果突出了我们的方法在解决现实世界协同感知挑战中的有效性，为高效和可扩展的多代理融合设定了新的基准。
[11] MISC：在非凸约束下具有安全性保证的最小干预共享控制
标题: MISC: Minimal Intervention Shared Control with Guaranteed Safety under Non-Convex Constraints
作者: Shivam Chaubey / Francesco Verdoja / Shankar Deka / Ville Kyrki
原文:   [英文]   [中文]  
备注: This work has been submitted to the IEEE for possible publication
摘要:
共享控制将人类意图与自主决策相结合，从低级别的安全覆盖到高级别的任务指导，使系统能够在适应用户的同时确保安全性和性能。这增强了辅助机器人、远程操作和自动驾驶等领域的任务效果和用户体验。然而，现有的共享控制方法（例如基于模型预测控制、控制障碍函数或基于学习的控制）在可行性、可扩展性或安全性保证方面存在困难，特别是因为用户输入是不可预测的。 为了解决这些挑战，我们提出了一种基于约束最优控制问题的辅助控制器框架，该框架结合了离线计算的控制不变集，从而能够在线计算控制动作，确保可行性、严格的约束满足以及对用户意图的最小覆盖。此外，该框架可以适应结构化的非凸约束类，这在现实场景中很常见。我们通过一项大规模用户研究验证了该方法，该研究涉及66名参与者——这是共享控制研究中规模最大的一次之一——使用计算机游戏环境评估任务负荷、信任和感知控制，以及性能。结果显示，在所有这些方面都有一致的改进，同时不影响安全性和用户意图。
[12] HAC-LOCO：学习用于四足动物运动的分层主动顺应控制，以应对持续的外部干扰
标题: HAC-LOCO: Learning Hierarchical Active Compliance Control for Quadruped Locomotion under Continuous External Disturbances
作者: Xiang Zhou / Xinyu Zhang / Qingrui Zhang
原文:   [英文]   [中文]  
备注: 8 pages, 7 Figures
摘要:
尽管四足动物控制在最近取得了显著成就，但在面对不可预见的外部干扰时，确保稳健和顺应的运动仍然具有挑战性。现有的方法优先考虑运动的稳健性而非顺应性，通常导致僵硬、高频的动作以及能源效率低下。因此，本文提出了一个两阶段的分层学习框架，可以基于力估计学习对外部力干扰进行主动反应。在第一阶段，速度跟踪策略与自动编码器一起训练，以提炼历史的本体感受特征。通过监督学习，学习一个基于神经网络的估计器，该估计器根据本体感受测量估计身体速度和外部力。在第二阶段，基于阻抗控制启发的顺应动作模块在预训练的编码器和策略基础上进行学习。该模块用于根据实时力估计主动调整速度指令以响应外部力。有了顺应动作模块，四足机器人可以稳健地处理轻微干扰，同时适当地对显著力做出让步，从而在稳健性和顺应性之间取得平衡。模拟和现实世界的实验表明，我们的方法在稳健性、能源效率和安全性方面具有优越的性能。实验比较显示，我们的方法优于最先进的基于强化学习的运动控制器。消融研究展示了顺应动作模块的关键作用。
[13] 多机器人在多用户社交护理环境中的安全和社交感知协调
标题: Safe and Socially Aware Multi-Robot Coordination in Multi-Human Social Care Settings
作者: Ayodeji O. Abioye / Jayati Deshmukh / Athina Georgara / Dominic Price / Tuyen Nguyen / Aleksandra Landowska / Amel Bennaceur / Joel E. Fischer / Sarvapali D. Ramchurn
原文:   [英文]   [中文]  
备注: 3 pages, 1 figure. Accepted for poster presentation at the UK AI Research Symposium (UKAIR) 2025, themed "A Festival of Ideas", being held in Newcastle from 8th - 9th September, 2025. this https URL
摘要:
本研究探讨了多机器人在多人的环境中进行协调的策略。它提出了一种基于多目标学习的协调方法，以解决多人人多机器人（MHMR）环境中的路径规划、导航、任务调度、任务分配和人机交互问题。
[14] 软性扭曲梁在欠驱动四足行走中的振动
标题: Vibration of Soft, Twisted Beams for Under-Actuated Quadrupedal Locomotion
作者: Yuhao Jiang / Fuchen Chen / Jamie Paik / Daniel M. Aukes
原文:   [英文]   [中文]  
备注: This manuscript is under revision for possible publication in the IEEE/ASME Transactions on Mechatronics. Copyright may be transferred to IEEE if the manuscript is accepted for publication, without further notice. Supplementary videos: this https URL, this https URL
摘要:
欠驱动柔顺机器人系统通过利用预先设计的、具体现的动态行为，提供了一种有前途的方法来缓解驱动和控制方面的挑战。本文介绍了一种新颖的、无绳的、厘米级四足机器人Flix-Walker，其灵感来自于柔顺欠驱动机制。Flix-Walker使用柔性的螺旋形梁作为腿，通过仅两个电机的振动来实现三种不同的移动模式。我们通过仿真和原型实验分析了产生各种运动模式所需的驱动参数。研究了系统和环境变化对运动性能的影响，并提出了一种通用的指标，用于选择能够产生稳健且功能性运动的控制参数。实验验证了这些驱动参数在闭环控制框架内的有效性和稳健性，展示了可靠的轨迹跟踪和自导航能力。
[15] ArtGS：用于交互式视觉-物理建模和操控关节物体的3D高斯喷洒
标题: ArtGS:3D Gaussian Splatting for Interactive Visual-Physical Modeling and Manipulation of Articulated Objects
作者: Qiaojun Yu / Xibin Yuan / Yu jiang / Junting Chen / Dongzhe Zheng / Ce Hao / Yang You / Yixing Chen / Yao Mu / Liu Liu / Cewu Lu
原文:   [英文]   [中文]  
备注: Accepted by IROS 2025
摘要:
在机器人领域中，关节物体的操控由于复杂的运动学约束和现有方法有限的物理推理能力，仍然是一个关键挑战。在这项工作中，我们介绍了ArtGS，这是一种新颖的框架，通过整合视觉-物理建模来扩展3D高斯点绘（3DGS），以实现对关节物体的理解和交互。ArtGS首先进行多视图RGB-D重建，然后通过视觉语言模型（VLM）进行推理，以提取语义和结构信息，特别是关节骨骼。通过动态、可微的基于3DGS的渲染，ArtGS优化关节骨骼的参数，确保物理一致的运动约束，并增强操控策略。通过利用动态高斯点绘、跨实体适应性和闭环优化，ArtGS建立了一个高效、可扩展和可推广的关节物体建模和操控的新框架。在模拟和现实环境中进行的实验表明，ArtGS在关节估计精度和操控成功率方面显著优于先前的方法，适用于各种关节物体。更多图片和视频可在项目网站上查看：this https URL
[16] MISCGrasp：利用多重集成尺度和对比学习增强体积抓取
标题: MISCGrasp: Leveraging Multiple Integrated Scales and Contrastive Learning for Enhanced Volumetric Grasping
作者: Qingyu Fan / Yinghao Cai / Chao Li / Chunting Jiao / Xudong Zheng / Tao Lu / Bin Liang / Shuo Wang
原文:   [英文]   [中文]  
备注: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2025
摘要:
机器人抓取在适应形状和大小各异的物体时面临挑战。在本文中，我们介绍了MISCGrasp，这是一种体积抓取方法，结合了多尺度特征提取和对比特征增强，实现自适应抓取。我们通过Insight Transformer提出了一种基于查询的高低层特征交互，而Empower Transformer则选择性地关注最高层特征，这种协同作用在关注精细几何细节和整体几何结构之间取得了平衡。此外，MISCGrasp利用多尺度对比学习来利用正抓取样本之间的相似性，确保多尺度特征的一致性。在模拟和现实环境中的大量实验表明，MISCGrasp在桌面清理任务中优于基线和变体方法。更多细节请访问此https URL。
[17] 将路径规划与控制集成用于机器人独轮车
标题: Integrating path-planning and control for robotic unicycles
作者: Máté B. Vizi / Dénes Tákács / Gábor Stépán / Gábor Orosz
原文:   [英文]   [中文]  
备注: None
摘要:
本文着重于将路径规划与控制相结合，特别针对机器人独轮车的独特需求。文中提出了一种独轮车设计，该设计能够加速/减速并执行多种机动动作。所提出的路径规划方法将路径分为直线路段和曲线路段，分别用于加速/减速和转弯机动。曲线路段的曲率分布在优化时考虑了控制性能和车轮的打滑极限。通过数值模拟展示了所提出的集成方法的性能。
[18] 灾害响应中遍历搜索的起始位置优化
标题: Optimizing Start Locations in Ergodic Search for Disaster Response
作者: Ananya Rao / Alyssa Hargis / David Wettergreen / Howie Choset
原文:   [英文]   [中文]  
备注: None
摘要:
在灾害响应场景中，有效部署机器人团队对于提高态势感知和增强搜救行动至关重要。尽管已有研究探讨了在搜救中使用机器人，但尚未解决从何处开始部署机器人的问题。本文通过构建一个联合优化问题，解决了为具有异质能力的机器人选择最佳起始位置的问题。为了确定起始位置，本文在遍历优化框架中添加了一个约束，其最小值将机器人分配到起始位置。当机器人是异质的（配备不同的传感和运动模式）时，这变得更加具有挑战性，因为并非所有机器人都从同一位置开始，因此需要对上述约束进行更复杂的调整。我们的方法假设可以获取潜在的起始位置，这些位置可以通过专家知识或航拍图像获得。我们通过与使用固定起始位置的基线方法进行比较，实验性地评估了我们联合优化方法的有效性。实验结果显示，在同质和异质团队中，基于遍历度量的覆盖性能显著提升，合成数据上平均提高35.98%，真实数据上平均提高31.91%。
[19] 通过拓扑路径搜索和弧长-偏航参数化对差动驱动移动操纵器进行轨迹优化
标题: Trajectory Optimization for Differential Drive Mobile Manipulators via Topological Paths Search and Arc Length-Yaw Parameterization
作者: Long Xu / Choilam Wong / Mengke Zhang / Junxiao Lin / Fei Gao
原文:   [英文]   [中文]  
备注: Technical Report
摘要:
我们提出了一种高效的分层运动规划流程，适用于差动驱动的移动机械臂。我们的方法首先为移动底座搜索多个无碰撞且拓扑上不同的路径，以提取可能存在最优解的空间。然后，进一步的采样和优化并行进行，以探索可行的全身轨迹。在轨迹优化中，我们采用多项式轨迹和弧长-偏航参数化，从而能够高效处理非完整动力学，同时确保最优性。
[20] MultiGen：在模拟中使用多模态生成来学习真实环境中的多模态策略
标题: MultiGen: Using Multimodal Generation in Simulation to Learn Multimodal Policies in Real
作者: Renhao Wang / Haoran Geng / Tingle Li / Feishi Wang / Gopala Anumanchipalli / Philipp Wu / Trevor Darrell / Boyi Li / Pieter Abbeel / Jitendra Malik / Alexei A. Efros
原文:   [英文]   [中文]  
备注: None
摘要:
机器人必须整合多种感官模式才能在现实世界中有效行动。然而，大规模学习这种多模态策略仍然具有挑战性。模拟提供了一种可行的解决方案，但尽管视觉已经从高保真模拟器中受益，其他模式（例如声音）却很难模拟。因此，模拟到现实的转移主要在基于视觉的任务中取得了成功，而多模态转移仍然基本上未实现。在这项工作中，我们通过引入MultiGen框架来解决这些挑战，该框架将大规模生成模型整合到传统物理模拟器中，实现多感官模拟。我们在机器人倒水的动态任务中展示了我们的框架，该任务本质上依赖于多模态反馈。通过合成基于模拟视频的真实音频，我们的方法能够在丰富的视听轨迹上进行训练——无需任何真实机器人数据。我们展示了在现实世界中使用新容器和液体进行有效的零样本转移，突显了生成建模在模拟难以建模的模式和弥合多模态模拟到现实差距方面的潜力。