由南京大学、中国科学院自动化研究所、宝马（南京）信息技术有限公司等单位联合完成的具身智能研究论文 Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation，已正式上线 arXiv(编号:2605.27582v1)，并投稿至 TPAMI。该研究的前期会议版本已被机器人领域顶级会议 ICRA 2026 接收。
arXiv :
https://arxiv.org/html/2605.27582v1
Project page:
https://xetroubadour.github.io/Uni-LaViRA/
该研究解决了机器人Embodied Navigation中，开放语言指令如何转化为可执行空间动作这一关键问题，使机器人在不依赖大规模轨迹训练的前提下，仍能在未知环境中理解指令并完成导航决策。
△ 图：Uni-LaViRA 总览——一套零训练的智能体架构，跨四类导航任务、四种真实机器人本体。
Uni-LaViRA 提出了一种统一的 Language → Vision → Robot Action Translation 框架。系统将 embodied navigation 拆解为三个层次：由 Language Action 完成高层空间推理，由 Vision Action 完成视觉目标 grounding，再由 Robot Action 将视觉目标转化为具体路径或航点执行。
基于这一设计，Uni-LaViRA 在training-free / zero-shot 条件下覆盖 VLN-CE、ObjectNav、EQA、Aerial-VLN 四类任务，并迁移到轮式机器人、四足机器人、人形机器人和 UAV 等不同平台。
真实场景的难题：
机器人不只要会移动，更要听懂人类意图
今天，机器人已经可以在很多演示场景中完成移动、避障和路径规划。
但在真实业务场景里，问题往往更复杂。用户不会只给出标准坐标点，而是会用自然语言提出任务：
“去会议室门口等我。”
“帮我找到那把椅子。”
“去检查一下仓库角落的设备。”
“飞到那辆车附近看一下。”
这些任务要求机器人同时具备语言理解、视觉感知、空间推理和运动控制能力。更重要的是，真实环境一直在变化：办公室布局会调整，仓库货物会移动，园区道路和室外环境也可能随时发生变化。
因此，随着应用场景从固定路线拓展到开放环境，机器人系统需要进一步具备理解人类意图、结合视觉观察持续决策，并稳定执行任务的能力。换句话说，Embodied Navigation 的关键挑战，是如何降低机器人在新任务、新环境、新平台上的部署和迁移成本。
核心突破：把语言、视觉和机器人动作
翻译成一条可执行链路
△ 图：Uni-LaViRA 的三层 Language–Vision–Robot Action 架构，以及 TODO List Memory 与 Second Chance Backtrack 两个智能体回路
对于 Embodied Navigation，关键不只是“怎么移动”，而是先判断“要去哪里”、再看清“目标在哪里”、最后决定“如何过去”。
Uni-LaViRA 将这一过程建模为 Language-Vision-Robot Actions Translation，通过一个 Agentic Framework 将导航决策拆解为三个层次。
第一步，Language Action：高层空间推理。系统基于任务指令、当前多视角观察和历史路径，输出离散的语言动作，例如向前、向左、向右、回退或停止。这个阶段负责将自然语言任务转化为当前时刻的空间决策。
第二步，Vision Action：中层视觉 grounding。在确定方向后，系统会在对应视角图像中定位具体视觉目标，例如门口、走廊入口、目标物体或车辆附近区域。相比直接预测底层动作，这一步更贴近多模态大模型擅长的视觉定位和语义关联能力。
第三步，Robot Action：低层几何执行。系统结合深度信息、相机参数和机器人当前位姿，将图像中的目标区域反投影到三维空间，再交给底层控制器生成可执行路径或航点。不同机器人平台只需要适配这一层控制接口，上层 Language Action 和 Vision Action 可以保持统一。
这种分层设计的核心价值在于：不让大模型直接输出复杂底层控制，而是让 MLLM 负责语言推理和视觉 grounding，让几何控制器负责稳定执行。由此，上层导航能力可以在仅替换底层控制器的情况下，实现不同任务和不同机器人本体之间复用。
为了提升长程任务和错误恢复能力，Uni-LaViRA 进一步引入了两个 agent-loop 机制。
TODO List Memory 用于维护结构化任务进度。系统会将长指令拆解为待完成子目标，并在每一步更新 pending / completed 状态，降低长指令执行中的注意力漂移和过早停止问题。
Second Chance Backtrack 用于错误恢复。机器人在发现路径偏离后，会回到此前可信 waypoint，并将失败路径作为上下文重新输入给 Language Action Model，使系统能够基于失败证据重新规划，而不是简单回退后盲目重试。
实验结果：零训练以及低算力堆叠，
六个标准基准取得了与
大规模轨迹训练的方法相当或更优的结果，
展现了跨任务的强泛化能力
在论文实验中，Uni-LaViRA 在六个标准导航基准上进行了验证，覆盖室内视觉语言导航、目标语义导航、具身问答和室外无人机导航。在不使用任何机器人轨迹训练的条件下，其主结果如下面三张主结果表所示：
△ 表 I：VLN-CE R2R / RxR val-unseen 主结果
△ 表 II：OpenUAV（Aerial-VLN）主结果
△ 表 V：HM3D-v2 / HM3D-OVON / MP3D-EQA 主结果
关键在于对照：在零训练、零轨迹的前提下，Uni-LaViRA 追平并在多个基准上反超了那些消耗数百万条机器人轨迹、上千 GPU 小时训练出来的导航基础模型。
这些结果说明，在Embodied Navigation任务中，合理的系统结构可以更充分地释放多模态大模型的语言、视觉和空间推理能力。更重要的是，Uni-LaViRA 不是为单一任务设计的专用系统，而是一套面向跨任务、跨环境、跨本体的统一框架，有助于减少对大规模专用轨迹训练的依赖，提高系统复用性和跨平台迁移能力。
Uni-LaViRA 的意义不只在于单一指标提升，而在于提供了一种更适合 Embodied Navigation 落地的系统思路：将开放语言指令、视觉环境理解和机器人几何执行连接起来，并在统一 Agentic Framework 下支持跨任务、跨环境和跨本体迁移。
面向未来，随着多模态大模型能力持续提升，这类结构化 Agent 系统有望成为连接 Robotic Foundation Model 与真实机器人世界的重要路径，也为具身智能从演示走向规模化应用提供新的技术范式。
10个月宝宝每天需要喝多少奶粉？
