具身的数据管线，到底应该怎么做？

数据规模不断扩大，有效性却没有跟上。 作者丨向 欣 编辑丨高景辉 雷峰网：一家具身数据厂商告诉我们，他们向模型厂商交付了几万小时数据之后，对方反过来问了一句：能不能顺便帮忙把模型也训练出来，好让他们“交个差”，原因是模型厂商自己心里也没底，不知道这批数据喂进去能训出什么结果。 这种焦虑与无力，是当下不少模型厂商的真实状态，他们面临的真实困境是：虽然在不断花钱采集、购买数据，数据规模不断扩大，但数据的有效性却没有跟上。钱花出去了，效果却像打了水漂。 年初，不少具身公司声称今年要采集百万级别的数据。大半年过去，确实有公司宣称已经积累了百万数据，但模型能力上似乎没有看到对应的提升，反而被 GPT 的 Astra 抢了风头。 问题不仅在于数量，还在于数据管线。数据被大量采集回来，但从采集到进训练之间那段加工链路存在大量问题：筛选没有细粒度标准，数据难以跨本体迁移，数据质量至今没有公认的评测机制。具身的数据多了，可用数据却不一定多。 具身数据管线该怎么做？为此，我们与机器人基础模型公司行元智能创始人兼CEO杨世琦聊了聊，试着拆解这条数据链路上的关键难题，以及如何让规模不断增长的数据真正转化为模型能力。 今天，我们就把这条管线拆开聊透。 01 数据量在涨，但「可用数据」没跟着涨 一条原始数据要变成机器人可以学习的数据，通常要经过五个环节： 首先是 数据筛选 ，剔除画面模糊、动作中断、轨迹异常等低质量样本； 其次是 数据标注 ，给操作过程补充任务、物体状态、动作阶段和语言指令等信息，让模型能够理解数据中发生了什么； 第三是 动作转换 ，将人类示范或一种机器人产生的动作，映射到目标机器人能够执行的动作空间； 第四是 数据验证 ，通过规则检查、仿真测试或真机实验，判断数据是否合理、能否执行； 最后是 反馈迭代 ，结合模型训练和实际部署的表现，调整数据筛选、标注和转换策略。 这条链路的绝大部分环节都已可以自动化，但在实际操作中存在不少难题。 首先，数据缺少 统一、细粒度的筛选与评价标准。 从大语言模型的经验来看，如果 训练中混入一批dirty 数据，带来的降智大概率是永久性的 ，会在整个模型生命周期中持续产生影响。 但目前业内仍然 没有一个可规模化的数据筛选机制 。 一段视频画面清晰、动作完整，不代表它对模型训练有用；一条转换后的轨迹符合运动学约束，也不意味着机器人能够在真实环境中顺利完成任务。 数据供应商和模型公司对“高质量”的理解存在差异，如何衡量一份数据的实际训练价值，仍然是个难题。 其次， 从人类动作到机器人动作的转换存在明显门槛，也就是做动作重定向难 。 不同机器人的关节结构、工作空间和末端执行器各不相同，同一项任务可能需要不同的操作策略。尤其在人类第一视角视频中，往往缺少机器人关节状态、力觉等信息，系统需要从有限的视觉观测中恢复空间关系，再生成适配目标机器人的动作。 对于结构相近的机械臂，可以通过逆运动学等方法求解；但如果末端执行器差异很大，问题就会复杂得多。 人类用五指手抓住一个物体时，可以调整多个手指的位置和施力方式；夹爪执行同样的任务，采用却是完全不同的接近角度和抓取策略。两者难以使用同一套动作轨迹。 除了数据管线本身的技术难题，行业也存在不少乱象。 一是 数据处理分工混乱 ，数据采集、数据处理和模型训练往往由不同团队承担，各方的交付标准和评价指标未必一致。 二是 许多公司依赖开源管线 。 不少团队使用开源工具拼接处理流程，却 缺少针对具体模型、任务和机器人本体的系统设计 。 行业讨论容易聚焦采集了多少小时、积累了多少条轨迹，对数据经过哪些处理、多少样本最终可用、能否改善下游任务表现，披露相对有限。 结果是， 数据规模、可用数据规模 和 真正产生训练收益的数据规模 ，容易被混为一谈。 建立完整的数据管线，并用训练和部署结果验证每个环节的价值，正在成为比单纯扩大采集量更需要解决的问题。 02 采集门槛越低，管线要求越高 具身数据的来源越来越多，但 不同数据类型面临的管线难题并不相同 。 目前行业主要探索四类：真机遥操作、仿真、UMI，以及人类第一视角视频。 真机数据质量和部署一致性最好。真实机器人产生的数据与目标机器人的控制、传感器和执行环境接近，容易直接验证。代价是贵：机器人、操作人员、场地和任务都需要投入；其次还是 跨本体难 ，在 A 机器人上采的数据要用到 B 机器人上，每家处理方式不同，做出来的跨本体能力也不一样。 仿真数据的优势是非常容易扩量，缺点是常谈的 Sim2Real gap。 以 robot 为主的大量仿真器，下层物理引擎已经很多年没有足够大的变动 ，无法准确反映摩擦力、物体形变、接触位置等信息，这个缺陷在装配、抓取、拧转这类需要精确控制接触的富接触任务中尤其明显。 UMI 等低成本操作采集方案通过更轻量的采集装置记录人类操作，减少了对完整机器人遥操作系统的依赖，让单条数据 更便宜、更容易采集 。 但它仍然需要人主动执行任务、 使用特定设备 ，不同UMI采集装置与机器人之间还存在 动作映射和适配问 题 。 本质上它仍是 项目制驱动的增量数据 ，多样性和 scaling 上限受采集组织方式约束。 第一视角人类视频打开了更大规模的数据来源。人类日常生活中本来就存在大量操作行为，头戴相机、智能眼镜等设备有机会持续记录，降低专门组织采集的成本。但 这条路线将更多压力转移到了数据管线。 首先，视频通常缺少机器人系统能直接使用的关节状态和动作信息，系统需要从视频中提取手部、物体和动作，再恢复空间关系。 其次， 采集设备差异更大 ，画质、视角、帧率和传感器配置各不相同， 管线需要消化这些差异 。 来源越广，原始数据质量就越难统一，日常视频里既有有价值的操作，也有大量与训练目标无关的内容，需要更高效的筛选方法。 再次，人类操作与机器人本体之间存在差异，视频中的人可以用灵巧的双手完成任务，机器人可能配备不同结构的手或夹爪，系统需要将人类动作转换成目标机器人能够执行的动作。 四条路线各自的优势和短板可以归纳为：真机数据更贴近真实执行，仿真更容易扩量，UMI 降低了部分采集门槛，人类第一视角视频有机会获得更丰富、更自然的数据来源。 其中的基本矛盾是， 降低对采集设备的限制，有利于扩大数据规模，却会增加清洗、空间重建和跨本体转换的工作量 。 也就是说，数据源越丰富，就越需要能够统一处理不同设备、不同动作表征与不同机器人本体的数据基础设施。更重要的是， 数据来源的扩展不等于直接扩展了模型可学习 经验 。 如果目标是持续扩大可用数据的规模，优先实现Scaling， 人类第一视角视频与UMI无疑是最具潜力的路线 ；但要把它真正用于机器人训练，关键在于建立足够可靠的数据处理管线。 这也正是行元智能选择的方向。 03 把人类操作视频变成机器人训练数据 行元智能最近发布了面向机器人预训练的跨本体数据引擎 Chorus（众行） ，能够将来自不同设备的人类操作数据，转化成适配不同机器人本体的训练数据。 和单纯追求数据规模不同，Chorus 的一个重要设计思路，就是 从机器人学习和部署的需求来反推数据应该如何组织 。 具体来看，它针对前面提到的几个核心问题，做了 五件事 。 第一，不限制数据来源，尽可能将能用的数据用起来。 智能眼镜、胸戴相机、腕部相机、UMI 等设备采集的数据，都可以进入 Chorus。 不同设备的拍摄视角、画质和深度信息存在差异，行元采用 基于 learning-based 方法处理这些差异 ，同时 用足够多的配对数据训练 ，信息较少的设备也能够尽可能恢复出更可靠的空间信息，例如可以让单目相机逐步逼近双目效果。 数据进入管线后，系统还会记录其来源、评估质量并进行分级，再根据训练阶段调整不同数据的使用比例。这样做的目的，是尽可能利用已有数据，形成一个 合理的数据配方 ，避免质量参差不齐的数据直接混在一起。 第二，把跨本体作为设计前提。 Chorus能够将一份人类数据转成多种机器人可用的训练数据；新增机器人时，不必从头重跑全部原始数据。 行元的做法是，先 在机器人的 system 侧把不同 controller 和部署能力搭建起来 ，再 反推管线该输出什么 ，顺序上保证了跨本体不是事后补丁。 做好跨本体表征，必须既清楚哪些信息与硬件无关，又保证动作迁移所需的信号足够，这要求设计者接触过足够多的机器人本体，并深度理解这些机器人硬件、传感器排布和控制器输入。 行元创始人兼 CEO 杨世琦 毕业于加州大学圣地亚哥分校，师从王小龙教授，是较早开展跨本体操作与人类数据学习方向的研究者之一，在具身行业早期搭建过多机型的控制系统和数据方案，积累了深厚经验。 第三，可以对第一视角数据做完整重建。 整条转化链路一共分为五步，层层递进：基础清洗之后，第一步是 帧级原子动作标注 ，按任务、动作、交互物体逐级拆解视频，记录左右手在不同时段的动作以及接触对象。 第二步开展 二维分割、深度估计与手部定位 ，识别出手、工具、交互物体等关键目标。 第三步将 二维信息还原为完整三维场景 ，重建相机轨迹、手部位姿与物体六维姿态，保证空间逻辑自洽。 第四步，引入运动学与动力学约束 动作重定向 ，在仿真环境校验目标机器人能否复现该动作，输出适配机器人的三维轨迹。 第五步再将 三维场景渲染回二维画面 ，让训练输入和真机部署时的感知形式对齐，抹平训练和落地之间的差距。 和仿真数据相比，这套方案源自真实观测，不存在物理引擎带来的偏差， 物体交互变化贴合现实规律，兼顾成本与数据质量 。 行元技术联创杨靖康长期深耕第一视角视频理解与多模态学习，主导过 EgoLife 等代表性工作，这也是 Chorus 处理人类第一视角数据的重要技术积累。 第四，建立 可量化的评分体系 。 Chorus 从 操作丰富度、标注质量、三维可恢复性、机器人可迁移性和视角稳定性 五个维度为数据评分，数据评分既用于筛选和评估训练数据，也能为具身模型的训练提供指导信号。 第五， 把闭环纳入设计 。 Chorus 不仅处理各路来源的人类数据，也为真机部署后的数据回流预留通道。 部署端的失败识别靠一个 learning-based 的 state policy 监测机器人状态，初期由工程师主动干预产生训练信号，部署越久、接管越多，监测越准；部署方法论上先重设计 SOP、再算 ROI，接受人机并行，逐步提高自动化程度。 这五件事，对应的是行业管线五个痛点：来源复杂难统一、跨本体难、第一视角转化难、质量难量化、闭环缺失。Chorus 将这五个问题纳入一套数据引擎中解决了。 04 模型厂商必须自己定义数据管线 评价一套具身数据管线做得好不好，关键要看三个问题： 原始数据能转化出多少有效训练数据、这些数据能否真正提升模型能力，以及整个过程的成本能否支撑规模化 。 行元给出的数据是：平均可用数据转化率提升至 85% ；在当前测试配置下，通过 16 种机器人本体适配 ，将每小时有效机器人轨迹的处理成本降至 15 元；结合 3 倍指令增广，可实现约 40 倍的有效训练数据扩容，单位训练样本的等效成本约 5 元/小时。 此外，行元此前发布的 Continuo 可部署于可穿戴设备 ，支持人类动作视频的规模化采集与连续理解；计划年内推出的 Duet，则是面向真实部署的人机共驾系统，机器人自主执行，遇到困难主动请求接管，一人可按需监管多台， 接管产生的纠正经验回流用于后续训练 。 Continuo（随行）、Chorus（众行）、Duet（同行）共同构成行元从真实世界经验走向物理行动的学习基础设施。 不难看出，行元的数据管线、模型训练和部署系统是耦合的。行元认为， 模型厂商必须自己定义数据管线 ：不知道目标机器人需要什么输入输出，就不知道管线该输出什么；把管线交出去，等于把 scaling 的解释权也交出去。 行元三个 Chapter 是这条理念的展开：Continuo 解决数据从哪来，Chorus 解决数据怎么变成训练信号，Duet 解决部署后的经验怎么回流。 回到开头那个问题：当行业已经积累了越来越多的具身数据，为什么数据还没有充分转化为机器人的能力？ 行元的解法是，通过两条路径推动具身数据 Scaling：一条开发人类日常活动中的数据价值，尤其是规模庞大的人类第一视角视频，构建一个数据处理能力极强的跨本体数据管线，降低经验转化的成本；另一条是从机器人部署中积累真实数据，让模型在执行过程中不断获取新的学习经验。 要让这些数据真正服务于不同形态的机器人，底层还需要解决 跨本体问题 。 这构成了行元从人类数据采集、跨本体转换到部署反馈的整体思路。 但数据扩大，只是解决了问题的一半。 数据和模型之间并非简单的供给关系。数据管线决定了哪些真实世界的经验能够进入模型的学习目标，而 训练表现和真实部署的反馈又反过来决定什么样的数据更有价值，需要什么样的处理方式 。 只有把数据的生产、转化与模型训练联系起来，数据规模的增长才有可能促进模型能力的良序提升。 杨世琦告诉我们，这也是行元选择把数据管线与模型研发深度结合的原因。对机器人基础模型而言， Scaling 不只是不 断增加训练数据，更需要在数据与模型的相互迭代中，提升每一份数据的学习价 值 。 当然，这只是其中一条路线。真机采集、仿真、UMI 和人类视频各有优势，数据的表达方式、转换方法和训练机制也仍有探索空间。 具身智能需要 Scaling，但 Scaling 不仅需要大规模的数据支撑，还要找到让更多数据真正发挥作用的方法。 行元的探索，让行业看到数据规模化已经有了一些具体且可行的工程解法。这或许也是具身数据管线接下来值得关注的方向：如何让已有的真实世界中丰富的经验，以更低成本、更高效率进入机器人的学习过程。 上车，带你看遍全球 AI 顶会精华 可独家畅览： 专家演讲PPT 大会报告全文 热门论文解读 学术新星访谈 扫描上方二维码 或点击 「 阅读原文 」 关注专区。