李飞飞第一篇「触觉」论文：机器人会盲摸麻将了

嚯！这阵容，谁组的局？

李飞飞，ImageNet 奠基人，美国三院院士；

Trevor Darrell，伯克利 BAIR 联合创始人，他的 Caffe 深度学习框架曾是计算机视觉领域最广泛使用的平台之一；

Jitendra Malik，R-CNN 的核心贡献者之一，深刻影响了计算机视觉的发展轨迹，同样美国三院院士；

Pieter Abbeel，深度强化学习先驱，伯克利机器人学习实验室主任、BAIR 实验室联合主任。ACM 计算奖得主；

Ken Goldberg，机器人学泰斗，30 年前就深耕机器人抓取和自动化，IEEE 会士；

Jim Fan，英伟达 GEAR 实验室掌舵者，具身智能领域最受瞩目的年轻学者之一。

…… ..

具身智能学术圈，可能是第一次迎来如此全明星阵营。

有模型的、算力的、本体的、数据的等等… .. 在各自细分赛道上如雷贯耳的 big name 们，齐聚具身智能，但关注点嘛 ~ 一下就让人好奇起来：

不是当下大热的机器人通用大脑，而是——灵巧手。

T-Rex 从何而起，要解决什么问题？

自动驾驶靠纯视觉，是有可能解决问题的，但机器人，尤其是灵巧手却很难。

这是一个直观且浅显的事实：

手指、手掌进行精密复杂操作时，很难只用摄像头记录运动数据。

360 ° 无死角的视频数据量有多庞大暂且不说，首先机位就没法布置。不同任务类别，很难像自动驾驶那样形成标准化数据集——模型泛化性受限。

自然而然，给模型加入触觉这个数据模态，就成了一石三鸟的方法：感知精度更高、操作更精准细腻，以及可以形成较为标准的数据集。

但反常识的事情出现了：

同样的灵巧手、同样的任务，T-Rex 团队把触觉力信号直接拼接到一个预训练好的 VLA 模型里，想给它 " 加点手感 " ——结果任务成功率从 17% 掉到了 6%。

触觉不是想加就能加的，论文把原因拆成了三层。

第一层，数据太贵。

现有的大规模机器人数据集主要面向平行夹爪——两根手指一捏一放，遥操作门槛低。但灵巧手有 22 个自由度，操作员要戴数据手套，每一个手势都要精确映射到机械手上，还要保证视觉、触觉、关节状态严格对齐，目前灵巧手遥操作成本是平行夹爪的 5 到 10 倍。

第二层，频率对不上。视觉模型处理一帧图像动辄几百毫秒，只能跑到 5 到 10Hz。但触觉反应需要毫秒级，20Hz 以上才能捕捉到 " 正在滑 " 和 " 已经滑了 " 的临界点。

两种信号塞进同一个低频 Transformer，视觉来不及看，触觉来不及反应。

第三层，表征太浅。很多方法把触觉当成一个静态的数字—— " 当前压力 5 牛顿 "。但触觉本质是时序信号：滑动、插入、按压、搓动，每种接触状态都有力随时间变化的独特模式。

好，问题在这里，先看看 T-Rex 团队解决的怎么样。

在 12 项真实世界的灵巧操作任务上，T-Rex 平均成功率达到 65%，比最强纯视觉基线的 35% 高出了 30 个百分点。

翻书页 96% 对 68%，开锁 70% 对 0% ——纯视觉方案在这个任务上完全被碾压。

消融实验更直接：把 T-Rex 的触觉输入全部拿掉，成功率从 65% 掉到 42%，降了 23 个百分点—— 12 项任务里超过三分之一的有效操作纯靠 " 手感 " 撑着。

数据效率也很惊人：仅给 10 条微调演示时，经过中期训练的 T-Rex 能达到约 40% 成功率，没经过中期训练的模型直接归零。

这说明模型不是 " 背下了 " 数据，而是真正理解了 " 搓 "" 捏 "" 拧 " 这些动作的通用手感。

一句话总结：视觉数据对灵巧手来说，本质上是不够用的——触觉不是锦上添花，而是必选项。

谁先解决 " 触觉怎么加 " 的架构问题，谁就可能在灵巧手这个赛道上卡住位置。

怎么做到的？

T-Rex 的核心思路并不复杂——给触觉单独开一条高速通路，而不是让它和视觉挤在同一条慢车道上。

整体架构叫 Mixture-of-Transformer-Experts，三个专家分工明确。

Latent Expert 处理视觉和语言，预测未来的视觉表征，相当于给模型提供一个 " 接下来会发生什么 " 的大局感。

Action Expert 做低频动作规划，参数量 1.41B，是三个专家里最大的那个，跑一次管一个动作块。

Tactile Expert 做高频触觉精修，参数量只有 0.62B，轻量到可以频繁触发。

关键机制是 Cascaded Flow Matching：

扩散去噪通常需要 10 步才能从一团随机噪声变成一个干净的动作轨迹，而 T-Rex 在第 4 步处一切两半：

前 6 步由 Action Expert 完成，生成一个 " 大方向对了但缺乏手感细节 " 的半成品；后 4 步由 Tactile Expert 接手，注入实时触觉数据完成精修。

为什么是第 4 步？作者团队通过实验对比发现太早切，Action Expert 去噪步数太少，继承不了大规模人类视频预训练获得的先验知识；太晚切，动作分布已经定型，触觉信号进来也来不及修正了。

第 4 步刚好处在 " 该有的形状都有了，但细节还能改 " 的黄金位置。

这就像写文章：主编（Action Expert）定好大框架后就去忙别的了，四个编辑（Tactile Expert）在不同的节点上轮番检查细节，不需要主编每次都回来重看一遍全文。

触觉信号怎么编码是另一个关键设计。

触觉传感器有零点漂移和高频噪声，直接拿原始电压值喂给模型，模型很可能把传感器噪声当成接触特征学进去。

T-Rex 用 VQ-VAE 把过去 16 帧（约 0.5 秒）的力历史压缩成 64 个离散码字。不同接触状态——按压、插入、滑动——会被自动聚类到不同的码字上。

这样一来，传感器漂移被过滤掉了，触觉信号还变得可解释——你能看到模型 " 理解 " 了什么类型的接触。

两个工程细节，第一个：让码本 " 活起来 "。 VQ-VAE 码本，理训练时经常出现 " 码本坍塌 " ——大部分抽屉空着，少数几个塞满各种杂乱状态。T-Rex 的做法是定期检查哪些抽屉闲置，主动塞点数据进去 " 激活 " 它，确保所有码字都被利用起来。

第二个，给 " 有手感 " 的时刻更高权重。 避免模型化 90% 的精力去学好 " 零接触 " 这个最容易学的状态，而忽略真正有价值的接触瞬间。T-Rex 给高力帧更高的学习权重，让模型把算力集中在关键接触点上。

论文正文不会写、但做灵巧手工程化的人一看就懂。

最后是训练策略。

T-Rex 采用三阶段训练：

先在大规模人类视频上预训练（22,889 小时），让模型看懂 " 人是怎么动的 "；

再用 100 小时遥操作数据做中期训练，覆盖 207 种物体和 22 种动作基元——目的是把人类视频里的运动知识迁移到机器人本体上，而不是死磕某个具体任务。

最后用约 100 条任务演示做后训练，快速适配特定需求。

其中最核心是中期训练，解决了一个根本问题：人手抓杯子的方式和机械手抓杯子的方式不一样，策略不一样，受力反馈也不一样。如果直接拿人类视频训练出来的模型去操控机器人，它不知道怎么把 " 看来的 " 转化成 " 做出来的 "。

中期训练就是用 100 小时的遥操作数据，把这道鸿沟填上。它不是让模型死磕某一个具体任务，而是让模型接触 207 种物体和 22 种动作基元的组合，理解 " 搓 " 这个动作在不同物体上应该怎么执行、" 捏 " 这个动作需要多大的力。

这就像一个人学完游泳理论后，在浅水区把蛙泳、自由泳、仰泳都练了一遍——不追求速度，只追求 " 会用 "。

有了这个基础，最后阶段只用 100 条任务演示就能快速适配——因为模型已经知道 " 手感 " 是什么了，只需要知道 " 用在哪儿 "。

T-Rex 的技术路线清晰指向一个判断——视觉和触觉在灵巧操作中不是主从关系，而是并行关系。

它用一个异步架构解决了频率不匹配的底层矛盾，用一套时序编码把漂移的传感器信号变成了可解释的离散词汇，用一组基元组合的覆盖策略替代了特定任务的深度堆叠。

这三件事单看都不是 " 发明新数学 "，但组合在一起，为灵巧手的触觉利用提供了一套可复用的系统方案。

灵巧手，存在一个 " 第一性原理 " 吗？

灵巧手赛道眼下最热闹的争论，集中在两个地方：关节运动形式和自由度数量。

腱绳还是连杆？丝杠还是齿轮？11 个自由度够用还是得干到 27 个？不同厂商各执一词，技术路线远未收敛。

这些争论当然都有意义——传动方案决定成本、可靠性和使用寿命，自由度决定灵巧程度的上限——但学术前沿的核心关注，不在这些问题中的任何一个上面。

因为一个更深层的问题很少被讨论：有了这些硬件，算法能不能用好？

传统大模型范式几乎以视觉数据为主，没有针对触觉模态的有效利用方案。T-Rex 论文里那个 17% 掉到 6% 的实验，恰好说明了这一点——不是触觉没用，是现有多模态大模型架构消化不了触觉。

T-Rex 团队的探索最大价值可能在这里： 跳出硬件参数的争论，回到一个更根本的问题——灵巧手做精细操作，到底需要什么数据？

关节形式和自由度数量解决的是 " 能不能动 " 的问题，触觉数据解决的是 " 能不能感知和反应 " 的问题，由此衍生出需要什么样的触觉数据这个体系化问题，并给出了一个能泛化的方案。

当然，T-Rex 这项研究得以完成，一个关键前提是 Sharpa Wave 提供的硬件基础—— 22 个自由度、180Hz 高频触觉信号、稳定的传感器输出。

灵巧手的硬件天花板顶高了，T-Rex 才得以在算法层面去够这个上限。

反过来，T-Rex 的算法探索也给硬件提出了新要求：手掌区域需要触觉感知，不同传感器的数据格式需要统一。

T-Rex 的软件、SHARPA 的硬件探索方向，后续可能会给这个细分领域带来更深刻的变化。

首先灵巧手可能从具身智能本体中分化出来，成为一个独立赛道——占整机成本 15% 到 20%，经济上可行，技术上门槛也足够高。

但如果触觉数据成为核心壁垒，灵巧手就不仅仅是执行器，而是整个感知 - 决策 - 执行链条中数据价值最高的一环。谁掌握触觉数据的采集能力和模型训练能力，谁就掌握了议价权。

第二个变化，更多专用场景的具身应用可能被启发。当前具身智能的主流叙事是 " 通用 " ——一个模型解决所有任务。

但这个叙事在接触密集型任务上遇到了困难，因为通用数据里触觉是缺失的。T-Rex 则证明的是另一种可能性：在一个足够具体的垂直场景里，用专用的数据模态（触觉）、专用的架构设计（异步级联）、专用的数据收集策略（基元 × 物体），可以取得比 " 通用 " 方案好得多的效果。

这条路径如果走通，会启发更多人去寻找类似的高价值专用场景。

T-Rex 的贡献不是发明了 " 新数学 "，而是把现有工具组合成一套可用的系统方案，试图建立具身智能触觉数据统一的采集、训练范式，推动灵巧手真正 scale up 起来。

项目地址：https://tactile-reactive-dexterous.github.io/

作者简介

牛丹彤，UC Berkeley PhD Candidate，NVIDIA Gear Lab 实习生，导师 Trevor Darrell，主要从事具身灵巧手大模型的研究，曾以第一作者或共同第一作者身份在 CVPR, ICML, ICLR 等国际顶级会议上发表论文 8 篇，领导或主要贡献 T-Rex，EgoScale 等工作，目前谷歌学术引用 1100+。

刘卓洋，北京大学元培学院本科生，导师仉尚航，目前在 UC Berkeley 访问，导师 Trevor Darrell，主要从事具身多模态推理大模型方向的研究，曾以第一作者或共同第一作者身份在 ICML, ICLR, NeurIPS, ICRA 等国际顶级会议上发表论文 6 篇，其他参与论文共计 15 篇，目前谷歌学术引用 400 余次。曾获 2026 商汤奖学金（全国 30 人），2025 北京大学学术新星提名，北京大学元培学院年度科研奖励，北京大学新生奖学金等。

Trevor Darrell教授，最广为人知的成果是开发了 Caffe 深度学习库。这个库在深度学习领域具有重要的地位，为众多的研究人员和开发者提供了便捷的工具，极大地推动了深度学习技术的发展。

Trevor Darrell 现在是加州大学伯克利分校 Berkeley DeepDrive 研究中心的主任。同时担任伯克利 EECS 系计算机科学分部的教职，并受聘于加州大学附属的国际计算机科学研究所（ICSI）。研究方向涵盖大规模感知学习算法，包括物体与行为识别及检测，并应用于机器人及移动设备的多模态交互等多种场景。他的研究兴趣包括计算机视觉、机器学习、计算机图形学以及基于感知的人机交互界面。

—  联系作者  —

—  完  —

【智能车参考】原创内容，未经账号授权，禁止随意转载。

点这里关注我，记得标星，么么哒～