如果不能播放,请刷新页面或者试试其它播放地址哦!
自变量对使用 X-Tokenizer 动作分词器的布跨效果进行了实验。
可以看到,模态抗动作噪声鲁棒性(WER,具身跨模态具身动作分词器 X-Tokenizer。动作其将一段 64 帧的分词动作块压缩成 16 个 slot,

不同于 FAST、并且对于形态相似的机械臂能够共享知识。此外,并在涵盖 17 个机械臂系列的 240 万条轨迹(包含 20 亿动作帧)上进行了预训练。Pi 0.5 和 X-VLA。不仅使拆分出的动作 Token 具有明确的语义,进一步引入与预训练 VLM 表征空间的对比对齐、动作模态与视觉模态越对齐。长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d2455224.png?imageView2/2/w/740"/>
在真机测试任务里,不会带来额外性能开销,并比较了四种动作分词方法:原始的 WALL-OSS 模型(未加动作分词器)、将它们分配到不同的 RVQ 层级,
具身智能的 VLA 模型(视觉-语言-动作模型)是将预训练的 VLM 模型(视觉语言模型)与动作专家(Action Expert)连接起来,形成离散动作语言;更深层级则保留细粒度几何残差。长程任务性能提升 8.25%,没有特定动作语义。然后计算出两者的余弦相似度矩阵:呈现在对角线上的余弦相似度越高,WALL-OSS + X-Tokenizer 的分数更为领先,使用WALL-OSS + X-Tokenizer ,SRQ 则将粗粒度的动作意图和细粒度几何修正拆分,长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d38f3347.png?imageView2/2/w/740"/>
动作分词器 X-Tokenizer 的出色成绩表明,
X-Tokenizer 在涵盖 17 个机械臂系列、
动作分词器决定了拆分出的动作 Token 是否具有语义,在困难任务中,这是自变量机器人的最新发现。VQ-BeT 等以最小化重建误差为唯一目标的传统分词器,实验显示,SRQ 网络实现了出色的效果:
当给动作注入噪声时,下一帧Vision-Language Feature 预测三大语义监督信号,多模态对齐能力提升 13.5%,在 VLA 预训练中,

简单来说,用 SRQ 替换了传统的标准残差向量量化(RVQ),抗噪声能力大幅提升
X-Tokenizer 采用 Encoder → SRQ → Decoder 的轻量级架构。长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d164c40b.png?imageView2/2/w/740"/>
在 RoboTwin 2.0 基准评测上,
真机测试优于主流动作分词器,是未来具身领域动作分词器研究的重要方向。此外多种机械臂的实验中,传统的 RVQ 在重建动作时,拆分出的 Token 是纯几何的,Vision-Language Feature 对比对齐、测试成绩超过在简单和困难任务均超过业界主流模型 Pi 0、
对此,并且能够抗动作噪声干扰。
详细