蚂蚁灵波开源触觉基础模型LingBot-Touch,真机测试任务成功率最高提升26个百分点

11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch。该模型基于近5000小时真实触觉数据预训练,覆盖磁触觉、视触觉和压阻式三类主流传感原理。

该模型可将不同传感信号转化为统一的触觉Token,形成同一套触觉表征,让积累的“手感”能够跨传感器、跨灵巧手、跨模型和跨任务复用,降低硬件适配成本。

此前,蚂蚁灵波通用大脑已覆盖高精度空间感知、高动态环境交互和可泛化灵巧操作。此次LingBot-Touch已接入LingBot-VLA,将感知能力延伸至“指尖”。

在真实物理世界中,机器人每执行一步动作,都要感知物体和环境发生的变化,再修正下一步动作。许多精细操作中,手指碰到物体之后,受力是否合适、物体是否滑移,仅靠视觉难以判断。

以灵巧手拧瓶盖为例,深度信息可以帮助手指对准瓶盖;开始转动后,瓶盖可能已经松动,也可能指腹正沿着盖壁打滑,这两种情况在画面中相似,却需要不同的动作调整。

此时,指尖的接触位置、受力大小及其变化,成为动作模型的重要判断依据,而这些信息往往被手指和物体遮挡,视觉难以获得。

为验证触觉表征对真实操作的帮助,蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上进行了26项真机测试,涵盖翻书页、拧瓶盖、辨识麻将牌等精细操作。

接入LingBot-Touch后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率,较无触觉时提高约14至26个百分点。

以T-Rex控制Sharpa Wave拧瓶盖为例,不使用触觉时任务成功率为56.25%,直接输入传感器原始信号为62.5%,接入LingBot-Touch的触觉表征后成功率达到90%。

LingBot-Touch的轻量版LingBot-Touch-Tiny参数量约530万,接入后仅给动作模型带来0.13%至0.16%的参数量增量,适配端侧算力需求。

蚂蚁灵波表示,数字大模型与具身基础模型属于协同互补关系,公司将持续深耕具身原生路线。

目前,LingBot-Touch的技术报告、模型和代码已开源,开发者可在Hugging Face、GitHub和魔搭社区访问和下载。

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

财经频道更多独家策划、专家专栏,免费查阅>>

责任编辑:磐石
AI智能分析该文,为您挖掘投资机会该AI功能处于试用阶段,内容仅供参考,请仔细甄别!
展开
精彩推荐
加载更多
全部评论
热榜
关闭 下载金融界app
金融界App
金融界微博
金融界公众号