“多模態(tài)觸覺(jué)感知”為何能讓機(jī)器人精巧操作

在“2025第三屆具身智能機(jī)器人產(chǎn)業(yè)發(fā)展論壇”上，千覺(jué)機(jī)器人創(chuàng)始人兼首席科學(xué)家馬道林先生稱(chēng)，觸覺(jué)不僅是機(jī)器人感知的一種延伸，也是智能體和環(huán)境交互的一種語(yǔ)言。相信未來(lái)隨著技術(shù)的發(fā)展，觸覺(jué)給具身智能帶來(lái)接近或像人類(lèi)一樣的觸感。

過(guò)去兩年，越來(lái)越多的人關(guān)注具身賽道。而之前，人們會(huì)關(guān)注機(jī)器人的行為能力，不管是跑酷還是翻跟頭，但是這兩年人們已經(jīng)越來(lái)越關(guān)注到機(jī)器人產(chǎn)業(yè)未來(lái)要真正落地，核心的能力應(yīng)該是什么？

首先，移動(dòng)很重要，是基礎(chǔ)。

其次是雙手，讓機(jī)器人能夠像人一樣具有靈巧、精細(xì)的操作能力。

1   與自動(dòng)駕駛相比

人們會(huì)用自動(dòng)駕駛行業(yè)的一些經(jīng)驗(yàn)來(lái)類(lèi)比具身接下來(lái)的發(fā)展。做自動(dòng)駕駛與現(xiàn)在做具身的不同之處在于：開(kāi)汽車(chē)的時(shí)候主要是規(guī)避障礙，其感知系統(tǒng)（激光雷達(dá)、攝像頭等）都是在觀察周?chē)奈锢硎澜纾プR(shí)別其中的障礙，從而避免接觸或碰撞障礙。

但是造機(jī)器人的目的是為了在生產(chǎn)和生活中為我們服務(wù)，所以必須要跟我們的周?chē)澜缛グl(fā)生接觸。所以手部精細(xì)操作能力的構(gòu)建，本質(zhì)上在于讓機(jī)器人如何去思考、規(guī)劃和控制自己去控制和接觸的能力。

2   人是怎么具有精細(xì)操作能力的？

人控制自己肢體的精度是較低的，不像工業(yè)機(jī)器人有時(shí)是零點(diǎn)零幾毫米的重復(fù)定位精度，人控制肢體的時(shí)候往往是厘米級(jí)的誤差，但是有些“大國(guó)工匠”可以達(dá)到微米級(jí)的加工精度，這個(gè)精度是怎么做到的？一定來(lái)自于一個(gè)閉環(huán)的控制系統(tǒng)，而閉環(huán)的控制很大程度上來(lái)源于觸覺(jué)。

在工業(yè)中經(jīng)常有視覺(jué)定位系統(tǒng)，精度通常在毫米量級(jí)，很難達(dá)到微米級(jí)的精度；但是有了觸覺(jué)的閉環(huán)，就能夠完成微米級(jí)的動(dòng)作。因此人們也希望機(jī)器人能夠在觸覺(jué)賦能之下達(dá)到這種控制精度。

人手的指尖具有最高精度的觸覺(jué)感受器，因此人手包括皮膚能夠感受到多種模態(tài)的觸覺(jué)信息，包括運(yùn)動(dòng)、滑動(dòng)、力、溫度等，這些多模態(tài)的觸覺(jué)信息給到我們的大腦和小腦之后，大腦和小腦協(xié)同起來(lái)去控制，控制我們的手臂、手腕、手指的各個(gè)肌肉，從而去形成這些部位的協(xié)同。這種控制的閉環(huán)是我們?nèi)巳ネ瓿删?xì)操作的關(guān)鍵。

機(jī)器人也需要具有構(gòu)建這幾個(gè)模塊的能力。即在硬件上，具有觸覺(jué)感知的硬件基礎(chǔ)，即高分辨率、高集成度的觸覺(jué)傳感器?；谶@些觸覺(jué)傳感器去實(shí)現(xiàn)多維度、多模態(tài)的觸覺(jué)感知能力，像人一樣去感受到真實(shí)的物理接觸，包括法向力、切向力、滑動(dòng)、溫度、運(yùn)動(dòng)等。

這些多模態(tài)的信息收集到之后，機(jī)器人公司去訓(xùn)練機(jī)器人的模型，使機(jī)器人通過(guò)大量多模態(tài)的信息和強(qiáng)大的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，去控制其動(dòng)作，來(lái)完成控制閉環(huán)。

3 千覺(jué)機(jī)器人的觸覺(jué)感知軟硬件系統(tǒng)

千覺(jué)機(jī)器人就從事這樣的業(yè)務(wù)，提供具有強(qiáng)大的觸覺(jué)感知能力的硬件和軟件系統(tǒng)。

●?首先具有硬件的設(shè)計(jì)能力，并且實(shí)現(xiàn)了小型化，只有像人的手指大小的觸覺(jué)傳感器。

例如對(duì)運(yùn)動(dòng)的感知。過(guò)去通常人們提到觸覺(jué)都會(huì)想到是測(cè)力的感知，但是人手還能感知到運(yùn)動(dòng)的信息，例如一個(gè)工人去做裝配的時(shí)候，零部件的微小擾動(dòng)都在人的感知體系之內(nèi)。

對(duì)力的感知，不僅要知道法向的接觸力，還要知道切向的接觸力，也就是要知道摩擦力是什么狀態(tài)，從而在三維的空間里完整感受到三維的相互作用 / 滑動(dòng)的狀態(tài)、溫度等。

當(dāng)給機(jī)器人充分的多模態(tài)信息之后，機(jī)器人基于觸覺(jué)就可以做一些以往自動(dòng)化控制所做不了的事，例如人去使用螺絲刀等工具時(shí)，人在控制的接觸行為不只是手和工具之間的接觸狀態(tài)，還在控制手里工具的周?chē)繕?biāo)環(huán)境。例如，人拿著螺絲刀希望擰動(dòng)一個(gè)螺絲的時(shí)候，實(shí)際上還在去控制的是螺絲刀與螺絲之間的接觸行為。

但是螺絲刀和螺絲之間并沒(méi)有傳感器，那么人的這種感知是間接的，依賴(lài)于手指和螺絲刀之間的觸覺(jué)感知信號(hào)的復(fù)雜處理。

機(jī)器人如何去處理這么復(fù)雜的信息？

當(dāng)人能夠給到機(jī)器人這些豐富的信息之后，機(jī)器人如何去處理如此復(fù)雜的信息？它的觸覺(jué)感知信息的維度很多，分辨率也很高，如此復(fù)雜的信息已經(jīng)不是傳統(tǒng)的力控所涵蓋的范圍了（注：通常比較傳統(tǒng)的力控要有一個(gè)模型，最好還是一個(gè)低維的系統(tǒng)模型）?，F(xiàn)在在AI工具之下，可以把更豐富的信息給到機(jī)器人，例如把多模態(tài)的觸覺(jué)信息給到機(jī)器人之后，讓機(jī)器人去做諸如裝配誤差的校正。這時(shí)視覺(jué)系統(tǒng)告訴你，從A點(diǎn)拿一個(gè)零件到B點(diǎn)去進(jìn)行裝配，那么視覺(jué)的定位誤差或者你去抓取目標(biāo)的時(shí)候就已經(jīng)有零點(diǎn)幾毫米的誤差，如果沒(méi)有裝進(jìn)去，最后1毫米之內(nèi)的誤差校正是要依靠觸覺(jué)的，而不是依靠高清/ 離得很近的攝像頭。這就像工人閉著眼睛就可以完成工作一樣，是觸覺(jué)可以讓機(jī)器人做這種微小的誤差校正。

●   觸覺(jué)仿真器

千覺(jué)也提供觸覺(jué)仿真器。因?yàn)閿?shù)據(jù)對(duì)具身智能是至關(guān)重要的。

在數(shù)據(jù)獲取層面，具身機(jī)器人和自動(dòng)駕駛行業(yè)不太一樣的點(diǎn)是：沒(méi)有自動(dòng)駕駛能力的汽車(chē)也能賣(mài)出去，通過(guò)這些沒(méi)有自動(dòng)駕駛能力的汽車(chē)或者只有初步自動(dòng)駕駛能力的汽車(chē)賣(mài)出去之后，客戶是可以給車(chē)企反饋數(shù)據(jù)的。

但是機(jī)器人行業(yè)并非如此——一個(gè)笨拙的機(jī)器人是不會(huì)被人買(mǎi)回家的；另一方面，如果讓每家廠家去實(shí)采大體量的真實(shí)數(shù)據(jù)，代價(jià)很高昂。因此可以在仿真里去獲得數(shù)據(jù)。但是目前比較通用的機(jī)器人仿真器里沒(méi)有觸覺(jué)的模態(tài)（注：視覺(jué)的仿真、渲染已有很長(zhǎng)時(shí)間）。觸覺(jué)是一個(gè)嶄新的信息模態(tài)。因此千覺(jué)開(kāi)發(fā)了相應(yīng)的觸覺(jué)仿真器，讓它能夠真實(shí)反映機(jī)器人的接觸狀態(tài)，并且集成到了現(xiàn)在人們用得比較多的Xense_Sim里，讓機(jī)器人能夠獲得非常高逼真度的觸覺(jué)數(shù)據(jù)。

（本文來(lái)源于《EEPW》202505）