美國當?shù)貢r間周一，F(xiàn)acebook聯(lián)合創(chuàng)始人、Meta現(xiàn)任首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）表示，一種新的觸摸傳感器和類似皮膚的塑料材料可以協(xié)同工作，可能有助于實現(xiàn)元宇宙雄心。

Meta的人工智能（AI）研究人員與卡內基梅隆大學的科學家共同創(chuàng)造了一種厚度不到3毫米的可變形塑料“皮膚”。這種相對便宜的材料被稱為Reskin，它的內部有磁性顆粒，可以產生磁場。當這種皮膚與另一個表面接觸時，嵌入顆粒的磁場會發(fā)生變化。傳感器記錄磁通量的變化，然后將數(shù)據(jù)提供給AI軟件，該軟件試圖理解已經(jīng)施加的力或觸感。

利用機器學習和磁感應，Reskin旨在為長期使用提供廉價、多功能、耐用和可更換的解決方案，采用無監(jiān)督學習算法來幫助自動校準傳感器。扎克伯格在Facebook頁面上寫道：“我們設計出了高分辨率的觸摸傳感器，并與卡內基梅隆大學合作，創(chuàng)造了一種薄薄的機器人皮膚。這讓我們離元宇宙中真實的虛擬物體和物理互動更近了一步?！?/p>

這種皮膚已經(jīng)在機器人身上進行了測試，這些機器人負責處理包括葡萄和藍莓在內的軟水果。AI系統(tǒng)必須接受100次人類觸摸的訓練，以確保它有足夠的數(shù)據(jù)來理解磁場變化與觸摸之間的關系。

除了Reskin，Meta還概述了在開發(fā)用于觸摸傳感的硬件、模擬器、庫、基準和數(shù)據(jù)集方面取得的更廣泛進展。該公司表示，這構成了可以通過觸摸理解和互動的人工智能系統(tǒng)的基礎。

Meta研究科學家羅伯托·卡蘭德拉(Roberto Calandra)和硬件工程師邁克·蘭貝塔(Mike Lambeta)在一篇博客文章中表示：“我們通常認為觸摸是傳遞溫暖和關懷的一種方式，但它也是感知我們周圍世界的一種關鍵感知方式。觸摸為我們提供了通過任何其他感覺無法辨別的信息，例如關于物質的溫度、質地和重量，有時甚至是關于其狀態(tài)的信息?！?/p>

Meta的研究科學家阿比納夫·古普塔(Abhinav Gupta)在媒體電話會議上表示，觸摸在很大程度上被AI研究人員忽視了，因為觸摸傳感器太昂貴或太脆弱，無法獲得可靠的數(shù)據(jù)。古普塔說：“如果你想想人類或嬰兒是如何學習的，豐富的多模態(tài)數(shù)據(jù)對發(fā)展對世界的理解至關重要。我們正在從像素、聲音、觸覺、味覺、嗅覺等方面學習?！?/p>

他補充說：“但如果你看看AI在過去十年中取得的進步，你會發(fā)現(xiàn)我們在像素(計算機視覺)方面取得了巨大進步，我們在聲音方面也取得了進步，音頻、語音等方面也是如此。但在這一發(fā)展過程中卻缺少了觸覺，盡管接觸非常重要。”

古普塔解釋稱，幫助機器和機器人助理感知將使它們能夠理解人類在做什么。Meta的Reskin可以探測到來自小于1毫米寬的物體的力，最小可達0.1牛頓。他說：“我們可以第一次嘗試更好地理解物體背后的物理原理，這將有助于Meta構建元宇宙的探索?！?/p>

元宇宙要么是互聯(lián)網(wǎng)的下一次進化，要么是讓投資者對某些模糊的創(chuàng)新感到興奮的最新企業(yè)流行語，這些創(chuàng)新可能在未來10年內都不會出現(xiàn)。

但無論哪種方式，科技公司(主要是Meta)都在越來越多地推廣元宇宙的概念，指的是人們可以在里面生活、工作和娛樂的虛擬世界。如果你看過電影《頭號玩家》(Ready Player One)，你會很清楚元宇宙是什么：戴上計算機化的眼鏡，你就被帶進了數(shù)字世界，在那里一切皆有可能。

如果Meta的元宇宙雄心能夠實現(xiàn)，那么它就有可能與虛擬物體互動，并從一塊硬件上獲得某種物理響應。古普塔說：“當你戴著Meta頭盔時，你也希望能提供一些觸覺，這樣用戶就能感受到更豐富的體驗。除非你知道人的觸覺是什么，或者材料的特性是什么等等，否則你怎么能提供準確的觸覺反饋呢？”

觸覺研究歷史

觸覺感知是機器人學中的一個新興領域，旨在理解和復制物理世界中人類水平的觸摸。其目標是通過使機器人能夠在從家里到工廠車間的環(huán)境中自主學習和使用觸摸，從而使機器人變得更高效、更安全、更溫和。

Meta在過去的幾年里一直在開發(fā)觸覺傳感器，主要專注于機器人抓取的任務。2020年，該公司的研究人員詳細介紹了Digit，這是一種高分辨率、低成本、緊湊的觸覺傳感器，設計成可以安裝在多指機器人手上。

Digit的塑料機身帶有外殼，既有利于3D打印，也有利于注塑成型。三個RGB LED在彈性體凝膠表面提供照明，該表面是采用硅丙制造工藝定制設計的，表面上平衡了堅固性和敏感度。攝像頭和凝膠通過“壓配合”連接安裝在機身上，這樣任何部件都可以換出，外殼可以更換，以適應不同的鏡頭焦距。

在實驗中，研究小組利用Digit使機器人手能夠握住并操縱拇指和中指之間的玻璃彈珠。在50次試驗過程中，這只手掉下彈珠的幾率約為25%。然而，研究人員將其歸因于數(shù)據(jù)不準確和噪音所致，而不是數(shù)字設計上的缺陷。

去年6月，Digit的塑料外殼、凝膠和電子產品的制造文件以及用于編程的固件二進制文件在GitHub上開源。Meta如今宣布，它將與麻省理工學院的子公司GelSight合作，開始商業(yè)化生產Digit。

古普塔和博士后研究員苔絲·赫勒布雷克斯(Tess Hellebrekers)表示，Reskin背后的目標是提供一個聯(lián)系數(shù)據(jù)來源，有助于在一系列基于觸摸的任務(如物體分類)中推動AI的發(fā)展。通過使用Reskin開發(fā)的具有觸覺感知技能的AI模型可能會在醫(yī)療保健環(huán)境中工作，或者抓住柔軟的物體。由于Reskin可以與其他傳感器集成，以收集視覺、聲音和觸覺數(shù)據(jù)，并創(chuàng)建多模式數(shù)據(jù)集，因此Reskin還可以幫助構建比以前更逼真的世界模型。

古普塔和赫勒布雷克斯表示：“觸覺幫助我們駕馭周圍的世界。有了它，我們可以收集物體的信息，比如它們是輕是重，是軟是硬，是穩(wěn)定還是不穩(wěn)定，我們用這些信息來完成從穿鞋到做飯的日常任務。今天的AI有效地融合了視覺和聲音等感官，但觸摸仍然是個持續(xù)的挑戰(zhàn)。這在一定程度上是由于對外部觸覺傳感數(shù)據(jù)的訪問有限。因此，希望將觸覺融入他們模型的AI研究人員很難像人類那樣利用觸覺感知的豐富性和冗余性。”

Reskin是一種嵌入磁性顆粒的可變形彈性體，價格甚至更低，100個單位的生產成本不到6美元。它的厚度只有2毫米到3毫米，可以進行5萬多次互動，這使得Reskin非常適合機器人手、觸覺手套、手臂袖子甚至狗鞋等各種工具。Reskin還可以為快速操作任務提供高頻三軸觸覺信號，如滑行、投擲、接球和拍手。當它磨損時，可以很容易地被剝掉更換。

克服重重挑戰(zhàn)

值得注意的是，無論是Digit還是Reskin都不是同類產品中的首個觸敏傳感器。其他公司，包括OmniTact和GelFlex，后者是麻省理工學院計算機科學和AI實驗室的機器人抓手，擁有微妙的、類似人類的感官，由LED和兩個攝像頭組成。新加坡國立大學也使用英特爾的原型芯片開發(fā)了觸摸感應機器人“皮膚”。

但從歷史上看，被稱為“軟皮膚”的傳感材料很難大規(guī)模生產，因為它們在使用過程中會發(fā)生變化。每個傳感器都必須經(jīng)過校準程序來確定其各自的響應。更大的挑戰(zhàn)在于，材料會隨著時間的推移而變化，而且會有所不同，這取決于它們的使用方式。這意味著，校準本身也必須適應這些變化。

Reskin消除了軟材料和測量電子設備之間的電氣連接，從而克服了這些障礙。傳感器的磁信號依賴于位置鄰近，畢竟電子設備只需要在附近，而不是連接在一起。除此之外，Reskin利用對來自多個來源的數(shù)據(jù)進行訓練的映射函數(shù)，使其比傳統(tǒng)的映射函數(shù)更具概括性和“健壯性”。傳感器使用無監(jiān)督模型，使用少量未標記的數(shù)據(jù)自動、連續(xù)地進行微調。

在無監(jiān)督學習的情況下，算法將受到“未知”數(shù)據(jù)的影響，這些數(shù)據(jù)不存在先前定義的類別或標簽。這與監(jiān)督學習相反，這種情況下，算法在為特定輸出注釋的輸入數(shù)據(jù)上進行訓練，直到它們能夠檢測到潛在的關系。像那些運行在Reskin上的無監(jiān)督機器學習系統(tǒng)必須自學對未標記的數(shù)據(jù)進行分類，處理數(shù)據(jù)不是從注釋中學習，而是從數(shù)據(jù)的內在結構中學習。

古普塔和赫勒布雷克斯解釋稱：“我們可以使用未標記數(shù)據(jù)的相對位置來幫助微調傳感器的校準，而不是提供地面真實作用力標簽。例如，我們知道在三個接觸點中，身體距離較近的兩個接觸點會有更相似的觸覺信號。”總而言之，Reskin開辟了一系列多功能、可擴展和廉價的觸覺感覺模塊，這是現(xiàn)有系統(tǒng)所不可能實現(xiàn)的?，F(xiàn)有的基于攝像頭的觸覺傳感器需要表面和攝像頭之間的最小距離，導致設計更加笨重。相比之下，Reskin可以作為覆蓋在人類和機器人手和手臂上的皮膚材料使用。

實際應用

為了證明Reskin的實用性，F(xiàn)acebook的研究人員進行了幾項實驗，表明它可以應用于手部操作、接觸定位和其他測力任務。例如，Meta的研究人員通過將Reskin和電路板放在狗鞋的鞋底內，使用Reskin來跟蹤狗在休息、散步和跑步過程中施加的力的大小和方向。

古普塔和赫勒布雷克斯稱：“我們對可推廣的觸覺感知的研究促使Reskin成為現(xiàn)實，這種皮膚成本低，結構緊湊，耐用。皮膚很容易更換，就像剝皮和換上新繃帶一樣，它可以立即使用，我們的學習模型在使用新皮膚時表現(xiàn)得很好。這是一個強大的工具，可以幫助研究人員構建AI模型，為多樣化的應用提供動力。”

為了支持Digit和Reskin這樣的硬件，Meta今年夏天開源了Tacto和PyTouch，這是一個用于PyTorch機器學習框架的庫。Tacto是基于視覺的觸覺傳感器的模擬器，而PyTouch是用于觸摸傳感的機器學習模型和功能的集合。

Tacto可以每秒數(shù)百幀的速度呈現(xiàn)觸摸讀數(shù)，并且可以配置成模擬不同的傳感器，包括Meta自己的數(shù)字。模擬器在機器人原型制作、調試和基準測試中扮演著重要的角色，因為它們允許在不需要執(zhí)行昂貴實驗的情況下進行測試。古普塔和赫勒布雷克斯說：“除了能夠在模擬中更快地運行實驗的好處之外，在觸覺傳感中，獲得合適的硬件以及減少硬件表面的磨損使得模擬在觸摸傳感中變得更加重要。”

至于PyTouch，它為傳感器提供了基本功能，如檢測觸摸和滑動，以及估計物體姿勢。該計劃是將其與真實世界的傳感器和Tacto相結合，以實現(xiàn)模型的驗證以及“Sim2Real”功能，后者將模擬訓練的概念轉化為現(xiàn)實世界應用的能力。Meta還設想，PyTouch可以讓機器人社區(qū)使用專門用于觸摸感知的模型“作為服務”，研究人員可以連接傳感器，下載預先訓練好的模型，并將其用作應用程序的構建塊。

古普塔和赫勒布雷克斯稱：“我們目前正在研究Sim2Real Transfer，用于在模擬中訓練PyTouch模型，并將其部署在真實傳感器上，以此作為快速收集數(shù)據(jù)集和訓練模型的一種方式。在模擬中，收集包含大量數(shù)據(jù)的大規(guī)模數(shù)據(jù)集可以在幾分鐘內完成，而用真正的傳感器收集數(shù)據(jù)需要時間和人力來物理探測物體。最后，我們計劃探索Real2Sim方法，從真實數(shù)據(jù)中更好地調整模擬器。”

在觸覺感知方面有一長串障礙需要克服，包括硬件限制，缺乏對哪些觸摸功能用于特定任務的理解，以及缺乏廣泛接受的基準測試。但Meta斷言，觸覺方面的改進，無論多么緩慢，都可以幫助推進AI發(fā)展，并使研究人員能夠制造具有增強功能的機器人。

作為邁向這一目標的一小步，該公司已經(jīng)發(fā)布了Reskin的設計、文檔、代碼和基礎模型，以幫助研究人員使用傳感器，而不必收集或訓練自己的數(shù)據(jù)集?？ㄌm德拉和蘭貝塔說：“它還可以釋放AR/VR的可能性，并帶動工業(yè)、醫(yī)療和農業(yè)機器人領域的創(chuàng)新。我們正在努力實現(xiàn)這樣的未來：每個機器人都可能配備觸摸感應功能。”

本文來自“騰訊科技”，審校：金鹿，36氪經(jīng)授權發(fā)布。

關鍵詞： 雄心 新材料 傳感器