八年前，研究人員推出了一種稱為GelSight的新型傳感器技術，它使用與物體的物理接觸來提供其表面的非常詳細的三維地圖。現在，通過將GelSight傳感器安裝在機器人手臂的夾具上，兩個團隊給予機器人更高的靈敏度和靈巧度。

    連接到機器人夾具上的GelSight傳感器使機器人能夠精確地確定其抓住一個小螺絲刀的位置，將其從插入口插入并插入到插槽中，即使夾具從機器人的相機上屏蔽螺絲刀。

    八年前，麻省理工學院計算機科學與人工智能實驗室（CSAIL）的研究小組Ted Adelson推出了一種稱為GelSight的新型傳感器技術，它與物體接觸，提供了一個非常詳細的3-D曲面圖。

    現在，通過將GelSight傳感器安裝在機器手臂的夾具上，兩個MIT團隊給予機器人更大的靈敏度和靈巧度。研究人員在國際機器人與自動化大會上發表了兩篇文章。

    在一篇論文中，Adelson集團使用GelSight傳感器的數據，使機器人能夠判斷其接觸的表面的硬度，一個關鍵的能力，如果家用機器人處理日常物品。

    另一方面，CSTE的Russ Tedrake的Robot Locomotion Group使用GelSight傳感器，使機器人能夠操縱比以前更小的物體。

    在某些方面，GelSight傳感器是一個低技術解決難題的解決方案。它由一塊透明橡膠組成，其名稱的“凝膠”，其一面涂有金屬漆。當涂漆面被壓在物體上時，它符合物體的形狀。

    金屬漆使物體的表面反射，因此計算機視覺算法的幾何形狀變得更加容易。安裝在與橡膠塊涂漆面相對的傳感器上的是三色燈和單個相機。

    具有不同角度的彩色燈，然后具有這種反光材料，通過查看顏色，計算機可以找出這個東西的三維形狀。

    在兩組實驗中，將GelSight傳感器安裝在機器人夾持器的一側，該裝置有點類似于鉗子的頭部，但具有平坦的夾緊表面而不是尖端。

    一、聯絡點

    觸覺感知還可以幫助機器人區分看似相似的物體。

    在以前的工作中，機器人試圖通過將它們放在平坦的表面上來輕輕地評估物體的硬度，并輕輕地戳他們看看他們給了多少。但這不是人類衡量硬度的主要方式。相反，我們的判斷似乎是基于對象和我們的手指之間的接觸面積隨著我們的壓力而改變的程度。較軟的物體往往會變得更平坦，增加接觸面積。

    實驗過程

    麻省理工學院的研究人員采用同樣的方法：使用糖果模具創造400組硅膠物體，每組16個物體。在每組中，對象具有相同的形狀，但硬度不同，袁使用標準工業規模測量。

    然后，手動按下每個對象的GelSight傳感器，并記錄了接觸模式隨時間變化的情況，基本上為每個對象產生一個短片。為了標準化數據格式并保持數據可管理的大小，她從每個電影中提取了五幀，時間均勻，描述了按下的對象的變形。

    最后，將數據提供給神經網絡，自動尋找接觸模式和硬度測量的變化之間的相關性。所得到的系統將視頻幀作為輸入，并以非常高的精度產生硬度得分。

    二、阻礙視圖

    通常，自主機器人將使用某種計算機視覺系統來指導其對環境中物體的操縱。這樣的系統可以提供關于對象的位置的非常可靠的信息，直到機器人向上拾取物體。特別是如果物體很小，很多東西將被機器人的夾子夾住，使位置估計更加困難。因此，在機器人精確地需要知道對象的位置的位置，其估計變得不可靠。

    GelSight本身就是基于攝像頭的，所以它的數據輸出比其他觸覺傳感器的數據更易于與視覺數據進行集成。

    在實驗中，裝有GelSight的夾具的機器人必須抓住一把小螺絲刀，將其從皮套中取出并將其退回。當然，GelSight傳感器的數據并沒有描述整個螺絲刀，只是一小部分。但是，只要視覺系統對螺絲刀的初始位置的估計精確到幾厘米，算法就可以推斷出GelSight傳感器接觸到的螺絲刀的哪一部分，從而確定螺絲刀在機器人手中的位置。