機器人遙操作(Teleoperation)，也可以稱為Telerobotics，是指在相關機器人控制中把人類操作包含在控制回路中，任何的上層規劃和認知決定都是由人類用戶下達，而機器人本體只是負責相應的實體應用。當機器人處理復雜的感知和大量任務時，在快速做出決策和處理極端情況時，遙距操作遠遠優于智能編程。

目前遙操作已廣泛應用在醫療領域、極端環境探索如太空與深海場景、防恐防爆應用場景，及基于工業機械臂的自動化生產中。機器人遙操作可以大致分為基于設備的接觸式遙操作和基于無標記的視覺遙操作兩大類。2009年以前的工作可以參考[1]，下面就近幾年的遙操作發展進行介紹。本文主要關注服務機器人和工業機器人，不涉及醫療機器人，如對醫療機器人感興趣可參考[2]。

一、接觸式遙操作

接觸式遙操作通常通過遙操作者穿戴或操作不同類型的設備來實現。這些設備有操作桿、類如Apriltag的標記物，慣性測量單元IMU，肌電圖（EMG）信號傳感器，虛擬現實VR/增強現實AR設備以及前景廣闊的觸覺設備等。

1. 基于IMU和EMG的遙操作

基于IMU和EMG的遙操作方法成本低且高效易操作。2017年，清華大學孫富春教授課題組設計了一個集成18個IMU的穿戴手套，并開發了基于擴展卡爾曼濾波器的多模態融合算法用于推算人手臂和手的方向與位置[3]。這種新穎的遙控方案穩定地應用于由SCHUNK手臂和Barrett三指手構成的11DOF機械臂-手系統，以及由UR5和Barrett三指手構成的10DOF機械臂-手系統，其中操作員的手指用于機械手遙控，而手掌的手臂用于機械臂遙控。

2019年，哥倫比亞團隊提出了一種由EMG驅動的非擬人化機器人手遙操作方法，這種方法將人前臂的EMG信號連續映射與遠程操作相關的三個子空間中，然后再從這個子空間映射到機器人手的關節空間[4]。這個方法有效且直觀，使新手操作者更快熟悉操作方案，可以魯棒地完成遠程操作拾取和放置任務。

2. 基于VR/AR的遙操作

基于虛擬現實的機器人遙操作是克服時延的有效方法,具有透明性強、穩定性高的優點,成為當前機器人遙操作的主要方式。漢堡大學團隊使用微軟hololens穿戴式眼鏡，基于混合現實（MR）技術為人機交互（HRI）場景開辟了遙操作的新前景[5]。在MR人機協作系統中，操作員不僅可以看到機器人的真實工作場景，并且其他虛擬信息可以疊加在真實場景的視圖上，實現直觀自然地控制用于抓取和放置任務的機器人。特別是在機器人執行動作之前，操作員可預覽機器人的潛在規劃動作，可以減少損壞系統或傷害操作人員的風險。此外，作者也在多機器人系統的交付服務任務中驗證了這個系統。這些研究為未來VR、AR及MR裝備的設計及虛擬現實在機器人方向上的應用提供了重要的啟示。

3. 融合觸覺反饋的遙操作

觸覺反饋對于接觸豐富的外部操作任務至關重要，觸覺設備已在外科手術機器人中得到廣泛研究，并用于在虛擬現實應用程序中收集訓練數據，如HaptX development kit。一些商業產品CyberGlove、HaptX以物理阻力和空間接觸的形式提供了觸覺反饋，但是這種好處伴隨著成本的增加。HaptX與Converge Robotics Group（由國際公司組成的財團）共同開發了TactileTelerobot遠程機器人，以推動觸覺和機器人技術的發展 [6]。TactileTelerobot是世界上第一個能夠將逼真的觸摸反饋傳輸給位于世界各地的操作員的機器人系統，該系統集成了三個主要產品，每個主要產品都在其類別中處于領先地位：Shadow Robot Hands，SynTouch BioTac傳感器和HaptX Gloves。Tactile Telerobot通過真實無延遲的觸覺反饋實現了多種機械手靈巧操作，如倒水、擰瓶蓋、轉魔方、寫字、開紙盒、幫人帶耳機，甚至人體按摩等。

當然這種昂貴的觸覺設備并不是每個組都可以擁有，因此還有一些雙向遙操作控制設備在[7]中，通過定義一個虛擬的操作對象來捕獲在master側人手的運動及slace側相關的力反饋。

除了使用遙操作技術對機械臂或者機器手的控制，2020年西英格蘭大學的楊辰光團隊提出了一種用于全向移動機器人的EMG與觸覺設備混合控制方法[8]。這種混合共享控制方法基于肌電圖和人工勢場，用以根據排斥力和吸引力避開障礙物，并基于移動平臺的力反饋增強人類對遠程環境的感知。這種共享控制方法使遙操作者遠程控制移動機器人的運動并同步實現避障。與傳統的共享控制方法相比，該提議的方法提供了基于肌肉激活的力反饋，并驅動操作者以可預測的方式更新其控制意圖。最終通過各種避障實驗表明這種遙控方法對移動機器人控制的有效性。

二、基于無標記的視覺遙操作

與基于接觸式或可穿戴設備的遠程操作不同，基于無標記的視覺遠程操作具有還原人體四肢自然運動且侵入性較小的優點。特別是針對高自由度的機器手的遙操作，使用穿戴手套的方法必須根據操作者進行定制手套大小，并且手套容易影響的關節自然運動，而基于IMU或EMG的方法通用性和靈活性較低。因此無標記的視覺方法尤其適用于靈巧手的遠程操作，這樣有利于捕獲手指的所有運動。

基于分析視覺的遠程操作分為兩類：基于模型的（model-）方法和基于外觀的（appearance-）方法�；�于模型的方法提供連續的解決方案，但計算量大，通常取決于多相機系統的可用性。相反，基于外觀的方法可以識別離散數量的手勢，這些手勢通常對應于該方法的訓練集，而無需高昂的計算成本和硬件復雜性。最近，越來越多的研究人員致力于基于數據驅動的基于視覺的遙操作方法，這些方法首先使用深度卷積神經網絡（CNN）獲得3D手勢或識別手勢類別，然后再映射人的相應位置到機器人上。比如，希臘克里特大學Antonis Argyros團隊提供了三種基于深度相機的人體位姿估計和跟蹤方法，然后通過逆運動學過程將人體運動映射到NAO人形機器人，從而實現對人性機器人的操作[9]。然而，這類解決方案不僅依賴于手勢估計或分類的準確性，而且增加后處理的時間成本。

2019年，德國漢堡大學張建偉課題組和清華大學孫富春課題組共同提出TeachNet，一個直接從人類手指深度圖獲取機器人關節角度的深度學習網絡[10]。這種方法只需使用一個深度相機，并實現端到端地控制機器人，是非常直觀和用戶友好的遙操作方法。TeachNet結合了一個一致性損失函數consistency loss，可以處理人手和機器手的外觀和內在結構差異。這個網絡的訓練依賴于一個合成的400K人手-機器手數據集，其中人手數據來自于人手位姿深度圖像數據集BigHand2.0，然后在Gazebo中采集對應每個人手的的機器手深度圖像。最后，作者在5個不同操作者的抓取實驗中證明了TeachNet的穩定性和高效率。但是這種方法僅限于機器手的控制，無法移動機械手使之在可達工作空間內進行抓取。

進一步，2019年，美國NVIDIA研究所和卡梅隆大學共同開發了一種低成本的基于視覺的遠程操作系統DexPilot，該系統允許僅觀察裸手就能完全控制整個23 DOF的機械臂-手系統[11]。DexPilot使操作員能夠執行各種復雜的操作任務如擰瓶蓋、轉方塊、從錢夾取紙幣等，而不僅僅是簡單的抓取和放置操作。作者首先使用一個彩色的織物手套采集了一個人手姿勢先驗數據集，然后使用點云作為輸入，結合PointNet++獲得人手位姿和關節先驗，然后使用DART和動力學重定向將人手關節角映射到allegro手的關節上。最終通過兩個演示者完成各種任務的速度和可靠性指標，驗證了即使沒有觸覺反饋該系統仍具有高可靠性和高度靈敏性。

然而基于視覺的遙操作方法明顯不能適應于黑暗或者物體被遮擋的情況，因此將視覺與觸覺/力反饋融合，將更好地實現魯棒的遙操作算法。比如，增加機器人抓取時的滑動檢測和力估計，或者操作者非示教部位如胳膊或左手用于感受觸覺反饋，從而減輕用戶的控制負擔并避免機器人的意外碰撞。另一方面，當人手被遮擋或者抓握其他物體時，如何解決人手角估計是3D人手姿態估計需要解決的一個方向。再者，基于視覺的遙操作使操作者總是限定于固定的相機系統區域，不能實現移動式遙操作。如何將人手跟蹤和人手關節角估計共同應用到機器人的遙操作中也是非常有趣。