曠視MegMaster機器人系列是曠視自主研發(fā)的一系列AI智能機器人硬件設(shè)備，基于曠視全球領(lǐng)先的人工智能算法及機器人技術(shù)，可實現(xiàn)搬運、分揀、托舉、存儲等功能，被廣泛應(yīng)用于物流倉儲、工廠制造等場景。曠視SLAM組主要負(fù)責(zé)多傳感器建圖、定位、標(biāo)定等工作，在開發(fā)過程中總結(jié)了一些理論和實踐方面的經(jīng)驗教訓(xùn)，在此分享出來，希望能夠與大家一起探討，為機器人行業(yè)貢獻(xiàn)自己的綿薄之力。

近期我們會首先推出機器人多傳感器標(biāo)定的系列內(nèi)容，包括:

• 標(biāo)定系列一 | 基礎(chǔ)理論分析
• 標(biāo)定系列二 | 實踐之Camera-Odometry標(biāo)定
• 標(biāo)定系列三 | 實踐之Camera-Lidar標(biāo)定

本文作者是曠視研究院研究員盧彥斌，在文中為大家主要介紹了機器人手眼標(biāo)定的一些理論基礎(chǔ)，以及輪式機器人標(biāo)定中的一些常見做法，希望能夠給大家一些啟發(fā)。

目錄

• 1 手眼標(biāo)定的理論基礎(chǔ)
  • 1.1 AX=XB
  • 1.2 約束條件分析
    • 1.2.1 旋轉(zhuǎn)矩陣所需的方程數(shù)量
    • 1.2.2 平移向量的約束數(shù)量
• 2 基于平面運動的外參標(biāo)定方法
  • 2.1 傳感器的旋轉(zhuǎn)軸與平面法向量重合
  • 2.2 引入其它約束
• 參考文獻(xiàn)
• 附錄A

一、手眼標(biāo)定的理論基礎(chǔ)

1.1

手眼標(biāo)定（hand eye calibration）是機器人領(lǐng)域中一個歷史悠久的問題。這里的手常指的是機械臂，眼常指的是安裝于機械臂上的相機或者固定于環(huán)境中的相機。如下圖所示。

在實際應(yīng)用中，我們通常需要將相機觀察到的外界環(huán)境中物體的姿態(tài)從相機坐標(biāo)系轉(zhuǎn)換到機械臂的坐標(biāo)系中，輔助機械臂規(guī)劃一些后續(xù)動作（如抓取）。為了得到兩坐標(biāo)系之間的轉(zhuǎn)換矩陣，我們就要對機器人進(jìn)行手眼標(biāo)定。手眼標(biāo)定有兩種常見的標(biāo)定方法。第一種是通過特殊的標(biāo)定物，第二種是通過機器人運動建立約束。本文主要討論后一種方法。

假設(shè)k時刻，機械臂相對于世界坐標(biāo)系的位姿為

，相機相對于世界坐標(biāo)系的位姿為 ，相機相對于機械臂的位姿 X，那么有

同樣地，對k+1時刻有

那么

令

，上式即是：

其中，A和B表示相鄰時刻機械臂和相機的局部運動。機械臂的局部運動可以通過其運動模型推算得到，相機的局部運動通常可通過外部的標(biāo)定板輔助得到。由此，手眼標(biāo)定問題轉(zhuǎn)化為求解 的問題。這里，我們稱k時刻與k+1時刻構(gòu)成的 的方程為一個測量。

1.2 約束條件分析

從

方程出發(fā)，我們分別考慮旋轉(zhuǎn)矩陣R和平移向量t需要的方程數(shù)量（即測量數(shù)量）。假設(shè)：

那么

可以轉(zhuǎn)化為：

1.2.1 旋轉(zhuǎn)矩陣所需的方程數(shù)量

本小節(jié)主要參考文獻(xiàn)[1]。由上述等式條件可得：

首先回顧一下旋轉(zhuǎn)矩陣的性質(zhì)，

旋轉(zhuǎn)矩陣有且只有一個實數(shù)特征值1；

不考慮單位矩陣，旋轉(zhuǎn)矩陣的實數(shù)特征值對應(yīng)的特征向量即是axis-angle表達(dá)式的旋轉(zhuǎn)軸，旋轉(zhuǎn)矩陣的跡與旋轉(zhuǎn)角度相關(guān)。

axis-angle表達(dá)式示意圖如下所示[6]。

旋轉(zhuǎn)矩陣和axis-angle表達(dá)式的關(guān)系可以由Rodrigues公式表示。

其中

, 分別為旋轉(zhuǎn)矩陣的旋轉(zhuǎn)軸和旋轉(zhuǎn)角度， ，定義如下

反對稱矩陣有如下性質(zhì)：

旋轉(zhuǎn)矩陣的跡與旋轉(zhuǎn)角度的關(guān)系為:

假設(shè)

分別為 的旋轉(zhuǎn)向量， 分別為 的旋轉(zhuǎn)角度，那么有：

即

所以，

是 的實數(shù)特征值對應(yīng)的特征向量，

上式說明，

的旋轉(zhuǎn)軸經(jīng)過 變換為 的旋轉(zhuǎn)軸。實際上，我們能從上式得到如下關(guān)系:

證明見附錄A。

如果令

，上式等價于

上述方程有一個顯然的特解

由于

秩為2，其一維零空間的基為 。因此 的解為

示意圖如下圖所示。

由

的定義可知，每個 對應(yīng)于一個 , 。因此，從一個 方程無法求解得到 ，有一個自由度求解不出來，且該自由度會同時影響 , 。

下面考慮兩組組測量

。關(guān)于 的方程變?yōu)?p>

有唯一解當(dāng)且僅當(dāng)左端方程滿秩。文獻(xiàn)[1]中證明，這等價于 。

因此如果我們有兩組測量，且傳感器A（等價于B）在兩組測量中的（局部坐標(biāo)系下）旋轉(zhuǎn)矩陣的旋轉(zhuǎn)軸不同，那么能夠求解得到

。從而，根據(jù)

從Rodrigues公式可以求得

。

1.2.2 平移向量的約束數(shù)量

在已知旋轉(zhuǎn)矩陣的情況下，平移向量的約束推導(dǎo)情況較為簡單。從一個方程

中，我們可以得到

同樣，因為

有非零解 , 不滿秩，一個測量無法求解出 。當(dāng)我們有兩組測量時，文獻(xiàn)[1]中證明，

滿秩等價于

。因此，如果我們有兩組測量，且傳感器A（等價于B）在兩組測量中的旋轉(zhuǎn)矩陣的旋轉(zhuǎn)軸不同，那么能夠通過求解方程組求解得到 。

二、基于平面運動的外參標(biāo)定方法

機器人上不同傳感器之間的外參可以用手眼標(biāo)定的方式來標(biāo)定，這一般需要機器人在三維空間運動。對于一大類機器人而言，其通常被設(shè)計成在平面上運動。這種情況下，傳感器實際上只能繞一個軸（即平面法向量）旋轉(zhuǎn)，其在任何局部坐標(biāo)系下的旋轉(zhuǎn)運動的旋轉(zhuǎn)軸均保持不變。此時，我們能夠求解出哪些參數(shù)呢？

假設(shè)世界坐標(biāo)系的XY平面即為機器人的運動平面，Z軸為平面法向量。直觀上來說，兩個傳感器的安裝高度差對于局部旋轉(zhuǎn)和平面上的平移沒有影響，因此兩個傳感器各自坐標(biāo)系的原點在世界坐標(biāo)系下的z軸高度差是無法觀測到的。實際上，我們從

的方程能夠看出這一點。首先，由第一部分我們知道，此時旋轉(zhuǎn)軸 在所有的局部坐標(biāo)系下是一樣的。其次，我們可以證明 滿足所有(A, B)的方程。

而

， 即是世界坐標(biāo)系z軸在兩個傳感器局部坐標(biāo)系下的表達(dá)式。

針對平面運動下的手眼標(biāo)定問題，我們列舉一些典型做法作為參考。

2.1 傳感器的旋轉(zhuǎn)軸與平面法向量重合

以帶輪速計的機器人為例，通常可以假設(shè)輪速計的旋轉(zhuǎn)軸和平面的法向量重合。我們能夠證明，除了平移向量的z分量，其余5個參數(shù)都是可觀的。

以參考文獻(xiàn)[2]為例。作者的具體做法如下。

第一步，通過將

分解為歐拉角的ZYZ表示簡化旋轉(zhuǎn)矩陣參數(shù)的求解。假設(shè)

那么旋轉(zhuǎn)矩陣對應(yīng)的方程變?yōu)?/p>

即

已知

的情況下，我們可以同時求出 （注：如果輪速計內(nèi)參未知，那么上述公式可用于提供輪速計的一個約束）。于是 變?yōu)橹挥凶詈笠粋€Z旋轉(zhuǎn)未知的旋轉(zhuǎn)矩陣，可代入平移向量的方程中求解。文獻(xiàn)[3]是類似的思路，同樣都是利用A傳感器的旋轉(zhuǎn)軸是世界坐標(biāo)系的z軸的性質(zhì)，先解出旋轉(zhuǎn)矩陣的兩個參數(shù)，再利用平移向量的約束解出其余參數(shù)且有一個參數(shù)不可觀。具體做法會由系列后續(xù)文章詳細(xì)說明。

2.2 引入其它約束

我們可以引入外界約束以求解所有參數(shù)，例如，2D激光和相機的外參標(biāo)定通常需要6自由度參數(shù)。文獻(xiàn)[4]利用V型標(biāo)定板和棋盤格建立點到面的約束。文獻(xiàn)[5]則利用互相垂直的三面體構(gòu)建直線到平面和點到平面的約束。這部分與本文重點關(guān)系較小，這里就不分析了。

參考文獻(xiàn)

Tsai, Roger Y., and Reimar K. Lenz. "A new technique for fully autonomous and efficient 3D robotics hand/eye calibration." IEEE Transactions on robotics and automation 5.3 (1989): 345-358.

2. Antonelli, Gianluca, et al. "Simultaneous calibration of odometry and camera for a differential drive mobile robot." IEEE International Conference on Robotics and Automation(2010).

3. Guo, Chao X., Faraz M. Mirzaei, and Stergios I. Roumeliotis. "An analytical least-squares solution to the odometer-camera extrinsic calibration problem." 2012 IEEE International Conference on Robotics and Automation. IEEE, 2012.

4. Dong, Wenbo, and Volkan Isler. "A novel method for the extrinsic calibration of a 2D laser rangefinder and a camera." IEEE Sensors Journal 18.10 (2018): 4200-4211.

5. Gomez-Ojeda, Ruben, et al. "Extrinsic calibration of a 2D laser-rangefinder and a camera based on scene corners." 2015 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2015.

6. http://www.opengl-tutorial.org/intermediate-tutorials/tutorial-17-quaternions/

附錄A

作者簡介

盧彥斌，北京大學(xué)博士，目前為曠視研究院高級研究員，長期從事三維重建和SLAM技術(shù)的產(chǎn)品化工作，對機器人、AR等領(lǐng)域有濃厚興趣；作為核心成員參與研發(fā)了世界領(lǐng)先的口腔三維真彩掃描儀，其產(chǎn)品曾于2015年獲得Bronze Edison Award for Innovation。

總結(jié)

以上是生活随笔為你收集整理的标定板标定和九点标定的区别_标定系列一 | 机器人手眼标定的基础理论分析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。