空間點(diǎn)p經(jīng)過(guò)相機(jī)成像，映射到圖像上點(diǎn)(x,y)，其中Oc是相機(jī)光心，WCS、DCS、ICS分別是世界坐標(biāo)系、設(shè)備(相機(jī))坐標(biāo)系、圖像坐標(biāo)系�？臻g點(diǎn)p到相機(jī)圖像上點(diǎn)的幾何變換可以用相機(jī)內(nèi)參來(lái)描述，具體公式就不說(shuō)了，可以簡(jiǎn)單地理解為相機(jī)拍照是對(duì)點(diǎn)的幾何坐標(biāo)變換，而相機(jī)內(nèi)參就是決定這個(gè)變換的一些參數(shù)。

繼續(xù)看之前的光學(xué)三角關(guān)系圖，O1、O2分別是左右相機(jī)的光心，現(xiàn)在我們要做的就是確定這兩個(gè)相機(jī)的相對(duì)位置關(guān)系：可以用旋轉(zhuǎn)矩陣R和平移向量T來(lái)描述，確定了R和T，兩個(gè)相機(jī)的位置關(guān)系就確定了，這個(gè)步驟叫做相機(jī)的外參標(biāo)定。一般的做法是用三維重建的逆過(guò)程來(lái)做，即由一系列已知的p1、p2和p12來(lái)求解光學(xué)三角形，估計(jì)出最優(yōu)的R、T。簡(jiǎn)而言之，外參標(biāo)定確定相機(jī)之間的相對(duì)位置關(guān)系。

好了，現(xiàn)在我們只需要知道p1、p2的坐標(biāo)，我們就能輕松算出p12的坐標(biāo)，完成三維重建。我們把p1、p2稱(chēng)為一個(gè)點(diǎn)對(duì)(pair)，他們是同一個(gè)空間點(diǎn)在不同相機(jī)中的成像點(diǎn)。尋找這樣的點(diǎn)對(duì)的過(guò)程稱(chēng)為立體匹配，它是三維重建最關(guān)鍵，也可以說(shuō)是最難的一步。我們都玩過(guò)“大家來(lái)找茬”，找的是兩幅圖的不同點(diǎn)，而立體匹配則是找“相同點(diǎn)”。對(duì)人腦來(lái)說(shuō)，這個(gè)問(wèn)題太easy了，給你同一個(gè)物體的兩幅圖，你能輕松找出一副圖像上的點(diǎn)在另一幅圖像中的對(duì)應(yīng)點(diǎn)，因?yàn)槲覀內(nèi)四X的物體識(shí)別、分割、特征提取等等能力實(shí)在太強(qiáng)了，而且性能特別高，估計(jì)幾歲的小孩就能秒殺現(xiàn)有的最好的算法。

常規(guī)的匹配算法一般通過(guò)特征點(diǎn)來(lái)做，即分別提取左右圖像的特征點(diǎn)(常用sift算法)，然后基于特征點(diǎn)配合對(duì)極幾何等約束條件進(jìn)行匹配。不過(guò)這類(lèi)匹配算法精度都不是太高，所以人們又想了其它一些方法來(lái)輔助匹配，結(jié)構(gòu)光方法是目前用的比較多的，原理不難理解，就是向目標(biāo)物體投射編碼的光，然后對(duì)相機(jī)圖像進(jìn)行解碼，從而得到點(diǎn)對(duì)，舉個(gè)簡(jiǎn)單的例子，我們把一個(gè)小方塊的圖案用投影儀投到物體表面，然后識(shí)別左右相機(jī)圖像中的小方塊，如果這個(gè)小方塊很小，看作一個(gè)點(diǎn)，那么我們就得到了一個(gè)點(diǎn)對(duì)。

貼個(gè)線結(jié)構(gòu)光的示意圖：

以上說(shuō)的都是雙目視覺(jué)三維重建，實(shí)際上還有其它一些重建方法，如早期的探針?lè)�，�?jiǎn)單粗暴，直接拿探針在物體表面移動(dòng)，一個(gè)點(diǎn)一個(gè)點(diǎn)測(cè)坐標(biāo)；還有一類(lèi)通過(guò)直接測(cè)距來(lái)進(jìn)行三維重建，如超聲波、TOF，即對(duì)物體表面逐點(diǎn)用聲、光程差來(lái)測(cè)距，從而得到三維點(diǎn)云；光學(xué)方法分為主動(dòng)和被動(dòng)兩大類(lèi)，主動(dòng)和被動(dòng)指的是是否向物體表面投光，主動(dòng)方法有激光掃描、相位測(cè)量以及我畢設(shè)的研究課題結(jié)構(gòu)光方法等，被動(dòng)方法有單目視覺(jué)(如陰影法)和上文所述的立體視差方法等等。

目前還有一類(lèi)三維重建方法非�；穑篠FM(Structure from Motion)，這類(lèi)方法的特點(diǎn)是不需要相機(jī)參數(shù)，僅僅根據(jù)一系列圖像就能進(jìn)行三維重建，也就是說(shuō)，你隨便拿個(gè)手機(jī)對(duì)著物體拍一些圖片就能重建這個(gè)物體的三維模型，大家可以去體驗(yàn)下AutoDesk公司的Autodesk 123D Catch，除了近距離物體的三維重建，SFM還有更激動(dòng)人心的應(yīng)用：大型場(chǎng)景三維重建，感興趣的可以看看這個(gè)Building Rome in a Day，他們?cè)趂lickr上搜索兩百萬(wàn)張羅馬的照片，通過(guò)亞馬遜提供的計(jì)算服務(wù)，最終得出整個(gè)城市的三維模型，是不是又有云計(jì)算、大數(shù)據(jù)的感覺(jué)。。。這波人貌似有幾個(gè)是Google Earth團(tuán)隊(duì)的。