三維成像進入機器視覺世界

機器視覺作為計算機科學(xué)的一個子集已經(jīng)存在超過20年了。然而，近幾年來，三維成像技術(shù)以一種更為引人注目的方式進入機器視覺世界。對三維視覺的無數(shù)種方法進行了研究，但只有少數(shù)這些技術(shù)已被商業(yè)化。最杰出的三維影像產(chǎn)品一直是微軟Kinect為Xbox 360游戲機。Kinect采用的是“光”的原則來計算深度。它有一個額外的彩色攝像機內(nèi)置允許皮膚顏色被應(yīng)用到3D場景。還有其他一些常見的三維成像技術(shù)，如立體視覺，飛行時間（TOF）、激光三角法和干涉法等等。其他人被故意省略，因為這篇文章是不打算討論他們所有。

 

干涉

大多數(shù)機器視覺應(yīng)用程序有一個不斷增長的需求，掃描速度和空間分辨率。三維應(yīng)用也不例外。作為機器視覺工程師都非常清楚，需要捕獲大的視場（FOV）往往競爭與預(yù)期（或提供）的分辨率和掃描速度的系統(tǒng)。一個應(yīng)用三維成像視場和速度往往是不可知論者是計量。在這里，它是更可取的，以實現(xiàn)在X，Y和Z尺寸的最高可能的空間分辨率。一種典型的三維測量系統(tǒng)的三維成像技術(shù)是基于垂直掃描白光干涉。

該技術(shù)利用干涉圖和基于條紋對比度的提取高度。與大多數(shù)其他的三維成像技術(shù)相比，這一個實現(xiàn)的分辨率超出了可見光的折射極限。這些系統(tǒng)是能夠解決的，以單個數(shù)字納米（納米）。看近似場（FOV）這樣的系統(tǒng)通常限于約200微米（?m）x 200 m×10 m??垂直運動的透鏡元件或掃描頭是必要的，這樣就增加了掃描時間。這些限制使使用這種特定的技術(shù)以外的計量不可取的，特別是對機器視覺應(yīng)用涉及移動部件。

 

結(jié)構(gòu)光

如前所述，微軟的Kinect是最知名的基于結(jié)構(gòu)光的三維成像系統(tǒng)。雖然它在消費電子和視頻游戲市場上首次亮相，但這項技術(shù)的使用已經(jīng)蔓延到工業(yè)機器視覺領(lǐng)域。有人企圖利用Kinect拾放機器人的應(yīng)用，機器視覺軟件供應(yīng)商發(fā)布Kinect驅(qū)動程序和接口，和大學(xué)是基于Kinect機器視覺研究的起點。這是一個很有能力的，低成本的3D和1280 x 1024像素，每秒15幀的采樣率的二維成像平臺（FPS）。

 Kinect有一個內(nèi)置的紅外（IR）激光投影系統(tǒng)，是人眼看不見的。它將一個紅外點模式引入到它的視圖字段中。它采用像散透鏡（X、Y軸不同焦距）來區(qū)分遠近基于投影點的伸長方向的物體。它還結(jié)合了兩個三維成像技術(shù)：從立體聲的深度和深度。這種系統(tǒng)的局限性，當(dāng)它涉及到應(yīng)用機器視覺是固定投影和成像光學(xué)，和整體外形的因素，這是專為客廳。盡管如此，Kinect是一個最新的強大的三維成像系統(tǒng)，盡管它的成本低。

 

雙目立體視覺

這項技術(shù)似乎在最近幾年卷土重來。無論是在最小的侵入性手術(shù)或自主機器人應(yīng)用的醫(yī)療成像，使用兩個攝像頭在一個定義的角度來創(chuàng)建深度感知是一個相對直觀的方法，因為它非常相似的人類視覺的三維成像。然而，用于處理的圖像的幾何算法可以迅速變得更復(fù)雜，如果無論是相機或風(fēng)景的運動引入。根據(jù)精度的要求，這兩個相機需要進行同步，以避免在圖像捕獲的時間誤差，這將導(dǎo)致一個錯誤的深度和位置知覺。

相機也需要避免不同倍率鏡頭的焦距設(shè)置準(zhǔn)確。例如，實現(xiàn)一個具有變焦鏡頭的立體視覺系統(tǒng)，增加了另一層的復(fù)雜性，因為鏡頭的焦距可以改變，需要相機的相對角度來改變。環(huán)境越控制，就越容易校準(zhǔn)一個立體視覺系統(tǒng)。一個典型的結(jié)果圖像被稱為一個視差圖或差分圖，用戶可以從中提取進一步的信息的對象（S）的觀察。

 

飛行時間

只有幾次的飛行相機商業(yè)上可用于機器視覺應(yīng)用。他們中的一些人偽裝成智能的三維傳感器。這些傳感器或相機通常使用一個紅外發(fā)光二極管陣列，波長約為780至900納米。的紅外光的產(chǎn)生與在傳感器中的檢測器，以確定一個相移，因此允許飛行時間的計算是緊密同步的。從飛行時間，傳感器能夠計算距離的對象，從該光反彈回來。一個人最大的缺點與目前可用的TOF傳感器和攝像頭主要是在X和Y傳感器分辨率的空間分辨率通常在175×145像素的范圍。通常情況下，鏡頭是不可更換的，限制了這一技術(shù)到一個固定的信封。有一些啟動公司在市場上，正在試圖解決更高的像素分辨率的需求。

 

激光三角法

到目前為止，最常用的是基于激光三角測量的機器視覺應(yīng)用中最常用的三維技術(shù)。一個典型的可見光半導(dǎo)體激光器是用在一個點或線投影在一個二維的互補金屬氧化物半導(dǎo)體（CMOS）或組合光電荷耦合器件（CCD）攝像機。有時，所有這些元素都被納入一個密封的傳感器外殼。這些激光三角測量傳感器有幾個不同的類別。最簡單的形式是一個一維的距離傳感器。激光點投射到一個面和反彈一個位置敏感傳感器或CMOS或CCD陣列。三角測量是用來計算從傳感器到表面的有效距離。它是可能的測量一個單一的點的距離，或與另外的一個運動系統(tǒng)，通過點掃描的輪廓或整個表面執(zhí)行一個點。

第二類包括2?D傳感器，這本質(zhì)上是相同的一維傳感器，但與激光線而不是一個單一的點。一個2?D傳感器可以捕獲在一個單一的掃描實例對象的截面輪廓。一個真正的三維激光三角測量系統(tǒng)具有緩沖這些2?D剖面的記憶和傳遞一個完整的3-D圖像或進行處理的完整的圖像在內(nèi)存中可用的算法基于固件的能力。從這些三維相機或系統(tǒng)的典型的圖像格式是一個16位“高度圖”，所有的X和Y的位置是相同的，從一個二維圖像的期望。的Z高度信息包含在強度（亮度）值的形式。對于校準(zhǔn)的傳感器輸出，圖像格式也可以是一個浮點型，以毫米（毫米）的高度值為例。

激光三角測量技術(shù)在機器視覺中是常見的，因為它結(jié)合了良好的分辨率與速度，通常提供的工作距離和視野的靈活性。然而，與任何其他的三維方法，這也有它的局限性和挑戰(zhàn)。

讓我們先來看看如何從一個單一的激光輪廓投影到一個物體的高度計算。假設(shè)激光線是在利益觀或地區(qū)的預(yù)定義場（AOI）的相機，激光線的中心需要確定。這是由于這樣的激光被反射表面和激光斑點。換言之，激光線似乎比它實際上更廣泛。

尋找激光線的中心有三種常見的算法。所有的算法搜索一個時間的一個像素列的基礎(chǔ)上的線的中心。在任何給定的像素列中確定的中心的Y位置與三角化的角度轉(zhuǎn)換成Z高度值。該峰值算法尋找在列中的最亮的像素。閾值算法尋找一個設(shè)置閾值的像素值。這兩種算法都是快速的，但僅限于全像素分辨率。第三算法是基于計算重心（COG）的激光線厚度一般高斯分布。COG方法允許使用亞像素估計使高度測量更準(zhǔn)確。這種方法的一個缺點是，它是非常處理器密集型的，它可能會減慢的3D相機的掃描速度顯著，除非相機有一個專用的處理器，以應(yīng)付它。

現(xiàn)在，我們知道了如何構(gòu)建的三維圖像，讓我們看看在應(yīng)用三維成像使用這種技術(shù)中遇到的典型的挑戰(zhàn)。

表面反射是最大的挑戰(zhàn)之一。反射是表面的能力，以反映任何給定的波長的光。激光是單色光源，例如660納米（紅色）。掃描一個暗淡的，黑色的橡膠材料，如輪胎可能會導(dǎo)致大部分的紅色激光線被吸收到它的表面，這樣很少的光會反射到相機。減輕這種低信號強度的一些方法是打開鏡頭的光圈，降低掃描速度，或增加激光功率。相反的將是真實的一個閃亮的表面在一定程度上。獲得一個干凈的圖像變得更具挑戰(zhàn)性時，表面由兩個沉悶和閃亮的部分，造成無論是在或在曝光。

一些更復(fù)雜的三維相機有一個擴展的動態(tài)范圍和多斜率掃描能力，以幫助解決這些挑戰(zhàn)。除了表面光潔度，也有幾何的挑戰(zhàn)，往往發(fā)生。這些主要是由三角的角度引起的。簡單的東西像一個90度的垂直墻可能會導(dǎo)致不準(zhǔn)確的結(jié)果，這取決于部分方向和三角設(shè)置。有時解決一個幾何挑戰(zhàn)的唯一方法是使用第二個激光，第二個相機或兩者，在這種情況下，兩個相機和或兩個激光器需要準(zhǔn)確地對齊和校準(zhǔn)，使他們的圖像可以準(zhǔn)確地合并。

是三維成像準(zhǔn)備在工業(yè)機器視覺應(yīng)用的黃金時段？絕對！三維成像是一個成熟的和強大的成像工具，一個廣泛的應(yīng)用程序，并可以使收購的有價值的信息，二維成像不能。無論你選擇的應(yīng)用程序的三維成像技術(shù)，重要的是要記住，三維系統(tǒng)是遠離瑣碎的配置和操作，盡管傳感器制造商的營銷努力。不要期待完美的三維圖像。這些圖像通常帶有“孔”或丟失的數(shù)據(jù)，有時包括錯誤的數(shù)據(jù)所造成的反射和不利的部分的幾何形狀。一個完整的單獨的軟件工具是必要的處理與處理前處理，校準(zhǔn)，圖像融合，視差圖生成，高度地圖到點云轉(zhuǎn)換，和缺陷檢測。

如果相機供應(yīng)商堅持機器視覺標(biāo)準(zhǔn)的接口和協(xié)議很有幫助，如視覺和genicam使現(xiàn)有的機器視覺軟件工具可以很方便的接口硬件的三維成像。另一個考慮的領(lǐng)域是激光安全，這是經(jīng)常被忽視的。典型的激光器用于這些應(yīng)用屬于IIIB類的范疇，不是人眼安全。激光安全員通常是在安裝現(xiàn)場需符合OSHA要求除其他設(shè)計和實施措施。然而，一旦正確實施，3D成像將為您的應(yīng)用程序添加一個全新的視角。

 

技術(shù)提示

三維成像可以使采集到的有價值的信息，二維成像不能。

軟件工具可以處理前處理，校準(zhǔn)，圖像合并，視差圖生成，高度地圖到點云轉(zhuǎn)換，和缺陷檢測。

如果相機提供商堅持機器視覺標(biāo)準(zhǔn)的接口和協(xié)議，現(xiàn)有的機器視覺軟件工具可以很容易地接口的三維成像硬件。