|
摘要:提出了一種無需編程的新型機器視覺係統,該係統針對市場上現有視覺係統使用難度大、對工程師技術要求高等問題,基於嵌入式係統的穩定性、便攜性,配合工具可配置的軟件開發框架設計了一款小巧且功能豐富的標準視覺產品。該產品已經投入市場,可應用於目標檢測、定位引導、測量等多種場景,取得了良好的市場反饋。本文將給出該係統的詳細硬件框架以及軟件設計思路。
關鍵詞:嵌入式係統;DSP;機器視覺;智能相機
中圖分類號: 文獻標識碼:
概述
機ji器qi視shi覺jiao就jiu是shi用yong機ji器qi代dai替ti人ren眼yan來lai做zuo測ce量liang和he判pan斷duan,其qi可ke以yi快kuai速su獲huo取qu大da量liang信xin息xi,而er且qie易yi於yu自zi動dong處chu理li,也ye易yi於yu同tong設she計ji信xin息xi以yi及ji及ji加jia工gong控kong製zhi信xin息xi集ji成cheng,因yin此ci,在zai現xian代dai自zi動dong化hua生sheng產chan過guo程cheng中zhong,人ren們men將jiang機ji器qi視shi覺jiao係xi統tong廣guang泛fan地di用yong於yu工gong況kuang監jian視shi、成品檢驗和質量控製等領域[ 朱正德. 機器視覺:質量監控的第三隻眼——機器視覺在發動機廠裝配線上的應用[C]., 2010: 56-58.]。由於其具有高精度、非接觸、穩定等特點,在國內外工業領域得到了廣泛的應用,大大提高了產品質量和生產線的自動化程度[ 段峰, 王耀南, 雷曉峰, et al. 機器視覺技術及其應用綜述[C]., 2002, 19(3): 59-61.]。
總體而言,國內在機器視覺產品研究開發上與國外相比還有一定差距,目前國內在機器視覺產品研究開發水平上仍處於一個比較低水平[ 劉曙光, 劉明遠. 機器視覺及其應用[C]., 2000, 21(4): 11-15.]。普遍采用的是國外產品。目前應用主要集中在檢測、定位、運動控製、機器人等幾個領域。而在近2年,在運動控製、生產流水線、診斷、測試、shukongshebeidengjigelingyuduiyujiqishijiaodeyingyongxuqiuzengchangzuiweixunsu。duiyujiqishijiaoruanjiandeyanjiuyezhengjinyibushenru。suizhexingyeyingyongyuelaiyueduo,yaoqiuyuelaiyuegao,muqianshichangshangdejiqishijiaoxitongyijingjiaonanmanzuxingyexuqiu,pubiancunzaikaifanan、使用難、xiaoshounandengbiduan。zhexiequedianzhuyaobiaoxianzaixitongdebiaozhunhuachengdubugougao,zhenduimeiyigekehudouxuyaotourudaliangkaifarenli,qiekaifachudexitongfuyongxingruo,yonghutiyanbuhao,houqiweihunanduda、成本高。因此開發出一款無需編程,配置簡單,提供軟硬件配置且銷售簡單的機器視覺係統十分必要。
本文介紹一種無需編程的新型機器視覺係統,針對上述市場現狀,其有以下優點:1、可配置的,無需編程,達到像家用電器一樣簡單易用;2、提供一種通用的應用平台,包含眾多的單元機器視覺工具;3、不是基於某種智能相機或通用視覺係統開發的應用係統,它集底層開發和應用開發於一身;4、進行了垂直整合,把核心係統與應用工藝進行了整合;5、模塊化,為設備製造商、最終用戶後裝提供配套;6、係統銷售模式簡單化;7、係統成本結構進行優化,是具有明顯價格優勢的產品。下麵從硬件、軟件兩個方麵介紹該係統的詳細設計思路。
1 硬件框架
該係統基於圖像分析技術對設備作業過程進行監視、測量,采用特征提取、模板比對的方式,將現場實時采集到的圖像與正常工況的標準圖像進行比較,實現捕捉異常、分析判斷、報警停機的功能。標準的模板是基於對正常工況下的影像進行分析,提取特征,比對時隻是對模板的特征(組合)與(yu)現(xian)場(chang)實(shi)時(shi)圖(tu)像(xiang)中(zhong)相(xiang)應(ying)的(de)特(te)征(zheng)進(jin)行(xing)比(bi)較(jiao),借(jie)以(yi)判(pan)斷(duan)是(shi)否(fou)有(you)異(yi)常(chang)發(fa)生(sheng)。這(zhe)種(zhong)監(jian)測(ce)方(fang)法(fa)並(bing)不(bu)能(neng)取(qu)代(dai)自(zi)動(dong)設(she)備(bei)所(suo)具(ju)備(bei)的(de)自(zi)診(zhen)斷(duan)功(gong)能(neng),但(dan)對(dui)防(fang)止(zhi)作(zuo)業(ye)過(guo)程(cheng)走(zou)偏(pian) ,防止次品的產出,甚至設備遭受破壞等具有良好的效果。產品由以下幾個主要部分構成:
1.基於DSP/ARM的核心處理器
2.光學鏡頭、圖像傳感器、前端處理及接口(即攝像機部分)
3.FPGA充當圖像處理的加速器和外設接口邏輯
4.GPIO和串行通訊
5.以太網通訊

圖1 係統硬件框架
如圖1所示,其中DSP/ARM處理器采用TI OMAP4460 CPU[ 陳曉霜, 吳蒙. 基於OMAP遠程視頻監控係統的研究與實現[C]., 2015, 25(4): 177-180.],其ARM Cortex-A9主頻達到1.8GHz,內置DSP,這比迄今為止大多數的智能相機硬件平台性能水平都高;相機分辨率以1280x1024為主,同時也支持5百萬象素或以上的相機;儲存器支持NOR FLASH和NAND FLASH,同時可以擴展SD卡;FPGA作為外設的邏輯擴展設備,主要由兩個作用:負責圖像數據的緩衝和預處理,再送往DSP處理器進行對應的算法處理;通訊方麵支持以太網和串口,可以方便和機械手、PLC等設備連接;I/O設置上配備GPIO(通用輸入輸出),連接現場發送過來的觸發信號(輸入,觸發拍照),和發送到設備的控製信號(輸出)。
此外,該係統可提供兩種形式的產品:
視覺平板。具備視覺應用所需各種功能接口的硬件平台,其特點如下: LCD顯示器及觸摸屏功能(大屏幕);內置高性能的處理器(ARM架構);相機接入;I/O接口:RS-232, USB, 10/100/1000 Ethernet;網絡通信功能:WiFi;加密保護。

圖2 視覺平板Vpad
智能相機。具備如下特點:小巧: 體積小、重量輕, 工業等級產品;板上相機;I/O:GPIO; 網絡連接:Ethernet, WiFi;加密保護等。如圖3所示。

圖3 智能相機VDSR
2 軟件技術
係統中的ARM處理器主要負責資源管理、邏輯控製,搭載Angstrom Linux係統,並集成機器視覺所需功能模塊的驅動。係統軟件開發的具體內容包括:USB攝像頭、GPIO、液晶觸摸屏、RS-232等的驅動實現,Angstrom Linux係統的移植。Angstrom Linux是一種運行與嵌入式平台的發行版桌麵係統,裏麵集成了大部分係統工具和庫文件,包括軟件開發和算法開發用到的QT和opencv[ 蘇慧娟, 於正林, 張桂林, et al. 基於OpenCV的圖像處理[C]., 2014: 18-19.][ 王福斌, 李迎燕, 劉傑, et al. 基於OpenCV的機器視覺圖像處理技術實現[C]., 2010: 54-57.]庫(ku),且(qie)其(qi)可(ke)以(yi)通(tong)過(guo)在(zai)線(xian)編(bian)譯(yi)的(de)方(fang)式(shi)選(xuan)擇(ze)自(zi)己(ji)需(xu)要(yao)的(de)工(gong)具(ju)庫(ku),自(zi)定(ding)義(yi)程(cheng)度(du)高(gao),非(fei)常(chang)適(shi)合(he)在(zai)資(zi)源(yuan)短(duan)缺(que)的(de)嵌(qian)入(ru)式(shi)產(chan)品(pin)中(zhong)應(ying)用(yong)。底(di)層(ceng)模(mo)塊(kuai)的(de)驅(qu)動(dong)程(cheng)序(xu)則(ze)通(tong)過(guo)linux官方內核中修改移植實現。
應用層軟件開發基於Ubuntu係統,采用QT進行軟件的界麵設計和邏輯設計。Ubuntu是一款基於linux的免費開源桌麵PC操作係統,其可以方便地配置和嵌入式平台上類似的環境,如QT和opencv。該係統的軟件設計目標是無需編程、簡單配置、模塊化,因此將所有可能用到的視覺工具集成到一個集成化的軟件平台vdStudio中,包括定位、測量、檢測、標biao定ding等deng常chang用yong工gong具ju。結jie合he圖tu形xing化hua用yong戶hu界jie麵mian,用yong戶hu可ke以yi輕qing鬆song選xuan擇ze和he配pei置zhi每mei一yi個ge工gong具ju,且qie界jie麵mian都dou基ji於yu用yong戶hu習xi慣guan而er設she計ji,簡jian單dan易yi學xue易yi用yong。此ci外wai,係xi統tong支zhi持chi脫tuo機ji運yun行xing,實shi現xian一yi次ci配pei置zhi,永yong久jiu運yun行xing。如ru圖tu4所示。

圖4 用戶圖像界麵
3 算法研究
算法是機器視覺係統的核心,相對於係統其他部分,算法對視覺功能貢獻最大、最(zui)關(guan)鍵(jian)。從(cong)市(shi)場(chang)份(fen)額(e)上(shang)看(kan),以(yi)核(he)心(xin)軟(ruan)件(jian)算(suan)法(fa)為(wei)基(ji)礎(chu)的(de)標(biao)準(zhun)機(ji)器(qi)視(shi)覺(jiao)係(xi)統(tong)銷(xiao)售(shou)量(liang)幾(ji)乎(hu)占(zhan)到(dao)整(zheng)個(ge)機(ji)器(qi)視(shi)覺(jiao)行(xing)業(ye)的(de)一(yi)半(ban),可(ke)見(jian)算(suan)法(fa)和(he)軟(ruan)件(jian)的(de)重(zhong)要(yao)性(xing)。如(ru)果(guo)算(suan)法(fa)不(bu)好(hao),視(shi)覺(jiao)功(gong)能(neng)就(jiu)沒(mei)法(fa)實(shi)現(xian),或(huo)者(zhe)雖(sui)能(neng)實(shi)現(xian)功(gong)能(neng),但(dan)性(xing)能(neng)上(shang)不(bu)具(ju)有(you)競(jing)爭(zheng)力(li)。算(suan)法(fa)本(ben)來(lai)很(hen)不(bu)錯(cuo),但(dan)軟(ruan)件(jian)編(bian)製(zhi)得(de)不(bu)好(hao)也(ye)會(hui)直(zhi)接(jie)影(ying)響(xiang)視(shi)覺(jiao)係(xi)統(tong)功(gong)能(neng)優(you)化(hua)及(ji)性(xing)能(neng)指(zhi)標(biao)。算(suan)法(fa)及(ji)軟(ruan)件(jian)係(xi)統(tong)是(shi)一(yi)個(ge)以(yi)標(biao)準(zhun)係(xi)統(tong)為(wei)產(chan)品(pin)的(de)視(shi)覺(jiao)公(gong)司(si)最(zui)重(zhong)要(yao)的(de)積(ji)累(lei)。在(zai)市(shi)場(chang)競(jing)爭(zheng)中(zhong),算(suan)法(fa)是(shi)否(fou)有(you)競(jing)爭(zheng)力(li)往(wang)往(wang)起(qi)到(dao)十(shi)分(fen)關(guan)鍵(jian)的(de)作(zuo)用(yong)。除(chu)了(le)已(yi)有(you)的(de)積(ji)累(lei),如(ru)何(he)能(neng)獲(huo)得(de)更(geng)多(duo)的(de)算(suan)法(fa)軟(ruan)件(jian)資(zi)源(yuan)為(wei)我(wo)所(suo)用(yong),也(ye)是(shi)決(jue)定(ding)本(ben)項(xiang)目(mu)成(cheng)敗(bai)的(de)關(guan)鍵(jian)因(yin)素(su)之(zhi)一(yi)。除(chu)了(le)自(zi)己(ji)在(zai)一(yi)些(xie)細(xi)分(fen)領(ling)域(yu)中(zhong)研(yan)發(fa)自(zi)己(ji)的(de)算(suan)法(fa)外(wai),通(tong)過(guo)合(he)作(zuo)及(ji)分(fen)成(cheng)模(mo)式(shi),我(wo)們(men)能(neng)將(jiang)國(guo)際(ji)上(shang)優(you)秀(xiu)的(de)軟(ruan)件(jian)和(he)算(suan)法(fa)找(zhao)來(lai)為(wei)己(ji)所(suo)用(yong)也(ye)是(shi)提(ti)升(sheng)產(chan)品(pin)的(de)重(zhong)要(yao)路(lu)徑(jing)。
該係統軟件設計上采用了多種優秀的設計模式,使得在具體使用的時候可以靈活選擇何種算法。其中有自主研發的VD300 SDK(軟件開發包),包括CG算法、基麵矯正、圖像拚接、掃描控製等算法函數庫;基於opencv開發的算法SDK,包括模板匹配、測量、blob檢測等工具;通用的機器視覺函數庫IPT(Image Processing Toolset)等。
4 結束語
該係統可以直接使用的視覺電器,不需要經過ASP的集成,不需要編程序,像家用電器一樣,通過閱讀使用說明書就能輕鬆上手。 從cong廠chang家jia到dao用yong戶hu,沒mei有you技ji術shu集ji成cheng環huan節jie,節jie省sheng的de成cheng本ben還hai可ke以yi讓rang利li給gei用yong戶hu,降jiang低di產chan品pin售shou價jia。用yong戶hu獲huo得de的de是shi所suo需xu的de功gong能neng,不bu需xu要yao了le解jie過guo多duo的de技ji術shu細xi節jie,銷xiao售shou時shi隻zhi要yao找zhao準zhun目mu標biao用yong戶hu,說shuo明ming產chan品pin的de功gong能neng,盯ding住zhu競jing爭zheng優you勢shi,普pu通tong銷xiao售shou業ye務wu員yuan無wu需xu太tai強qiang的de技ji術shu背bei景jing都dou能neng勝sheng任ren。
|