前言:尋找寫作靈感?中文期刊網(wǎng)用心挑選的視覺檢測機(jī)器人系統(tǒng)設(shè)計(jì),希望能為您的閱讀和創(chuàng)作帶來靈感,歡迎大家閱讀并分享。
摘要:
為提高蘋果采摘的自動化與智能化水平,降低重復(fù)繁瑣的人工勞動強(qiáng)度,減少對果實(shí)的損壞率,研制了一款用于蘋果成熟自動檢測并采摘的輪式機(jī)器人系統(tǒng)。系統(tǒng)由硬件平臺和軟件平臺兩部分組成。其中,硬件平臺由四輪驅(qū)動越野小車、IPC-610L工控機(jī)、圖像數(shù)據(jù)采集卡、四自由度機(jī)械臂和末端執(zhí)行器組成;軟件平臺基于VisualC++6.0開發(fā)環(huán)境,使用雙目立體視覺技術(shù)和圖像處理技術(shù)實(shí)現(xiàn)對蘋果的識別與定位,再通過機(jī)械臂的路徑規(guī)劃實(shí)現(xiàn)對蘋果的采摘。通過仿真實(shí)驗(yàn)和數(shù)據(jù)分析表明:機(jī)器人在無人值守的情況下,能實(shí)現(xiàn)自動導(dǎo)航、自動識別、自動采摘蘋果等功能,并且識別成功率大于94.00%,采摘成功率達(dá)到91.33%,平均采摘周期約為11s,具有較高的準(zhǔn)確性及穩(wěn)定性。
關(guān)鍵詞:
輪式機(jī)器人;蘋果采摘;機(jī)械臂;雙目視覺;圖像處理
0引言
近年來,農(nóng)業(yè)果蔬采摘機(jī)器人的研究受到了科研工作者的青睞[1-7]。采摘機(jī)器人的研制能夠減輕果蔬采收的勞動強(qiáng)度,改善果蔬品質(zhì),實(shí)時自動采摘,將人類從繁重的勞動強(qiáng)度中解放出來。2014年,國家主席在兩院院士講話中指出:希望把我國機(jī)器人水平提高上去,而且要盡可能多地占領(lǐng)市場。可見,未來采摘機(jī)器人將受到更加廣泛的關(guān)注。早在20世紀(jì)60年代,日本、荷蘭等國家就已經(jīng)開始研制果蔬自動采摘的技術(shù)與裝備,采摘對象有黃瓜、草莓、蘑菇及番茄等。例如:日本Kawamura等人研制了西紅柿采摘機(jī)器人;日本岡山大學(xué)研制了一種5自由度極坐標(biāo)機(jī)械手,適宜采摘果園棚架栽培模式下的成熟葡萄[2]。1996年,荷蘭農(nóng)業(yè)環(huán)境工程研究所(IMAG)設(shè)計(jì)了一種7自由度多功能黃瓜采摘機(jī)器人[3]。1983年,法國Cemagref研究所首次研制出蘋果采摘機(jī)器人。國內(nèi)果實(shí)采摘機(jī)器人研究起步較晚,部分高校及科研院所對各種果蔬采摘機(jī)器人相繼開展了研究。南京農(nóng)業(yè)大學(xué)的姬長英等人設(shè)計(jì)了一種智能水果采摘機(jī)器人[4]。蘇州大學(xué)趙德安等人研制了一種蘋果采摘機(jī)器人,可以快速跟蹤識別目標(biāo)果實(shí)[5]。中國農(nóng)業(yè)大學(xué)李偉等人研制了黃瓜采摘機(jī)器人,運(yùn)用近紅外光譜特征提取技術(shù),實(shí)現(xiàn)對黃瓜的準(zhǔn)確識別和定位,采摘速度達(dá)到28.6s,機(jī)械手抓取成功率高85%[6-7]。目前,由于農(nóng)業(yè)果蔬采摘機(jī)器人的作業(yè)環(huán)境極其復(fù)雜、光線多變、動態(tài)搜尋中的干擾物及莖葉干涉末端執(zhí)行器運(yùn)動等諸多問題,使得目前采摘機(jī)器人系統(tǒng)復(fù)雜、結(jié)構(gòu)龐大笨重、能耗高、采摘效率低,限制了采摘機(jī)器人的產(chǎn)業(yè)化和智能化。為此,研制了一款蘋果采摘輪式機(jī)器人,能夠自主導(dǎo)航、自動檢測成熟紅蘋果及準(zhǔn)確定位并自動采摘。采摘過程中采用2R-G-B法處理圖像,通過OTSU算法對彩色蘋果圖像進(jìn)行動態(tài)閾值分割,能夠快速精準(zhǔn)地識別出成熟果實(shí),配合輕巧靈活的機(jī)械手,為實(shí)現(xiàn)農(nóng)業(yè)果實(shí)采摘自動化、智能化提供了寶貴經(jīng)驗(yàn)。
1硬件構(gòu)成
蘋果采摘輪式機(jī)器人硬件結(jié)構(gòu)主要由輪式移動平臺、4自由度采摘機(jī)械臂、雙目視覺系統(tǒng)、末端執(zhí)行器和電氣系統(tǒng)5大模塊組成。
1.1輪式移動平臺
由于果園的地面環(huán)境極其復(fù)雜,為了適應(yīng)崎嶇的路面環(huán)境,該移動平臺選用了四輪驅(qū)動的自動導(dǎo)航越野車。采用48V鋰電池供電,電能可供整體采摘作業(yè)之用,且鋰電池可以進(jìn)行適時充電。在越野車的前部連接有矩形的果實(shí)收集裝置,雙目攝像機(jī)安裝在移動平臺上方,實(shí)時獲取圖像,機(jī)械臂位于雙目攝像機(jī)正前方。
1.2末端執(zhí)行器
目前,已有的末端執(zhí)行器一般采用適當(dāng)力量折斷果柄的方法,可能會導(dǎo)致采摘平臺搖晃,采摘定位不準(zhǔn),或造成果實(shí)損傷。基于此問題,設(shè)計(jì)了輕巧實(shí)用的末端執(zhí)行器。本末端執(zhí)行器采用氣動剪刀手,由采摘刀片、緩沖墊片、紅外傳感器及氣泵控制系統(tǒng)組成。首先在雙目視覺系統(tǒng)的識別定位下,4自由度的機(jī)械臂在三維空間中運(yùn)動帶動機(jī)械手到達(dá)指定的坐標(biāo)位置后,在氣泵的作用下采摘手打開;末端執(zhí)行器上的紅外傳感器實(shí)時地檢測采摘手是否抓取到蘋果;若抓取不成功,經(jīng)過不斷地調(diào)整采摘位置,根據(jù)機(jī)器人控制指令,將末端執(zhí)行器送到準(zhǔn)確的目標(biāo)位置;最終在氣泵的作用下采摘手瞬間夾斷蘋果的果柄,實(shí)現(xiàn)對果實(shí)的采摘,最終將采摘的蘋果回收到果籃中。
1.3機(jī)械臂
本設(shè)備采用4自由度柔性機(jī)械臂。機(jī)械臂總高度138cm,底座距離地面高度為80cm,采摘精度范圍為2mm。該機(jī)械臂是一種典型的串聯(lián)式機(jī)器人,機(jī)械臂由末端執(zhí)行器及4個關(guān)節(jié)組成[9]。機(jī)械手腰部、大臂、小臂的轉(zhuǎn)動均采用交流伺服電機(jī)作為驅(qū)動源,選用行星齒輪減速器對電機(jī)進(jìn)行減速,同時提高最終的輸出扭矩。從下至上順序串聯(lián)的傳動機(jī)構(gòu)、光電機(jī)構(gòu)、旋轉(zhuǎn)機(jī)構(gòu)、氣動剪刀手和紅外傳感器,底座通過螺栓與移動平臺連接。旋轉(zhuǎn)機(jī)構(gòu)由能水平、垂直四維度自由旋轉(zhuǎn)的關(guān)節(jié)轉(zhuǎn)動軸、與關(guān)節(jié)轉(zhuǎn)動軸連接的關(guān)節(jié)電機(jī)、光電機(jī)構(gòu)和旋轉(zhuǎn)臂組成,每個電機(jī)都有相應(yīng)的轉(zhuǎn)動范圍,其活動范圍由機(jī)械臂上裝有的限位光電開關(guān)來限定[10]。機(jī)械臂的采摘半徑為100cm,能夠滿足蘋果采摘在空間上的要求。
1.4蘋果識別定位系統(tǒng)
機(jī)器人識別和定位的準(zhǔn)確率嚴(yán)重影響蘋果采摘的成功率,因此蘋果視覺定位系統(tǒng)的選取很重要。本設(shè)備采用雙目視覺系統(tǒng)對蘋果進(jìn)行準(zhǔn)確識別和定位,應(yīng)用C++程序編寫算法,采用2R-G-B法處理圖像,通過OTSU算法對彩色蘋果圖像進(jìn)行動態(tài)閾值分割,采集對不同成熟度蘋果的視頻信息,對拍攝的照片進(jìn)行處理和分析,判斷蘋果是否成熟并準(zhǔn)確識別和定位[11-14]。蘋果的識別與定位過程為:首先打開軟件主控界面,機(jī)器人視覺系統(tǒng)初始化之后,通過采集卡傳送至工控機(jī)處理端,攝像機(jī)獲取實(shí)時圖像,并傳至工控機(jī)處理端;對所獲取的兩幅圖像的亮度做直方圖均衡化處理,提高圖像對比度;對圖像進(jìn)行二值化處理,去除非紅色區(qū)域,對二值圖像做腐蝕處理,腐蝕掉紅色細(xì)微小塊,去除干擾,膨脹處理;對大的紅色區(qū)適度還原;最終系統(tǒng)主控界面會彈出ROBOTCTRL對話框顯示蘋果的實(shí)時三維坐標(biāo)并將數(shù)值傳送到機(jī)械手控制端。
1.5電氣系統(tǒng)
越野車的所有供電由48V鋰電池來提供,驅(qū)動小車運(yùn)動的伺服電機(jī)為48V直流電源,雙目視覺攝像頭為直流12V,機(jī)器臂伺服電機(jī)需要24V直流電源。電機(jī)驅(qū)動電氣系統(tǒng)由直流電機(jī)、編碼器、減速器組成。小車前方液晶顯示模塊用來顯示鋰電池電壓、電流及電量。
2控制系統(tǒng)與軟件設(shè)計(jì)
2.1控制系統(tǒng)
本文設(shè)計(jì)的蘋果采摘機(jī)器人控制系統(tǒng)硬件由便攜式工控機(jī)、數(shù)據(jù)采集卡、圖像采集卡、電機(jī)伺服控制和末端執(zhí)行器等5個部分組成[15]。選用多軸運(yùn)動控制卡作為蘋果采摘機(jī)器人控制系統(tǒng)硬件結(jié)構(gòu)的核心組件。蘋果采摘機(jī)器人控制器采用IPC-610L工控機(jī),可以實(shí)現(xiàn)機(jī)械臂運(yùn)動學(xué)計(jì)算、圖像處理、各關(guān)節(jié)編碼器反饋信息和傳感器信息的處理和顯示、機(jī)械臂關(guān)節(jié)的交流伺服驅(qū)動器的控制,以及蘋果采摘的路徑規(guī)劃等功能。其中,工控機(jī)集成了軟件和控制界面,對整個系統(tǒng)進(jìn)行控制;圖像采集系統(tǒng)、數(shù)據(jù)采集系統(tǒng)通過處理視覺傳感器和外部傳感器收集的信號,完成蘋果采摘機(jī)器人外圍環(huán)境信息的采集,轉(zhuǎn)換成數(shù)字信號為工控機(jī)所用;工控機(jī)輸出控制信號,最終驅(qū)動交流伺服電機(jī)和末端執(zhí)行器運(yùn)動,完成對目標(biāo)果實(shí)的定位和抓取。
2.2軟件設(shè)計(jì)
蘋果采摘機(jī)器人的軟件設(shè)計(jì)主要考慮控制的開放性和穩(wěn)定性。工控機(jī)的操作系統(tǒng)選用WindowsXP,使用CAN總線和RS232總線控制器實(shí)現(xiàn)人機(jī)之間的通信。由于控制系統(tǒng)的開放性,使得機(jī)器人的通用性大大提高,整個硬件和軟件系統(tǒng)可以滿足機(jī)器人對蘋果的成熟度檢測和采摘任務(wù)。在軟件運(yùn)行后,先點(diǎn)擊啟動CAN,然后打開串口。控制界面包含了機(jī)械臂各關(guān)節(jié)的調(diào)整、復(fù)位、車輪運(yùn)動控制、自主采摘等一些必要的按鈕。抓取果實(shí)演示按鈕就是讓機(jī)器人開始工作;停止運(yùn)動按鈕是為了防止機(jī)器人發(fā)生誤操作而造成損壞的情況;實(shí)時顯示按鈕是雙目攝像機(jī)拍到的實(shí)時的動態(tài)圖片。
2.3首先獲取蘋果實(shí)時圖
像,對圖像進(jìn)行處理。通過位置傳感器將蘋果的空間坐標(biāo)發(fā)送給機(jī)械臂控制系統(tǒng),驅(qū)動機(jī)械臂采摘蘋果,完成對蘋果的采摘。果實(shí)采摘控制程序主要包括圖像的預(yù)處理、果實(shí)識別與定位、實(shí)時反饋等。
3試驗(yàn)結(jié)果與分析
3.1試驗(yàn)?zāi)康?/p>
實(shí)驗(yàn)室試驗(yàn)主要目的:測試蘋果采摘輪式機(jī)器人的輪式移動平臺、4自由度采摘機(jī)械臂、雙目視覺、末端執(zhí)行器能否高度協(xié)同完成智能化采摘;測試在理想情況下成熟果實(shí)的采摘效率、識別正確率和采摘成功率。
3.2采摘效率
機(jī)器人自動導(dǎo)航到達(dá)最佳的采摘位置,發(fā)現(xiàn)采摘目標(biāo)后,各個系統(tǒng)開始同步工作。正常情況下,單個蘋果采摘平均時間為11s。其中,耗時較多的就是機(jī)械臂的運(yùn)動,可以通過調(diào)節(jié)電機(jī)的速度改變這個環(huán)節(jié)的時間;但考慮到機(jī)械臂運(yùn)行的穩(wěn)定性,最終設(shè)置機(jī)械臂運(yùn)動的時間為5s。
3.3識別正確率和采摘成功率
試驗(yàn)過程中會有蘋果定位失敗的現(xiàn)象。主要原因是光線問題、蘋果相互遮擋及機(jī)械手抓取時擾動蘋果等。試驗(yàn)整體識別成功率大于94.00%,采摘成功率達(dá)到91.33%。試驗(yàn)結(jié)果表明:蘋果采摘機(jī)器人在采摘過程中穩(wěn)定性和準(zhǔn)確性較高。
3.4試驗(yàn)結(jié)果分析
1)在實(shí)驗(yàn)室模擬蘋果的采摘試驗(yàn),機(jī)器人對青蘋果不予識別,對距離靠近機(jī)械臂的紅蘋果優(yōu)先采摘。模擬采摘的結(jié)果表明:機(jī)器人能夠準(zhǔn)確地識別和采摘蘋果,單個蘋果采摘用時為11s。2)機(jī)器人導(dǎo)航精確,各個模塊之間高度協(xié)調(diào)同步。采用2R-G-B法處理圖像,通過OTSU算法對彩色蘋果圖像進(jìn)行動態(tài)閾值分割,使得采摘成功率達(dá)到91.33%。3)為了減少采摘周期、保證整個系統(tǒng)的高穩(wěn)定性,將小車的行駛速度限為35mm/s、機(jī)械臂運(yùn)動時間為5s、雙目視覺識別時間為1s。
4結(jié)論
研制了一種蘋果成熟自動檢測及采摘的輪式機(jī)器人,闡述了機(jī)器人的機(jī)械結(jié)構(gòu),以及控制系統(tǒng)的硬件和軟件設(shè)計(jì)。系統(tǒng)將末端執(zhí)行器、蘋果采摘機(jī)械臂、四輪移動平臺、雙目視覺等技術(shù)融合起來,利用多傳感器技術(shù),對采摘對象進(jìn)行信息獲取、成熟度判斷,并確定收獲目標(biāo)的三維空間信息,引導(dǎo)機(jī)械手與末端執(zhí)行器完成抓取、切割、回收任務(wù)的高度協(xié)同自動化系統(tǒng)。實(shí)驗(yàn)室試驗(yàn)表明:其可實(shí)現(xiàn)無人值守情況下,自動導(dǎo)航、自動識別、自動完成機(jī)械臂運(yùn)動及機(jī)械手采摘,整體識別成功率達(dá)到94.00%,采摘成功率大于91.33%,單個蘋果采摘用時11s,實(shí)現(xiàn)了蘋果采摘的自動化、智能化,驗(yàn)證了設(shè)計(jì)的有效性和合理性。
作者:孫賢剛 伍錫如 黨選舉 劉金霞 單位:桂林電子科技大學(xué)電子工程與自動化學(xué)院
參考文獻(xiàn):
[1]智能•機(jī)器•人———致首屆中國機(jī)器人峰會(RoboTop2014)[J].機(jī)器人技術(shù)與應(yīng)用,2014(3):1.
[2]OgawaY,KondoN,MontaM,etal.Sprayingrobotforgrapeproduction[J].ComputerandComputingTechnolo-giesinAgriculture,2006,24:539-548.
[3]VanHentenEJ,VanTuijlBAJ,HemmingJ.Fieldtestofanautonomouscucumberpickingrobot[J].BiosystemsEn-gineering,2003,86(3):305-313.
[4]顧寶興,姬長英,王海青,等.智能移動水果采摘機(jī)器人設(shè)計(jì)與試驗(yàn)[J].農(nóng)業(yè)機(jī)械學(xué)報,2012,43(6):153-160.
[5]呂繼東,趙德安,姬偉.蘋果采摘機(jī)器人目標(biāo)果實(shí)快速跟蹤識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2014(1):65-72.
[6]徐銘辰,牛媛媛,余永昌.果蔬采摘機(jī)器人研究綜述[J].安徽農(nóng)業(yè)科學(xué),2014(31):11024-11027,11057.
[7]紀(jì)超,馮青春,袁挺,等.溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J].機(jī)器人,2011,33(6):726-730.
[8]楊唐文,高立寧,阮秋琦,等.移動雙臂機(jī)械手系統(tǒng)協(xié)調(diào)操作的視覺伺服技術(shù)[J].控制理論與應(yīng)用,2015(1):69-74.
[9]婁軍強(qiáng),魏燕定,楊依領(lǐng),等.智能柔性機(jī)械臂的建模和振動主動控制研究[J].機(jī)器人,2014(5):552-559,575.
[10]李宇飛,高朝輝,申麟.基于視覺的機(jī)械臂空間目標(biāo)抓取策略研究[J].中國科學(xué):技術(shù)科學(xué),2015(1):31-35.
[11]蔣煥煜,彭永石,申川,等.基于雙目立體視覺技術(shù)的成熟番茄識別與定位[J].農(nóng)業(yè)工程學(xué)報,2008(8):279-283.
[12]ChiY,GejimaY,KobayashiT,etal.StudyonCartesian-typestraw-berry-h(huán)arvestingrobot[J].SensorLetters,2013(11):1223-1228.
[13]周俊,劉銳,張高陽.基于立體視覺的水果采摘機(jī)器人系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報,2010(6):158-162.
[14]SiYS,LiuG,F(xiàn)engJ.Locationofapplesint-reesusingstereoscopicvision,ComputersandElectronicsinAgricul-ture[EB/OL].205-01-10.dx.doi.org/10.1016/j.compag.2015-01-10.
[15]趙慶波,趙德安,姬偉,等.采摘機(jī)器人視覺伺服控制系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)機(jī)械學(xué)報,2009(1):152-156