基于计算机视觉的苹果自动分级系统硬件开发

介绍了一种基 于计算机视觉的新 型苹果实时 分级试验 系统的硬件 组成 ,该系统主要 由输送机 构、 视觉系统及均匀照明室 3部分组成。 输送机构可 把苹果 4个表面快速 呈现给视觉检测系 统 ;视觉系统 可同时采集苹果在可见 光和近红外光谱范 围内 的图像信 息并送至计 算机内 存进 行处理 ;照明系统 为 C C D摄 像机的视 区提供均匀、 恒定的光照。 初步试验表明了该系统的可行性 ,其辅助机构 和实时分级算法有待于进一步研究。

2000年3月

农业机械学报

第31卷第2期

基于计算机视觉的苹果自动分级系统硬件开发

李庆中　　汪懋华

*

　　【摘要】　介绍了一种基于计算机视觉的新型苹果实时分级试验系统的硬件组成,该系统主要由输送机构、视觉系统及均匀照明室3部分组成。输送机构可把苹果4个表面快速呈现给视觉检测系统;视觉系统可同时采集苹果在可见光和近红外光谱范围内的图像信息并送至计算机内存进行处理;照明系统为CCD摄像机的视区提供均匀、恒定的光照。初步试验表明了该系统的可行性,其辅助机构和实时分级算法有待于进一步研究。

叙词:计算机视觉　苹果　分级　分选　图像处理

中图分类号:

TP391.41　　　　文献标识码:A

DevelopmentofAutomaticAppleGradingHardware

SystemBasedonComputerVision

LiQingzhong　　WangMaohua

(ChinaAgricultureUniversity)

Abstract

Anovelrealtimeapplesortingandgradingexperimentalhardwaresystembasedoncomputervisionwasdiscussed.Thesystemforfruitimageacquisitionandprocessionincludesasingle-laneconveyer,afruitilluminationchamber,andthehardware.TheconveyerisusedforhandlingandpresentingfruittotheCCDcamerasfortheirentiresurfaceinspection.Theilluminationchambermountedontheconveyorwithlampswasconstructed.Threecamerassensingreflectanceoflightinthevisibleandinthenearinfraredregionwereproposedforsimultaneouscolor,shapeevaluationanddefectdetection.Thepreparatoryimagingresultsshowthattheexperimentalsystemispracticalandfeasible.Theimagerealtimeprocessingalgorithmwillbedevelopedinthesubsequentresearch.

　Computervision,Apples,Grading,Sorting,ImageprocessingKeywords　　引言

目前在国内,水果分级基本上仍由人工完成,人工分级的主要缺点有:劳动量大,生产率低。此外,因为分级标准人工难以实现,造成一定的分级误差。因

为在水果分级标准中,着色面积和缺陷面积的度量,仅凭人的视觉难以精确区分,且人工长时间用眼,会造成身心疲劳及情绪的不稳定,从而造成分级精度的波动。苹果外部品质的主要分级指标是苹果的大小、形状、颜色和表面缺陷。国内学者[1～3]从90年代开始,在利用计算机视觉进行水果的品质检测方面,

　　收稿日期:1999

0513

已做了大量的研究工作,但他们的工作主要集中在静态水果的计算机图像处理和识别算法的研究与开发上,还远没有实现在线检测分级的目标。要实现苹果的在线分级,目前面临的主要问题有:

(1)对水果整个表面进行实时视觉检测比较困难。在水果分选生产线上,要求输送机构输送水果并把水果整个表面呈现给摄像机,当水果通过时,视觉系统必须能快速检查每个水果的全部果面,因为即使很小的缺陷面积,也会使得水果级别发生很大变化。

(2)视觉系统要同时快速地采集、处理、识别苹

*高等学校博士学科点专项科研基金资助项目(项目编号:950801)

李庆中　中国农业大学电子电力工程学院　博士生　副教授,100083　北京市　

介绍了一种基 于计算机视觉的新 型苹果实时 分级试验 系统的硬件 组成 ,该系统主要 由输送机 构、 视觉系统及均匀照明室 3部分组成。 输送机构可 把苹果 4个表面快速 呈现给视觉检测系 统 ;视觉系统 可同时采集苹果在可见 光和近红外光谱范 围内 的图像信 息并送至计 算机内 存进 行处理 ;照明系统 为 C C D摄 像机的视 区提供均匀、 恒定的光照。 初步试验表明了该系统的可行性 ,其辅助机构 和实时分级算法有待于进一步研究。

第2期　　　　　　　　　　　李庆中等:基于计算机视觉的苹果自动分级系统硬件开发57

果的形状、颜色和缺陷信息。因此,图像信息的处理和识别算法必须简单而有效,从而满足在线高生产率的要求。

针对以上目标,本文提出了一种基于计算机视觉的新型苹果实时分级试验系统,初步试验表明了该系统的可行性,其分级性能有待于进一步研究。

同一水平轴线旋转,而摄像机是按照固定的时间间隔连续采集图像的,这会造成有些水果的表面部分被重复采集或漏采的问题;摄像机无法采集到水果旋转两端的表面部分;水果在转动状态下采集的图像容易造成模糊,给后续图像处理带来困难。总之,以上的这些问题会带来一定的分级误差

。

1　硬件系统总体组成

本文提出的苹果自动分级试验系统的硬件总体组成如图1所示。输送机构由电机式输送带组成,主要完成等间隔输送每个苹果,并把苹果整个表面呈现给CCD摄像机,使CCD摄像机实时摄取到苹果的形状、颜色、缺陷等视觉图像信息。苹果自动分级系统的关键问题是如何把苹果的整个表面快速呈现给机器视觉系统并由计算机作出快速的处理、识别和判断,对于容易解决的前面的喂入机构和后面的分选机构本系统没有加入。照明室提供CCD视区内的均匀、恒定的光照,以得到高质量的苹果图像,为图像的后期处理和识别提供方便。成像系统和处理系统主要完成苹果多视角、多光谱图像信息的摄取和苹果外部品质参数的快速测定和识别

。

图2　滚子输送机构简图

为克服输送机构以上的缺点,作者设计并试制成功了一种新型输送机构,其结构组成如图1所示。其中输送带由无底的果杯组成,在输送果杯两侧装有与水平面成45°角的镜子,输送带上下方均装有

CCD摄像机,布置情况如图1b所示。果杯由黑色橡胶圈组成,口径应小于一般大小的苹果,高度为2～3cm,可使苹果的下部表面在镜子中的成像尽量清楚,黑色橡胶圈由螺栓固定在12cm×12cm的薄铁片上,薄铁片喷涂非闪烁黑漆,以保证苹果图像的背景为黑色,薄铁片的两端固定在两侧的输送胶带上。该机构的特点是通过上下方CCD摄像机的一次摄取就可得到苹果4个面的图像,在摄像机摄取图像时,苹果只处于水平移动状态,从而避免因水果转动而造成图像模糊的问题。该输送机构和滚子输送机构一样,有两个端面的小部分区域出现CCD检测不到的问题,在假定苹果为球形的条件下,1个苹果采集4幅图像的示意图如图3所示,在前、后、左、右4个方向由CCD摄取图像,1个方向可摄取的区域由前面采集区可看出,上下两端面的漏采区由俯视图可看出。可见只有很少的区域检测不到,100%的表面检测输送机构实现比较困难

。

图1　苹果自动分级试验系统的硬件组成示意图

(a)系统组成简图　(b)横向布置图

2　苹果输送装置的设计

苹果的输送装置完成输送并把水果整个表面呈现给摄像机,当水果通过时,要求视觉系统能快速摄取每个水果的整个果面。实时分级的速度至少应达到3～5个/s。为实现此目的,国外学者(Growe,

1996;Tao,1996)[4,5]都采用滚子输送机构,如图2所示。该机构可使水果一边沿输送方向移动一边绕自身水平轴线转动,从而使安装在输送带上方的摄像机能定时采集到水果多个表面的图像,达到水果全表面检测的目的。该机构是原人工分选生产线的一部分,在上面加上计算机视觉装置就实现了自动分选的目的。虽然可以充分利用原来的生产线,但该机构有以下缺点:水果的大小和形状不规则会造成各个水果旋转速度不一致,且难以保证每个水果按

图3　1个苹果采集4幅图像的示意图

介绍了一种基 于计算机视觉的新 型苹果实时 分级试验 系统的硬件 组成 ,该系统主要 由输送机 构、 视觉系统及均匀照明室 3部分组成。 输送机构可 把苹果 4个表面快速 呈现给视觉检测系 统 ;视觉系统 可同时采集苹果在可见 光和近红外光谱范 围内 的图像信 息并送至计 算机内 存进 行处理 ;照明系统 为 C C D摄 像机的视 区提供均匀、 恒定的光照。 初步试验表明了该系统的可行性 ,其辅助机构 和实时分级算法有待于进一步研究。

58农　业　机　械　学　报2000年

3　照明系统设计

照明室的设计主要应满足如下要求:CCD摄像机视区内光照要均匀,以避免镜面反射;苹果成像的背景应一致且与苹果图像有较大的对比度;光源的光谱范围、辐射能量、显色性应满足成像系统的要求且具备较好的散射性。

对于图1所示的输送机构和CCD摄像机的布置情况,输送带上方的CCD可采集一个苹果3个面的图像,其中一个面的图像背景为输送果杯,另外两个面的图像在镜子中。为满足以上提出的要求,照明系统具体设计过程如下:

(1)光源采用220V、150W的卤钨灯,该灯具有近似连续的光谱,在可见光和近红外波段都有足够的辐射能量,其色温为3000～3200K,且具有较好的显色指数(大于8.5)。为保证光线柔和并具有散射性,在光源前面加制作灯箱专用的塑料散射材料。

(2)照明室采用图1所示的圆筒型结构,材料为薄铁皮,直径为65cm,长度为40cm,上方轴中心处开20cm×25cm的长方形口,以保证上方的CCD可摄取到2个苹果的共6个面的图像,下方轴中心处开20cm×15cm长方形口,可使下方的CCD摄取两个苹果的底面图像。筒两端中心位置处开宽14cm、高10cm的方孔以利输送带和苹果通过,筒内壁喷涂无闪烁白漆。输送带喷涂无闪烁黑漆,这样可形成均匀一致的黑色背景。

(3)光源的布置与CCD视区内反射光线的均匀性以及镜子中图像背景的一致性有关。CCD视区内物体的反射最好是漫反射。此外,应尽量避免镜面反射。通过试验发现:光源安装在筒两端,距离中心平面15cm的高度,照明效果最佳。图4为在CCD视区内,一均匀白色板图像的灰度分布情况,由图可见,CCD视区内的光照基本均匀。光源的这种布置方式可避免镜子容易产生镜面反射的问题,此外,这样布置以后,可使镜子中图像的背景部分(筒内壁的上部表面)光线很暗,从而使镜子中的图像也有一个

均匀一致的黑色背景,为图像的后期处理提供方便。

4　图像采集处理系统设计

为同时、快速检测苹果的形状、大小、颜色及表面缺陷,本系统采用如图1所示的3个CCD摄像机。上方的两个CCD,一个为彩色摄像机,用于在可见光光谱范围内,检测苹果的颜色或成熟度;另一个为黑白摄像机,镜头前加滤光片,用于在近红外波段检测苹果的表面缺陷。Throop(1997)[6]等人研究了苹果的反射光谱特性,试验结果表明:在近红外波段(740～1100nm),缺陷表面与正常表面的反射强度差别较大,因此,我们选用的滤光片中心波长为760nm,半带宽为50nm。下方的CCD也为黑白摄像机,因为下表面面积较小,并考虑系统的简易性,下方只安装一个黑白CCD,仅用于检测苹果下表面的缺陷,由此通过3个CCD摄像机就构成了苹果在线检测的彩色、多视觉、多光谱成像系统。该系统能同时采集R、G、B和近红外区4个波段的多光谱图像,且能同时完成水果大小、形状、颜色和缺陷的检测。图像采集卡采用中国科学院自动化研究所开发的基于PCI总线的彩色多通道采集卡,型号是CACPE1000,可实时把3个CCD摄像机采集到的图像由高速PCI总线传送至主机内存,图像处理算法可在主机内存执行,有利于提高处理速度,充分发挥速度越来越高的CPU的潜力。该卡可接收6路视频信号,图像采集显示分辨率最大768×576×32bit,采集一帧图像的时间为40ms。主机用奔腾166或其他机型。图像采集与处理系统示意图如图5所示。为保证3路CCD视频信号的同步性,采集卡前加一多路视频分配器,连线如图1所示。因此,3个CCD摄像机中,必须有2个CCD带外同步端子。此外,为能采集苹果运动状态的图像,3个CCD摄像机必须电子快门可调。

视频输入

1000

HOSTMEMORY

PCI总

CPU

VGA显示缓冲区

显示器

线

图5图像采集处理系统示意图

利用该系统对动态水果进行了图像采集初步试验,本研究使用焦距为8.5mm、光阑指数为F1.3、视场角为53°的镜头。图6是在输送带线速度为50～60cm/s(4～5个苹果/秒),摄像高度为80cm,电子快门速度为1/500s时摄取的图像。可见,摄取的

动态图像不存在模糊问题,能满足进一步图像处理

介绍了一种基 于计算机视觉的新 型苹果实时 分级试验 系统的硬件 组成 ,该系统主要 由输送机 构、 视觉系统及均匀照明室 3部分组成。 输送机构可 把苹果 4个表面快速 呈现给视觉检测系 统 ;视觉系统 可同时采集苹果在可见 光和近红外光谱范 围内 的图像信 息并送至计 算机内 存进 行处理 ;照明系统 为 C C D摄 像机的视 区提供均匀、 恒定的光照。 初步试验表明了该系统的可行性 ,其辅助机构 和实时分级算法有待于进一步研究。

第2期　　　　　　　　　　　李庆中等:基于计算机视觉的苹果自动分级系统硬件开发59

5　结论

本文介绍的基于计算机视觉的苹果实时分级试

验系统的硬件组成,通过多视觉、多光谱、光学成像

以及机电技术的有机集成,基本实现了苹果在线分

级中多个苹果以及苹果全表面图像信息的实时采

集,摄取的图像背景一致,为以后苹果图像信息处理

与识别算法奠定了基础。简单有效的苹果外部品质

的综合检测与分级算法正在研究过程中。

图6　输送带上方CCD摄取的两个苹果的图像

参考文献

1　刘禾.用计算机图像技术进行苹果坏损自动检测的研究.农业机械学报,1998,29(4):81～86

2　徐娟.苹果分选图像信息平行处理算法的实现.农业机械学报,1997,28(2):101～106

3　何东健.果实缺陷面积的计算机视觉测定研究.农业工程学报,1997,13(4):156～160

4　GroweTGetal.Real-timedefectdetectioninfruit——PartⅡ:

system.TransactionoftheASAE,1996,39(6):2309～2317

5　TaoY.Sphericaltransformoffruitimagesforonlinedefectextractionofmassobjects.Opticalengineering,1996,

35(2):344～350

6　ThroopJA.Appledamagessegmentationutilizingreflectancespectraofthedefect.ASAEPaper973078,1997.Analgorithmandperformanceofaprototype(上接第52页

)总结,给出了速度系数KD1、KD2的值,以及b2、R1和

R2的计算方法。

(2)采用等变角对数螺旋线作为平面图流道中

线的方程,比阿基米德螺旋线灵活,且可改变液流的

进、出口角,使设计结果变得更可靠。

(3)外流道采用非等变角对数螺旋线绘图,流

道可获得合适的厚度和良好的厚度变化规律。

(4)流道截面面积按圆弧规律变化,不仅可以

满足中低比转数的需要,还可满足中高比转数的需

图4　试验特性曲线要,且可提高叶轮的无堵塞性。

(5)设计实例的试验结果和特性曲线表明了本

文所述的方法完全可行。4　结论

(1)通过对现有双流道式叶轮水力模型的归纳

参考文献

1　关醒凡.现代泵技术手册.北京:宇航出版社,1995.422～425

2　关醒凡.单流道及双流道泵的设计.水泵技术.1994(1):12～17

3　刘厚林.离心泵CAD的完善.[硕士学位论文].镇江:江苏理工大学,1998.