基于视觉技术的苹果分拣系统设计

在 线 检 测 是 实 现 自 动 生 产 的 重 要 环 节 , 计 算 机 视 觉 图 像 信 息 处 理 技 术 已 经 广 泛 应 用 于 农 产 品 品 质 检 测 中 。 表 面 缺 陷 检 测 一直 是 困 扰 苹 果 自 动 化 分 级 的 难 题 , 本 文 采 用 特 征 提 取 , 即 提 取 出 缺 陷 部 位 的 轮 廓

第35卷第5期2014年9月

DOI:10.13733/j.jcam.issn.2095-5553.2014.05.039

中国农机化学报

JournalofChineseAgriculturalMechanizationVol.35No.5Sep.2014

基于视觉技术的苹果分拣系统设计

王鑫1，赵莹2，杨简1

(1.吉林农业大学信息化教学与管理中心，长春市，130118；2.长白山科学研究院，延边州，133613)

摘要：在线检测是实现自动生产的重要环节，计算机视觉图像信息处理技术已经广泛应用于农产品品质检测中。表面缺陷检测一直是困扰苹果自动化分级的难题，本文采用特征提取，即提取出缺陷部位的轮廓，再进行填充求其面积的方法确定缺陷面积大小，然后用缺陷面积结合最大横径、颜色色度来判定等级，实现机器化苹果分拣。经实验证明本方法准确率达94.2%，且具有较好的稳定性，为农业自动化提供了一种可靠的苹果在线检测的方法。关键词：品质检测；机器视觉；图像处理；苹果分级中图分类号：S226.5

文献标识码：A

文章编号：2095-5553(2014)05-0169-04

王鑫，赵莹，杨简.基于视觉技术的苹果分拣系统设计[J].中国农机化学报,2014,35(5):169~172

WangXin,ZhaoYing,YangJian.Designoffruitssortingsystembasedonvisiontechnology[J].JournalofChineseAgriculturalMechanization,2014,35(5):169~172

0引言

近年来由于进口苹果的关税下调，价格降低，

果损耗、提高苹果质量、改善国内苹果分级现状、扩大苹果出口量具有重要的研究意义。

许多地方出现了国产苹果滞销现象，国产苹果出口同样困难。这种状况是多方面原因导致的，其中有一个重要的原因就是苹果的质量问题。国产苹果质量差表现在外观、内部品质、产品外包装等方面，由于检测与分选手段的落后，其中许多优质高档苹果因为没有经过严格的品质检测和分级，良莠不齐，致使产品出口品质偏低，其外销价格远远低于美国、澳大利亚、日本等国家的同类产品。因此提高苹果质量，使用先进的苹果品质检测和分级技术已是当务之急。

计算机视觉技术用计算机和图像获取作为工具，具有图像分析能力、图像处理能力、模式识别能力、人工智能能力，通过以上功能对获取的图像信号进行处理，并从中获得有用的信息。计算机视觉技术虽然不接触测量对象，但可以准确地从获取的图像中得到很多信息，然后对这些信息进行分析处理便可得到物体尺寸、表面缺陷及色度等具体信息，进而实现外观质量的综合评价

[1]

1系统总体方案设计

本设计利用Matlab软件的图像处理功能和模糊算

法来对采集的苹果图像进行处理与分析，进而实现苹果品质分级，过程如下：

1）苹果动态图像的采集。通过对苹果的上面及

两侧三个方位的图像采集，全面获取苹果信息。

2）苹果大小尺寸的检测。对采集到的图像信息

进行处理，采用质点法计算质心，确定质心以后再计算最大果径。

3）苹果表面颜色的检测。利用RGB颜色模型及HIS颜色模型对苹果表面色度检测，进行颜色分级。

4）苹果表面常见缺陷的识别与测量。表面缺陷

检测一直是困扰苹果自动化分级的难题，缺陷的快速识别一直是研究的热点。本文采用特征提取，即提取出缺陷部位的轮廓，再进行填充，求其面积。根据缺陷面积来判定等级。

5）对获取信息进行模糊分级，确定品质等级。

综合上述各种信息，利用模糊算法，对检测的苹果进行模糊分级。

本系统实现的技术路线如下：

。计算机视觉技术能将人从繁重单

调的劳动中解放出来，具有较高的检测效率，能适应高效率的分拣过程，又能排除因为人的主观因素的干扰所产生的不良检测结果。

研究和开发基于计算机视觉技术的苹果在线分级系统，对解决苹果分级难题、提高分级精度、减少苹

收稿日期：2013年12月9日

修回日期：2013年12月25日

1）采集图像。数据采集系统是由CCD摄像机、

像采集卡和光照箱组成。

2）图像预处理。包括灰度处理、增强、滤波、

第一作者：王鑫，女，1982年生，吉林长春人，硕士，讲师；研究方向为物连网。E-mail:jarryxin@http://wendang.chazidian.com

在 线 检 测 是 实 现 自 动 生 产 的 重 要 环 节 , 计 算 机 视 觉 图 像 信 息 处 理 技 术 已 经 广 泛 应 用 于 农 产 品 品 质 检 测 中 。 表 面 缺 陷 检 测 一直 是 困 扰 苹 果 自 动 化 分 级 的 难 题 , 本 文 采 用 特 征 提 取 , 即 提 取 出 缺 陷 部 位 的 轮 廓

170

中国农机化学报2014年

边缘检测、图像分割等。

3）尺寸检测。测量最大横径。4）颜色检测。测出RGB值。

5）缺陷检测。采用特征提取，即提取出缺陷部

位的轮廓，再进行填充，求其面积，根据其面积在图片中的比例作为判别依据。

j2=medfilt2(bw);subplot(122),imshow(j2);ti-tle('二值图滤波');%中值滤波

RGB图转换为灰度图和二值图的效果如图2所示，

灰度图与二值图滤波效果如图3所示。由图2与图3的比较可以看出，中值滤波具有很好的保真性，且图像噪声滤除明显，边缘明显细化。这样利于后期图像处理中的寻找质心。

6）分级处理。通过模糊算法进行综合分级。

2

2.1

图像的全方位采集和处理

图像的采集

实时在线检测需要快速的图像采集和处理过程。

本课题中用到的图像采集系统具有快速实时采集的特点，确保在线检测的顺利进行。图像采集装置如图1所示。

Fig.2

图2

RGB图转换为灰度图和二值图

GrayscaleandtwovalueimageofRGBmap

图1图像采集装置

2.光源

3.暗箱

4.载物台

Fig.1Imageacquisition

device

图3

灰度图和二值图滤波效果

1.CCD摄像头

图像采集装置为整个图像采集系统提供了采集环境，其主要包括CDD摄像头、光源、暗箱和载物台。它满足要求：光照必须均匀，避免产生高光区和暗淡区。设置背景需要一致，而且背景颜色应满足后期图像处理的要求。

Fig.3Filtereffectforthegrayscaleandtwovalue

image

2.2.2图像增强

图像增强处理的方法有频域法和空域法两类，

本节只分析适合实时处理的空域法。空域内图像增强的常用方法是直方图修正法和灰度变换法，本实验采用灰度变换法。本设计中因为要将缺陷部位分离出，从测量缺陷面积进行判定，因此需要对图像进行灰度变换，使苹果完好部分的颜色与背景颜色呈现浅色，来凸显出坏损部位图4所示。

[2]

2.2图像的处理

图像的低层处理主要完成对原始图像的平滑处

理、灰度校正、图像增强、几何校正、噪声过滤、信息变换及边缘检测。

。相关的效果图如

2.2.1图像的平滑处理

滤波是本设计中非常重要的环节，综合比较各种

滤波方法的效果，最后选择了简单、效果较好的中值滤波，程序如下。

%%%

rgb=imread（‘e:/77.jpg’）;

figure,subplot（131）,imshow（rgb）,title(‘原图’）;gray=rgb2gray(rgb);

subplot(132),imshow(gray),title(‘灰图’）;threshold=graythresh(gray);%取阈值bw=im2bw(gray,threshold);

subplot(133),imshow(bw),title(‘二值图’）;j1=medfilt2(gray);figure,subplot(121）,imshow(j1);title(‘灰图中值滤波’）

图4

带伤疤苹果灰度调整图

Fig.4Grayscaleadjustmentimageoftheapplewith

scar

2.2.3边缘检测

边缘检测是图像分割的一部分。边缘检测也是一

个尝试的过程，要从各种方法、各种算子、各种阈值中选择出合适的必须进行试探比较。经测试，只要参

在 线 检 测 是 实 现 自 动 生 产 的 重 要 环 节 , 计 算 机 视 觉 图 像 信 息 处 理 技 术 已 经 广 泛 应 用 于 农 产 品 品 质 检 测 中 。 表 面 缺 陷 检 测 一直 是 困 扰 苹 果 自 动 化 分 级 的 难 题 , 本 文 采 用 特 征 提 取 , 即 提 取 出 缺 陷 部 位 的 轮 廓

第5期王鑫等:基于视觉技术的苹果分拣系统设计171

数选择适当，sobel算子、prewitt算子均可满足本设计的要求。边缘检测效果如图5所示。R=sqrt(area/pi)R=27.4140

苹果图像质心标记如图6所示。

图5带伤疤苹果边缘检测

图6

苹果图像质心标记

Fig.5Edgedetectionoftheapplewith

scar

Fig.6Centroidoftheapple

map

3外部品质检测

苹果外部品质检测包括形状、大小、颜色和表

3.2苹果表面颜色检测

苹果的表面色调间接反映了其内部品质和成熟

[6]

面缺陷等。外部品质是水苹果分级的重要标准，本设计是根据国家标准进行外部品质检测，然后根据检测结果进行苹果分级识别与检测。

[3]

度，苹果的颜色分级标准也倾向用色度来进行，可

以进行图像分割，得到RGB图像。应用转化公式将苹果颜色的RGB模型转化为HIS模型，利用转换公式计算各像素的色度值H。本设计中只取分级较明显的H值来判定。

。检测的项目有苹果尺寸

大小(即最大横径)、苹果色度检测、苹果表面缺陷

3.1苹果尺寸大小的检测

苹果尺寸是衡量苹果质量的首要标准，尺寸包括

3.3表面缺陷的识别与测量

对于苹果表面的缺陷，本设计采用特征提取，即

面积、周长、直径等。此处只需得到直径大小即可。而要得到直径，首先需要获得质心。下面介绍一种只需要利用物体边界信息即可求取面积质心的方法，此时需要进行边缘检测，得到图形边界林公式求得物体质心坐标：

[4]

提取出坏损部位的轮廓，再进行填充求其面积，以其面积作为判别依据。程序流程：读入图像→灰度化图像→直方图调整→中值滤波→边缘检测→缺陷判定。缺陷判定效果如图7所示。

。首先根据格

1矣xydx-1x2dyx,y∈boundaryxo=矣（ydx-xdy）x,y∈boundary

%%%%

矣矣矣

3.4

[5]

1y2dx-xydx1矣x,y∈boundary2

yo=1矣（ydx-xdy）x,y∈boundary

%%%%

图7带伤疤苹果提取缺陷图

Fig.7Defectextractionoftheapplewith

scar

模糊分级

根据苹果质量三项重要标准，最大横径、颜色色

物体质心坐标求出之后，可用其与边界的距离的最大值来代表苹果的最大横径的部分

。

度和缺陷面积分别将苹果分为优等级、Ⅰ级、Ⅱ级、等外级。具体分组标准如表1所示。

表1

等级优等级

最大横径/mm

L=bwlabel(BW1,8);%标注二进制图像中已连接stats=regionprops(L,‘all’);centroids=cat(1,stats.Centroid);imshow(BW1);title(‘标记质心’)holdon%图形保持

plot(centroids(:,1),centroids(:,2),‘g*’)%

标记g*-绿色*

苹果品质标准

颜色色度

缺陷面积/cm2

Tab.1Standardqualityofapple

80757065

25°45°65°80°

0.00.10.51.0

Ⅰ等级Ⅱ等级等外级

holdoff

area=[stats.Area];

先进行单因素评价，建立模糊关系矩阵。根据表

在 线 检 测 是 实 现 自 动 生 产 的 重 要 环 节 , 计 算 机 视 觉 图 像 信 息 处 理 技 术 已 经 广 泛 应 用 于 农 产 品 品 质 检 测 中 。 表 面 缺 陷 检 测 一直 是 困 扰 苹 果 自 动 化 分 级 的 难 题 , 本 文 采 用 特 征 提 取 , 即 提 取 出 缺 陷 部 位 的 轮 廓

172

中国农机化学报2014年

中尺寸大小、颜色、缺陷面积评价等级标准分别建立三个指标的隶属度函数。由已知的三项指标值和求得的隶属度函数，可得到一个模糊关系矩阵。确定评价因素的模糊权重向量，利用max-min算法将权重向量与模糊关系矩阵合成得到各被评对象的模糊综合评价结果。

以苹果为例对苹果品质检测的方法进行了设计。试验结果表明，本系统能够实现对苹果综合外观品质的检测与分级，准确率达94.2%。本实验对结果进行了反复验证表明该方法具有较好的稳定性，有实际应用和推广的价值，也适合用于对其它果品的分级检测。

参

考

文

献

4实验

以烟台红富士为试验对象，在人工分级后的苹果

(6):56~57.

[1]秦永辉,王伟,等.滚筒式分级机的设计[J].农业科技与装备,2010,

QinYonghui,WangWei,etal.Designofroller-typeclassifier[J].AgriculturalScience&TechnologyandEquipment,2010,(6):56~57.

[2]冯斌,汪懋华.基于颜色分形的水果计算机视觉分级技术[J].农业工

程学报,2012,(2):141~144.

中，每一个等级随机选取30个，四个等级共计120个，混合在一起作为待检对象，送入本实验系统，进行图像采集处理，再经过模糊算子分级处理，综合评价结果如表2所示。

表2

苹果综合分级结果

Tab.2Classificationresultsofapples

等级

数量

本系统分级结果/个

准确率/%

优等品

一等品

二等品

等外品

FengBin,http://wendang.chazidian.computervisionclassificationoffruitbasedonfractalcolor[J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2012,(2):141~144.

[3]黄永林,应义斌.应用于水果实时分级系统的同步跟踪自动控制装

置的研究[J].农业工程学报,2002,18(4):163~166.

/个30303030

优等品28229

1282

228

93.396.793.393.3

HuangYonglin,YingYibin.Controllerforfruitsynchronoustrackingandauto-classificationusedinreal-timefruitgradingsystem[J].TransactionsoftheChineseSocietyofAgriculturalEngineering,2002,18(4):163~166.

[4]LeemansV,MageinH,etal.On-linefruitgradingaccordingtotheirex-ternalqualityusingmachinevision[J].BiosystemsEngineering,2002,83(4):397~404.

[5]BennedsenB.S,PetersonD.L.Indentificationofapplestemandcalyxus-ingunsupervisedfeatureextraction2004,47(3):889~894.

[6]DiazR,Gil.L,http://wendang.chazidian.comparisonofthreealgorithmsintheclassification

oftableolivesbymeansofcomputervision[J].Journaloffoodengi-neering,2004,(61):101~107.

[J].TransactionsoftheASAE,

一等品二等品等外品

5结论

本文在详细总结国内外苹果品质检测的基础

上，针对目前的苹果分拣处理准确度不高的问题，综合利用计算机视觉技术、数学、光学、数字图像处理等多学科知识，为实现农产品在线自动检测，

Designoffruitssortingsystembasedonvisiontechnology

WangXin1,ZhaoYing2,YangJian1

(1.InformationtechnologyteachingandManagementCenter,JilinAgriculturalUniversity,Changchun,130118,China;

2.ChangbaiMountainInstituteofScience,Yanbian,133613,China)

Abstract:On-linedetectionisacriticalpartofautomaticproduction,andvisualimageinformationprocessingtechniquehasbeengraduallyappliedinthefieldoffruitqualitydetection.Surfacedefectdetectionisadifficultproblemforfruitautomaticgrading.Thefeatureextractionmethodwasusedwhichfirstgetstheextractionofdefectivepartsandfillstheareatodeterminethedefectsize,thencombinesmaximumtransversediameterandcolortonewithdefectsizetorealizeapplesortingmechanization.Thismethodhas94.2%precisionrateandbetterstability,couldprovideareliablemethodtoacceleratefruiton-linedetectionforagricultureautomation.

Keywords:qualitydetection;computervision;imageprocess;appleclassification