一种SVM分类器自动模型选择方法

第２８卷第１期２００６年１月

北京科技大学学报

Ｂｅｉｊｉｎｇ

Ｖ０１．２８ＮＯ．１

Ｊａｎ．２００６

ＪｏｕｒｎａｌｏｆＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ

一种ＳＶＭ分类器自动模型选择方法

封

筠１，２’

颉

斌１’

郝卫东１’

杨

扬１）

１）北京科技大学信息工程学院，北京１０００８３２）石家庄铁道学院计算机系，石家庄０５００４３

摘要提出了一种基于粗网格与模式搜索相结合的支持向量机分类器模型参数优化方法。采用Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界作为模型选择的评价标准．以黎曼几何为理论依据，提出了一种新的保角变换，对核函数进行数据依赖性改进，进一步提高分类器泛化能力．在研究人工非线性分类问题的基础上，将该方法应用于手写相似汉字识别，实验结果表明分类精度得到了明显提高．关键词支持向量机；模型选择；黎曼几何；保角变换；汉字识别分类号ＴＰ３９１．４３

支持向量机（ＳＶＭ）是由Ｖａｐｎｉｋ等人…于１９９５年在统计学习理论基础上提出的一种实现结构风险最小化准则的机器学习方法．模型选择【２】是ＳＶＭ从理论走向实际应用时所必须解决的一个关键问题，它将直接显著地影响分类器泛化性能的好坏，但目前对于该问题的研究还很不深入．ＳＶＭ分类器的模型选择问题可被描述为：对于某一给定的问题，如何寻找到最适合的核函数，其中包括核函数类型的确定、核参数的优化以及针对具体给定数据的核函数的修正等方面．在核函数类型的确定上，如何根据实际问题来选择最优的核函数至今仍未有明确的答案．从理论上来说，所有满足Ｍｅｒｃｅｒ条件的核函数都可作为支持向量核使用．研究表明，高斯核函数ＳＶＭ具有很强的学习能力［１｜，因此它是一种应用最多的核函数．本文将重点讨论高斯核函数，其表示形式如下式所示：

，

１

两方面的问题，即选择标准和所采用的搜索方法．本文提出了一种基于Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界评价标准及粗网格与模式搜索相结合的模型参数优化策略．

因为在研究模型参数优化时所采用的核函数类型是确定的，所以并未充分考虑实际数据的影响．然而为了进一步提高分类的精度，有必要从数据的角度重新定义核函数．本文完成核参数优化后，以黎曼几何［４］为理论依据，对核函数进行数据依赖性改进，进而提高分类器泛化能力．

１模型选择评价标准

这里重点讨论常用的Ｌ２范数非线性软间隔ＳＶＭ分类器．根据已知训练集Ｔ＝｛（ｘｌ，Ｙ１），…，（ｘ。，Ｙ。）｝∈（Ｘ×Ｙ）”，其中ｘｆ∈Ｘ＝Ｒ”，Ｙｉ∈Ｙ＝｛１，～１｝，ｉ＝１，…，咒，建立Ｌ２范数非线性软间隔ＳＶＭ的优化问题对偶形式如下：

ｎ

＂

＼

１广

Ｋ（Ｘ，ｘｉ）＝ｅｘｐ（一ｉ与Ｉ｜ｘ～ｘｉ

二盯

ｌ【２（１）

ｍｉｎ寺∑∑ｙｃｖｊａｉａｊｌＫ（ｘｉ，ｘｊ）＋

“

。ｉ＝１

Ｊ＝１

．１

一

除了核函数中的自由参数（比如高斯核函数中的宽度参数仃）外，对于软间隔分类情况，在ＳＶＭ设计时需要引入常量参数Ｃ作为误差惩罚因子．通过变换核函数可将问题转变为硬间隔

ＳＶＭ［３Ｊ，从而将Ｃ看作是核函数中的一个自由参

ｎ

扣巧１一∑口ｉ

＿Ｖ

—

（２）（３）

ｉ＝１

Ｓ．ｔ．口ｉ≥０，ｉ＝１，２，…，７２

其中，

数．在研究模型参数优化选择方法时，需要考虑

收稿日期：２００４—１１—０１修回日期：２００４—１２—２８

基金项目：河北省科学技术研究与发展指导计划项目（Ｎｏ０２２１３５６０）

作者简介：封筠（１９７１一），女，副教授，博士研究生

驴㈦荔

所构造的齐次决策函数为

㈤

求解该最优化问题，得到最优解口。＝（口ｆ，…，ａ：）Ｔ，其中ａ？≠０的训练样本为支持向量．

，（ｘ）：。ｇｎ（奎ｄ；ｙｉＫ（ｘ，工ｉ））

（５）

万方数据　

封筠等：一种ＳＶＭ分类器自动模型选择方法

模型选择的评价标准提供了问题解决的原则，通常可用泛化误差（ＧＥ）表示分类器推广能力．能够作为评价准则的数量指标主要分为两大类：一类来自实际数据的实验验证结果；一类来自理论分析所给出的界．实验验证准则的获得完全依赖于经验数据，该类方法将所得训练样本的部分作为验证数据用来评估泛化性能，主要包括Ｋ一折交叉验证（Ｋ—ｆｏｌｄｃｒｏｓｓ—ｖａｌｉｄａｔｉｏｎ）误差估计、留一（Ｌｅａｖｅ—ｏｎｅ—ｏｕｔ，简称Ｌ００）误差估计．理论分析的目的就是要寻求与期望ＧＥ最紧的界．因为ＬＯＯ误差估计被认为是对ＧＥ的近似无偏估计，所以也经常采用通过理论分析所获得的Ｌ００误差上界作为模型选择的评价标准．

由于实验验证准则的计算代价很高，所以本

文采用了一种经过理论推导获得的Ｌ００误差上界估计，即Ｊａａｋｋｏｌａ－Ｈａｕｓｓｌｅｒ误差上界［５｜．针对Ｌ２范数非线性软间隔ＳＶＭ分类器，其Ｌ００误差满足下式：

１—Ｌ

ＲＬＯＯ（丁）≤寺∑ｓｇｎ（一Ｙｉｆ（ｘｉ）＋ａ＊Ｋ（ｘｉ，ｘｉ））

¨’

ｉ＝１

（６）

上式的右边项被称为Ｊａａｋｋｏｌａ－Ｈａｕｓｓｌｅｒ误差上界．对于高斯核函数，式（６）可写成

１』Ｌ

ＲＬＯＯ（Ｔ）≤专∑ｓｇｎ（一ｙ／（ｘｉ）＋口ｆ）（７）

’‘

ｉ＝１

显然，在计算Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界时只需要利用所有训练样本做一次分类器训练，获得分类决策函数ｆ（Ｘ），因此与经验验证方法相比较，计算Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界所花费的代价要小很多．

２搜索策略

在确定了模型选择的准则后，需要设计一种能寻找到使得该准则全局最优的模型参数点的搜索方法．本文提出了一种粗网格与模式搜索相结合的优化策略，该算法先执行粗网格搜索寻找全局优化区域，再利用模式搜索寻找在该优化区域的最优点．２．１粗网格搜索

该搜索算法首先在参数空间定义统一的网格．研究发现在优化核参数时采用对数坐标是比较合理的［２］．然后计算所有网格点的Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界，寻找全局最小区域．网格的粒度决定了解的质量与搜索效率．２．２模式搜索

该搜索算法将当前优化参数点置为模式中

万　

方数据心，利用所定义的模式确定搜索的方向．对于Ｒ２核参数空间，所采用的模式如图１所示，对应的模式矩阵为：

广１

１０—１—１—１

０

１

０］

ＰＫ＝Ｌ０

１

１

１

ｏ

一１—１—１

ｏＪ

（８）

＼

／

喉罗。吵夕／

＼雒

＼

．

一

图１

Ｒ２核参数空间对应的模式

Ｆｉｇ．１

Ｐａｔｔｅｒｎｆｏｒ

ａｌｌ

Ｒ２ｋｅｒｎｅｌ

ｐａｒａｍｅｔｅｒ

ｓｐａｃｅ

模式矩阵的每一列确定了以模式中心为起点的下一个搜索计算参数点的位置．通过模式搜索步长△Ｐ取值的不同，可以实现以模式中心为圆心的３６０。范围搜索．参数变化量可由下式计算得到：

Ｓ＝ＡＰＰＫ

（９）

广△已］Ｔ

对于Ｒ２核参数空间，其中ＡＰ＝ｌ：Ｉ．

Ｌ△譬．Ｊ

模式搜索算法描述如下：

Ｓｔｅｐ

１确定初始的模式中心为粗网格搜索

所得到的优化参数点，给定对数参数搜索步长△Ｐ及足够小的允许步长８；

Ｓｔｅｐ

２根据式（９）计算对数参数的变化量

ｓ，然后依次求得当前模式中心的各邻域参数点的Ｊａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒ误差上界，并将其中使得该评价准则最小的参数点置为新的模式中心；

Ｓｔｅｐ３

若模式中心不变，则减小搜索步长

厶Ｐ并转到Ｓｔｅｐ２重新寻找新的模式中心；

Ｓｔｅｐ

４重复执行Ｓｔｅｐ２与Ｓｔｅｐ３，直到ＡＰ

小于允许步长８为止，最终确定的模式中心即为最优参数点．

３基于黎曼几何的核函数修正

３．１核函数的几何特性

Ｂｕｒｇｅｓ在文献［６］中讨论了基于核函数的非线性支持向量机的几何问题，认为非线性映射９是一个曲子流形，它定义了从输入空间Ｉ到特征空间Ｆ（再生核Ｈｉｌｂｅｒｔ空间）的一个嵌入．

定理１在特征空间中，黎曼度规与核函数之间满足如下关系式：

北京科技大学学报２００６年第１期

ｇｏ（ｘ）２孟静（ｘ，ｘ引。，：。（１０）

在黎曼空间中，体积微元可被定义为：

ｄＶ＝√ｇ（ｘ）ｄｘｌｄｘ２…ｄｘｄ

（１１）

其中ｇ（Ｘ＝ｄｅｔｌｇ“（Ｘ）ｌ，放大因子√ｇ（ｘ）表示在映射∞下输入空间ｆ的局部区域如何在特征空间Ｆ中被放大．

３．２

Ａｍａｒｉ的核函数修正思想

根据在输入空间所诱导的黎曼几何结构的基

础上，日本学者Ａｍａｒｉ等人提出了通过修正核函数来提高ＳＶＭ分类性能的方法［４，７｜。该方法的基本思想是通过改变不同区域的体积元来增大ＳＶＭ分界面处的空间分解力，即增大ｆ（ｘ）＝０分离边界曲面附近区域的黎曼度规ｇ甜（Ｘ），而同时减小其他区域的ｇ甜（Ｘ）．基于在实际应用中分离边界曲面是未知的这一事实，Ａｍａｒｉ则通过增加支持向量邻域的黎曼度规矩阵来锯决这个问题，提出了如下定义的修正核函数的准保角映射，

定义１对于一个正的标量函数Ｄ（Ｘ），定义：

霞（Ｘ，Ｘ７）＝Ｄ（Ｘ）Ｄ（ｘ７）Ｋ（Ｘ，Ｘ７）

（１２）

称之为核函数通过因子Ｄ（Ｘ）的保角变换，则良（Ｘ，ｘ７）成为支持向量机的修正核函数．同时，

非线性映射９被修正为（ｏ（ｘｌ＝Ｄ（ｘ）９（ｘ）．

对于高斯核函数，在其经过Ｄ（Ｘ）的保角变换后，黎曼度规ｇｉ（Ｘ）将变为：

ｇ巧（Ｘ）＝Ｄ｛（ｘ）ＤＩ（ｘ＋Ｄ２（ｘ）ｇ巧（童）（１３）

其中，Ｄｉ（工）：粤盟．

ｕＺｉ

由式（１３）知，所选择的Ｄ（Ｘ）应该在支持向量处取值大而在其他点取值小．３．３保角变换

本文提出了一种新的保角变换Ｄ（Ｘ），如下式：

Ｄ（ｘ）＝∑ｅｘｐ（一恢一ｘｉ１１２／ｒ；）（１４）

ｉ∈ＳＶ

其中，ｒ；＝｝Ｉｘ。一置ｌＩ２，Ｘ。的取值可由下式给出：

ｆｘ二，Ｙｉ＝＋１

Ｘ。＝｛

（１５）

Ｉｚｍ，Ｙｉ２一ｌ

ｎ

』ｓｖ

在式（１５）中，ｘ未＝÷∑托，咒≥是类标签为＋１

的支持向量数目，ｘ二表示属于正类的支持向量

１

月ＳＶ

样本的特征均值；Ｘｍ＝去∑墨，挖二是类标签

万　

方数据为一ｌ的支持向量数目，ｘ二表示属于负类的支持向量样本的特征均值．所以，ｔ表示支持向量样本Ｘ；与其所属类的支持向量特征中心矢量Ｘ。间的Ｅｕｃｌｉｄｅａｎ距离．显然，从式（１４）可知映射Ｄ（ｘ）与样本到支持向量的距离呈指数递减．

定理２采用式（１４）所示保角变换Ｄ（ｘ）的修正核函数良（Ｘ，ｘ７）满足Ｍｅｒｃｅｒ定理的条件．

证明

设Ａ为ＲＮ的紧子集，对于任意的

ｈ（ｘ）∈Ｌ２（Ａ），有ｌ矗２（工）ｄｘ＜００．

Ｊ

由式（１２），易见Ｋ（ｘ，ｘ７）具有连续性和对称性．下面证明Ｋ（Ｘ，Ｘ７）的半正定性．由式（１４）可得到Ｄ（ｘ）＞０，因此必存在一个正数口，使得Ｄ（ｘ）≥口＞０，从而有：

ｒｒ

～

７）ｈ（Ｘ）ｈ（Ｘ７）ｄｘｄｘ７＝

ＪＪ

ｌｌ

Ｋ（Ｘ，ｘＡＸＡ

ｍ

｜ｌ

Ｄ（ｘ）Ｄ（ｘ７）Ｋ（ｘ，Ｘ７）ｈ（ｘ）ｈ（Ｘ７）ｄｘｄｘ７≥

ＪＪ

ＡＸＡ

ｍ

Ｊ９２¨

Ｋ（ｘ，Ｘ７）ｈ（Ｘ）ｈ（Ｘ７）ｄｘｄｘ７≥ｏ．

ＪＪ

ＡＸＡ

定理得证．

在所提出的保角变换Ｄ（Ｘ）基础上，给出了数据依赖型修正核函数的支持向量机训练算法．该算法可描述为：

Ｓｔｅｐ

１根据具体问题初步确定所选核函数

类型；

Ｓｔｅｐ２

利用本文提出的核参数优化算法，

求得优化核参数，进而确定初始的核函数Ｋ；

Ｓｔｅｐ

３使用核函数Ｋ训练ＳＶＭ，获取支持

向量的信息，并计算ｘＩ：：和ｘ三，然后按式（１２），

（１４）和（１５）修正它，得到修正核函数Ｋ；

Ｓｔｅｐ４使用修正核函数ＫｉＪＬｌ练ＳＶＭ；Ｓｔｅｐ

５重复执行Ｓｔｅｐ３与Ｓｔｅｐ４，直到获得

最好的分类性能．

４实验结果与分析

４．１人工非线性分类问题

为了测评本文所提出的模型选择方法性能，首先研究了它在人工非线性分类问题上的应用．这里选用在区域［一０．５，０．５］×［一０．５，０．５］内随机均匀分布的数据点．两类数据由非线性分界线ｙ＝０．５ｓｉｎ（２ｎｘ）所决定，如图２所示．在仿真实验中，每类随机选取１００个样本构成训练集，每类再另选１０００个样本构成测试集．

由核参数优化算法所得到的误差惩罚因子Ｃ

封筠等：一种ＳＶＭ分类器自动模型选择方法

圈２人工数据集（两类分别用…和‘＊’表示Ｊ

Ｆｉｇ．２

Ａｒｔｉｆｉｃｉａｌ

ｄａｔａ

ｓｅｔ．ｔｈｅ

ｔｗｏ

ｃｌａｓｓｅｓ

ａｒｅ

ｄｅｎｏｔｅｄｂｙ

ａｎｄ‘＊’。ｒｅｓｐｅｃｔｉｖｅｌｙ

为２０４８，宽度参数盯为２．在此优化值的基础上，利用本文所提出的保角变换对核函数进行迭代修正计算，其结果如图３所示．可见，在第１步迭代时ＳＶＭ分类器就达到了最好的性能０．０３３，与没有修正前的０．０９相比较，测试误差要降低６３．３％，性能得到了大大改善．

图３人工非线性分类问题的核函数修正结果

Ｆｉｇ．３

Ｓｉｍｕｌａｔｅｄｒｅｓｕｌｔｆｏｒｍｏｄｉｆｉｅｄｋｅｒｎｅｌｏｎｔｈｅａｒｔｉｆｉｃｉａｌ

ｎｏｎ?ｌｉｎｅａｒｃｌａｓｓｉｆｉｃａｔｉｏｎ

ｐｒｏｂｌｅｍ

４．２手写相似汉字识别问题

相似字的识别是脱机手写汉字识别技术需要解决的一个关键问题．尝试应用本文所提出的模型选择方法来解决相似字识别这一难题．首先采用弹性网格与小波变换相结合的方法提取汉字的特征，具体做法是：先将规范化后的二维手写体汉字图像（６４×６４）按行、列分别进行一级小波变换，对得到的低频分量ＬＬ子图（保持了汉字基本信息）按汉字图像在水平和垂直两个方向上的直方图投影的均匀划分构造一组弹性网格（Ｎ×Ｎ格），再计算每个网格内的像素概率分布，进而得到一个Ｎ２维的特征向量．然后，利用部分空间法选择那些能表明相似字间主要差别的特征分

万　

方数据量，形成最终输入分类器的特征向量．图４以某．个汉字样本为例说明了本文所采用的特征提取方法．另外，实验中发现弹性网格数Ｎ×Ｎ选为８×８时分类效果最好．

巴

巳固

囝４特征提取示例．（１ｌ规范化汉字；（２）ＬＬ子图；（３ｊ弹性网

格化的ＬＬ子图

Ｈｇ．４

Ｉｌｌｕｓｔｒａｔｉｏｎｏｆｆｅａｔｕｒｅ

ｅｘｔｒａｃｔｉｏｎ：ｆ１）ｎｏｒｍａｌｉｚｅｄ

ｃｈａｒ－

ａｃｔｅｒ；（２）ＬＬｓｕｂ－ｉｍａｇｅ；（３１ｍｅｓｈｅｄ

ＬＬ

ｓｕｂ－ｉｍａｇｅ

以相似字组“己巳”为例来研究本文所提出的模型选择方法在手写相似字识别中的应用．在实验中，每个汉字选用９００套不同的书写样本，其中４００套用作训练，剩余５００套用于测试．由核参数优化算法所得到的误差惩罚因子Ｃ为１６，宽度参数仃为８．对核函数进行迭代修正计算的结果如图５所示．在第１步迭代时ＧＥ达到了０．０３３并且此时支持向量占总的训练样本比例为１７．０％，与没有修正前的ＧＥ为０．０６及支持向量比例为５４．９％相比较，ＧＥ要降低４５％，支持向量比例要降低６９％，由此可见ＳＶＭ分类器性能得到了较大程度地改善．另外，对比图３可以发现两者的核函数修正迭代曲线变化趋势很相似，都是在第１步迭代时ＳＶＭ分类器就达到了最好的性能，并在后面的迭代中泛化误差ＧＥ趋于基本不变．

图５相似字组“己巳”识别的核函数修正结果Ｆｉｇ．３

Ｓｉｍｕｌａｔｅｄ

ｒｅｓｕｌｔ

ｆｏｒｍｏｄｉｆｉｅｄ

ｋｅｒｎｅｌｏｎｔｈｅｓｉｍｉｌａｒｓｅｔ

‘己已’ｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍ

５

结论

本文提出了一种ＳＶＭ分类器自动模型选择的新方法，有效地解决了ＳＶＭ从理论走向实际

?９２?

北京科技大学学报

Ｅｄ．Ｎｅｗ

２００６年第１期

应用时所面临的模型选择这一“瓶颈”问题．首先针对高斯核函数以Ｊａａｋｋｏｌａ－Ｈａｕｓｓｌｅｒ误差上界为模型选择性能评价标准，应用粗网格与模式搜索相结合的优化算法寻找优化的模型参数．该优化算法充分利用了粗网格全局搜索及模式搜索的高效率优点，特别适合于计算导数困难的低维优化问题．然后基于黎曼几何理论提出了一个新的保角变换，对核函数进行数据依赖性的进一步改进，并证明了对应的修正核函数满足Ｍｅｒｃｅｒ条件．最后，在人工非线性分类问题实验研究的基础上，将该方法应用于手写体相似汉字识别，实验结果表明ＳＶＭ分类器性能得到了明显地改善．

…

参考文献

［１］Ｖａｐｎｉｋ

Ｖ

Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ，２０００

ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

、

Ⅲ

吲Ⅲ

ＧｏｌｄＣ．ＳｏｌｌｉｃｈｂＰ．Ｍｏｄｅｌｓｅｌｅｃｔｉｏｎｆｏｒ

ｍａ—

ｃｈｉｎｅｅｌａｓｓｉｆｃａｔｉｏｎ．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００３，５５：２２１

Ｃｏｒｔｅｓ

Ｃ，ＶａｐｎｉｋＶ．Ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｎｅｔｗｏｒｋｓ．ＭａｅｈＬｅａｒｎ，

１９９５，２０：２７３

Ａｍａｒｉ

Ｓ，ＷｕＳ．Ｉｍｐｒｏｖｉｎｇｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅｃｌａｓｓｉｆｉｅｒｓ

ｂｙｍｏｄｉｆｙｉｎｇｋｅｒｎｅｌｆｕｎｃｔｉｏｎｓ．Ｎｅｕｒａｌ

７８３

Ｎｅｔｗｏｒｋｓ，１９９９，１２：

吲

㈨

ＣｈａｐｅｔｌｅＯ，Ｖａｐｎｉｋ

Ｖ

Ｎ．Ｃｈｏｏｓｉｎｇｍｕｌｔｉｐｌｅｐａｒａｍｅｔｅｒｓ

Ｌｅａｒｎ，２００２，４６：１３１

ｆｏｒ

ｓｕｐｐｏｒｔ

Ｂｕｒｇｅｓ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅｓ．Ｍａｃｈ

Ｃ

ＪＣ．Ｇｅｏｍｅｔｒｙ

ａｎｄｉｎｖａｒｉａｎｃｅｉｎｋｅｒｎｅｌｂａｓｅｄｍｅｔｈ?

Ａ

ｏｄｓ｛｝Ｓｃｈ６１ｋｏｐｆ

Ｋｅｒｎｅｌ

Ｂ。ＢｕｒｇｅｓＣＪＣ。Ｓｍｏｌａ１．Ａｄｖａｎｃｅｓ

ｉｎ

Ｍｅｔｈｏｄｓ—Ｓｕｐｐｏｒｔ

Ｖｅｃｔｏｒ

Ｌｅａｒｎｉｎｇ．Ｃａｍｂｒｉｄｇｅ：ＭＩＴ

Ｐｒｅｓｓ，１９９９

ＷｕＳ．ＡｍａｒｉＳ．ＣｏｎｆｏｒｌＴｌａｌｔｒａｎｓｆｏｒｍａｔｉｏｎｏｆｋｅｒｎｅｌ

ｔｉｏｎｓ：ａ

ｆｕｎｃ．

ｄａｔａ－ｄｅｐｅｎｄｅｎｔｗａｙ

ｔｏ

ｉｍｐｒｏｖｅｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅ

ｃｌａｓｓｉｆｉｅｒｓ．Ｎｅｕｒａｌ

Ｎ．Ｔｈｅ

ｎａｔｕｒｅ

ＰｒｏｃｅｓｓＬｅｔｔ，２００２，１５：５９

ｏｆｓｔａｔｉｓｔｉｃａｌｌｅａｒｎｉｎｇｔｈｅｏｒｙ．２ｎｄ

Ａｕｔｏｍａｔｉｃｍｏｄｅｌｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒ

ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｓｃｌａｓｓｉｆｉｅｒｓ

ＦＥＮＧＪｕｎｌ?扪，ＸＩＥＢｉｎｌ’，ＨＡＯＷｅｉｄｏｎｇ＂，ＹＡＮＧＹａｎ９１）

１）Ｉｎｆｏｒｍａｔｉｏｎ２）Ｄｅｐａｒｔｍｅｎｔ

Ｅｎｇｉｎｅｅｒｉｎｇｏｆ

Ｓｃｈｏｏｌ，Ｕｎｉｖｅｒｓｉｔｙｏｆ

Ｓｃｉｅｎｃｅ

ａｎｄＴｅｃｈｎｏｌｏｇｙＢｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ１０００８３，ＣｈｉｎａｏｆＲａｉｌｗａｙ，Ｓｈｉｊｉａｚｈｕａｎｇ０５００４３，Ｃｈｉｎａ

ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，Ｓｈｉｊｉａｚｈｕａｎｇ

Ｉｎｓｔｉｔｕｔｅ

ＡＢＳＴＲＡＣＴ

ｅｒ

Ａｎｏｐｔｉｍａｌａｐｐｒｏａｃｈｗａｓｐｒｅｓｅｎｔｅｄｆｏｒｍｏｄｅｌｐａｒａｍｅｔｅｒｓｏｆ

ｃｏａｒｓｅ

ａｓ

ａ

ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅｃｌａｓｓｉｆｉ—

ｅｒｒｏｒ

ｂａｓｅｄ

ｏｎ

ｇｒｉｄｓｅａｒｃｈｃｏｍｂｉｎｅｄｗｉｔｈｐａｔｔｅｒｎｓｅａｒｃｈ，ｉｎｗｈｉｃｈｔｈｅＪａａｋｋｏｌａ—Ｈａｕｓｓｌｅｒｔｈｅｅｖａｌｕａｔｉｏｎｃｒｉｔｅｒｉｏｎｏｆｍｏｄｅｌｓｅｌｅｃｔｉｏｎ．Ｂａｓｅｄ

ｏｎ

ｂｏｕｎｄ

ｗａｓｃｏｎｓｉｄｅｒｅｄ

ｔｈｅＲｉｅｍａｎｎｉａｎｇｅｏｍｅｔｒｙｔｈｅｏｒｙ，ａ

ｎｏｖｅｌｃｏｎｆｏｒｍａｌｔｒａｎｓｆｏｒｍａｔｉｏｎｗａｓｐｒｏｐｏｓｅｄａｎｄｔｈｅｋｅｒｎｅｌｆｕｎｃｔｉｏｎｗａｓｍｏｄｉｆｉｅｄｂｙｔｈｅｔｒａｎｓｆｏｒｍａｔｉｏｎｉｎ

ａ

ｄａｔａ—ｄｅｐｅｎｄｅｎｔｗａｙ．Ｓｉｍｕｌａｔｅｄｒｅｓｕｌｔｓｆｏｒｔｈｅａｒｔｉｆｉｃｉａｌｄａｔａ

ｓｅｔ

ｓｈｏｗｅｄｔｈａｔｔｈｅａｐｐｒｏａｃｈｆｏｒａｕｔｏｍａｔｉｃ

ｍｏｄｅｌｓｅｌｅｃｔｉｏｎｗａｓｖｅｒｙｅｆｆｅｃｔｉｖｅ．ＡｎａｐｐｌｉｃａｔｉｏｎｏｆｔｈｅａｐｐｒｏａｃｈｉｎｈａｎｄｗｒｉｔｔｅｎｓｉｍｉｌａｒＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｒｅｃｏｇｎｉｔｉｏｎｗａｓｆｕｒｔｈｅｒｉｎｖｅｓｔｉｇａｔｅｄ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｈｏｗｅｄｒｅｍａｒｋａｂｌｅｉｍｐｒｏｖｅｍｅｎｔｏｆｔｈｅｐｅｒ—ｆｏｒｍａｎｃｅｏｆｔｈｅｃｌａｓｓｉｆｉｅｒ．ＫＥＹ

ＷＯＲＤＳ

ｓｕｐｐｏｒｔ

ｖｅｃｔｏｒ

ｍａｃｈｉｎｅｓ；ｍｏｄｅｌｓｅｌｅｃｔｉｏｎ；Ｒｉｅｍａｎｎｉａｎｇｅｏｍｅｔｒｙ；ｃｏｎｆｏｒｍａｌ

ｔｒａｎｓｆｏｒｍａ—

ｔｉｏｎ；Ｃｈｉｎｅｓｅｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ

万方数据