中文网页自动分类技术研究

上传者：蔡恒君
|
上传时间：2015-04-26
|
密次下载

中文网页自动分类技术研究

桂林工学院硕士学位论文
摘要
随着科学技术的飞速发展，人们进入了数字信息化时代，同时，电子信息急
剧膨胀。在这个时代，信息就是财富，信息决定成败。只有及时获取准确、有效
的信息，才能跟上时代的步伐。因此，对于浩如烟海的信息，帮助人们从中获取
准确、有效的信息成为信息处理领域的一个重要研究课题。网页是电子信息的载
体，其自动分类由此成为这个领域的一个重要研究方向。相对于人工分类，它能
够大大节省时间、物力和财力，还能提高自动分类的准确率和召回率。简言之，
研究实现中文网页自动分类不仅对于帮助人们快速、准确获取所需信息具有积极
的意义，而且对于推动和发展中文信息检索技术也有重要意义。
本文首先介绍了论文的课题背景、意义和国内外的研究现状，概述了文本自
动分类相关理论、主要技术和重要算法，在此基础上，简述中文网页自动分类，
再重点分析中文网页自动分类的关键技术，包括网页格式的转换、中文分词技术、
特征项选择方法、遗传算法降维和自动分类方法等。对于网页格式的转换，本文
通过分析网页的结构信息，针对其特点利用开源软件提取对分类有一定贡献的文
本信息：对于中文分词技术，采用分词性能良好的海量中文智能分词功能基础件
研究版进行分词；分词结束后，先组合文本频数和ｚ２统计法进行初步的特征项选
择，再根据分词结果结合网页结构信息特点改进ＴＦ．ＩＤＦ权重公式，使用改进后
的公式对特征项权重调整之后进行特征项的二次选择，然后，用文本表示模型表
示网页。这样，网页就转化成了文本，网页自动分类也就转化为了文本自动分类；
在综合比较了当前几个典型的网页自动分类算法之后，本文选取了分类方面表现
出色的支持向量机方法。在特征项选择过程中降低特征向量维数方面，本文采用
了目前已应用于许多领域的具有全局优化能力的遗传算法。特征Ｔ旬量降维后，将
其用支持向量机方法训练构造ＳＶＭ多类分类器。实验结果表明，与用不降维的
特征向量训练构造的ＳＶＭ多类分类器相比，用降维后的特征向量训练构造的
ＳＶＭ多类分类器，其对网页进行自动分类的准确率和召回率都有～定程度的提
古
同。
关键词：中文主题网页自动分类，文本自动分类，特征项选择，遗传算法，网页
自动分类算法

教育资源为主的文档平台

文档分类