地名分词搜索的词典设计与匹配方法研究

上传者：陆虹
|
上传时间：2015-05-05
|
密次下载

地名分词搜索的词典设计与匹配方法研究

第36 卷第 2 期
2011 年4 月
测绘信息与工程
Journal of Geomatics
Vol. 36 No. 2
Apr. 2011
项目来源: 数字制图与国土信息应用工程国家测绘局重点实验室开放基金资助项目( GCWD200903) 。
文章编号: 10073817( 2011) 02005203 文献标志码: B
地名分词搜索的词典设计与匹配方法研究
李艳红
1
 庞小平
1
 李海亭
2
( 1 武汉大学资源与环境科学学院, 武汉市珞喻路129 号, 430079;
2 武汉市勘测设计研究院, 武汉市万松园路209 号, 430022)
摘 要: 阐述了专门用于分词搜索的关键词词典设计, 提出了采用逆向最大匹配和权重匹配相结合的方法, 实现
了更加准确、高效的地名搜索。
关键词: 地名搜索; 分词; 最大匹配; 权重匹配; 数据库
中图法分类号: P281
  地名搜索服务是社会公众或单位群体最常使用
的功能之一。建立地名数据库系统, 开展地名公共
服务, 已经成为社会公共服务体系建设中的重要组
成部分。结合武汉市地名服务系统的开发实践, 针
对地名数据本身的特点, 设计了专门用于地名库分
词搜索的关键词词典, 阐明了终端输入的分词算法,
对分词后的关键词序列与地名库中的数据内容进行
注入权重系数的逆向最大匹配, 并辅以分词索引技
术, 使整个地名搜索系统的设计更趋合理, 地名搜索
服务更加准确、高效。
1  分词词典设计
地名库系统中的地名数据具有数据量大、覆盖
范围广、信息复杂度高的特点。在地名搜索服务中,
地名库的词典设计既要考虑区域范围内地名数据的
特征, 还要考虑用户对地名数据的模糊查询、日常用
词、短语、专用词汇等均应包含其中
[ 1~ 3]
。分词词典
既要具有良好的数据结构, 又要具有通用性。
1) 数据结构的设计。在武汉市地名服务系统
的开发过程中, 收集了 115 638 条地名数据和近 30
万条日常用词、短语、专用词汇等组成整个词典的主
要内容, 采用文本文件的方式存放地名分词词典。
具体数据结构设计思想包括:  每一个文本文件存
放相同字节长度的词条, 词条间用换行符隔开, 便于
词典数据的维护和管理;  每一个词典文件内部,
所有的词条数据根据其整型数值之和以升序的方式
存放; ! 每一个词典的文件名称均由相同的前缀和
表示该词典存放汉字的长度数值构成, 如Dic 4, 即
表示4 个汉字的词典。
2) 通用词典的生成。收集分词词典内容并按
上述设计思想整理成文本文件, 此文件称为词典源
数据文件, 在词典中每一行存放一个独立词条。然
后编制文本处理程序, 将源数据文件中的词条分别
存放于不同的词典文件中。具体方法如下: 遍历源< br /> 数据文件中的词条内容, 根据词条长度分别存放于
不同的链表中。对于每个链表中的词条数据, 分别
根据它们各个字符的整型数值之和, 进行冒泡排序,
再将每个重新排序链表内的词条内容依次写到相应
的词典文件中, 这样就生成了用于中文输入分词的
通用词典, 通用词典的生成过程如图1 所示。
图 1 通用词典的生成过程
3) 地名库数据的添加。为了使地名搜索服务
准确、高效, 需将地名库中已有地名数据添加到通用
词典中。添加地名库数据的具体方法如下: 首先, 将

教育资源为主的文档平台

文档分类