地名分词搜索的词典设计与匹配方法研究
上传者:陆虹|上传时间:2015-05-05|密次下载
地名分词搜索的词典设计与匹配方法研究
第36 卷 第 2 期
2011 年4 月
测绘信息与工程
Journal of Geomatics
Vol. 36 No. 2
Apr. 2011
项目来源: 数字制图与国土信息应用工程国家测绘局重点实验室开放基金资助项目( GCWD200903) 。
文章编号: 10073817( 2011) 02005203 文献标志码: B
地名分词搜索的词典设计与匹配方法研究
李艳红
1
庞小平
1
李海亭
2
( 1 武汉大学资源与环境科学学院, 武汉市珞喻路129 号, 430079;
2 武汉市勘测设计研究院, 武汉市万松园路209 号, 430022)
摘 要: 阐述了专门用于分词搜索的关键词词典设计, 提出了采用逆向最大匹配和权重匹配相结合的方法, 实现
了更加准确、高效的地名搜索。
关键词: 地名搜索; 分词; 最大匹配; 权重匹配; 数据库
中图法分类号: P281
地名搜索服务是社会公众或单位群体最常使用
的功能之一。建立地名数据库系统, 开展地名公共
服务, 已经成为社会公共服务体系建设中的重要组
成部分。结合武汉市地名服务系统的开发实践, 针
对地名数据本身的特点, 设计了专门用于地名库分
词搜索的关键词词典, 阐明了终端输入的分词算法,
对分词后的关键词序列与地名库中的数据内容进行
注入权重系数的逆向最大匹配, 并辅以分词索引技
术, 使整个地名搜索系统的设计更趋合理, 地名搜索
服务更加准确、高效。
1 分词词典设计
地名库系统中的地名数据具有数据量大、覆盖
范围广、信息复杂度高的特点。在地名搜索服务中,
地名库的词典设计既要考虑区域范围内地名数据的
特征, 还要考虑用户对地名数据的模糊查询、日常用
词、短语、专用词汇等均应包含其中
[ 1~ 3]
。分词词典
既要具有良好的数据结构, 又要具有通用性。
1) 数据结构的设计。在武汉市地名服务系统
的开发过程中, 收集了 115 638 条地名数据和近 30
万条日常用词、短语、专用词汇等组成整个词典的主
要内容, 采用文本文件的方式存放地名分词词典。
具体数据结构设计思想包括: 每一个文本文件存
放相同字节长度的词条, 词条间用换行符隔开, 便于
词典数据的维护和管理; 每一个词典文件内部,
所有的词条数据根据其整型数值之和以升序的方式
存放; ! 每一个词典的文件名称均由相同的前缀和
表示该词典存放汉字的长度数值构成, 如Dic 4, 即
表示4 个汉字的词典。
2) 通用词典的生成。收集分词词典内容并按
上述设计思想整理成文本文件, 此文件称为词典源
数据文件, 在词典中每一行存放一个独立词条。然
后编制文本处理程序, 将源数据文件中的词条分别
存放于不同的词典文件中。具体方法如下: 遍历源<
br />
数据文件中的词条内容, 根据词条长度分别存放于
不同的链表中。对于每个链表中的词条数据, 分别
根据它们各个字符的整型数值之和, 进行冒泡排序,
再将每个重新排序链表内的词条内容依次写到相应
的词典文件中, 这样就生成了用于中文输入分词的
通用词典, 通用词典的生成过程如图1 所示。
图 1 通用词典的生成过程
3) 地名库数据的添加。为了使地名搜索服务
准确、高效, 需将地名库中已有地名数据添加到通用
词典中。添加地名库数据的具体方法如下: 首先, 将
下载文档
热门试卷
- 2016年四川省内江市中考化学试卷
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
- 山东省滨州市三校2017届第一学期阶段测试初三英语试题
- 四川省成都七中2017届高三一诊模拟考试文科综合试卷
- 2017届普通高等学校招生全国统一考试模拟试题(附答案)
- 重庆市永川中学高2017级上期12月月考语文试题
- 江西宜春三中2017届高三第一学期第二次月考文科综合试题
- 内蒙古赤峰二中2017届高三上学期第三次月考英语试题
- 2017年六年级(上)数学期末考试卷
- 2017人教版小学英语三年级上期末笔试题
- 江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
- 重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
- 江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
- 江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
- 山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
- 【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
- 四川省简阳市阳安中学2016年12月高二月考英语试卷
- 四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
- 安徽省滁州中学2016—2017学年度第一学期12月月考高三英语试卷
- 山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
- 福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
- 甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷
网友关注
- 投标文件(技术标)产业化示范工程钢结构
- 經常被應用在公文上的文言語彙
- 2011版《建设工程施工合同示范文本》_0
- 商务信函样本[指南]
- 医院可行性研究报告示范文本
- 合伙企业登记申请文书填写示范文本
- 2013版建设工程施工合同示范文本理解与应用
- 教学观摩系统谈判书
- 3605635792014年建设工程施工招标文件(示范本·第一次修订版)(上网版)
- 【精品】2011年度上海市文明示范工程、上海市文明示范 工地和上海市文明...60
- 《1月预备党员思想汇报范文》等25篇入党思想汇报范文合集814
- (最新)庆典邀请函范文
- 建设工程施工专业分包合同示范文本38315509
- 清华大学国学管理研究生课程进修项目~[doc]
- 2014年3月入党积极分子思想汇报范文精选100篇【精选】_
- FOR IMMEDIATE RELEASE_19277FORforFor
- 重庆市计算机系统集成示范合同
- 立体生态农业生产示范基地项目可行性建议书(可编辑)
- 2012年3月入党积极分子思想汇报集锦
- 合同示范文本大全(上)
- 2011商品房买卖合同示范文本解读
- 寄送催款函能引起诉讼时效中断吗
- 2011版《建设工程施工合同示范文本》_0
- 《前期物业服务合同》示范文本
- 国家政策对咨询服务合同书
- 公司法定代表人变更登记示范文本-股东会决议等示范文本(设执行董事)-表格填写示范
- (精选)前期物业服务合同(示范文本)
- 感谢信的写作方法_
- 爱心助学行动倡议书
- 2014济南长清区事业单位招聘报名条件
网友关注视频
- 苏科版数学八年级下册9.2《中心对称和中心对称图形》
- 人教版历史八年级下册第一课《中华人民共和国成立》
- 【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
- 青岛版教材五年级下册第四单元(走进军营——方向与位置)用数对确定位置(一等奖)
- 苏科版八年级数学下册7.2《统计图的选用》
- 沪教版八年级下册数学练习册一次函数复习题B组(P11)
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 3
- 二年级下册数学第三课 搭一搭⚖⚖
- 沪教版牛津小学英语(深圳用) 六年级下册 Unit 7
- 苏教版二年级下册数学《认识东、南、西、北》
- 冀教版小学数学二年级下册1
- 七年级下册外研版英语M8U2reading
- 六年级英语下册上海牛津版教材讲解 U1单词
- 冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
- 【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,江苏省
- 冀教版英语五年级下册第二课课程解读
- 沪教版牛津小学英语(深圳用) 五年级下册 Unit 10
- 第五单元 民族艺术的瑰宝_16. 形形色色的民族乐器_第一课时(岭南版六年级上册)_T1406126
- 冀教版小学数学二年级下册第二单元《有余数除法的竖式计算》
- 3.2 数学二年级下册第二单元 表内除法(一)整理和复习 李菲菲
- 化学九年级下册全册同步 人教版 第22集 酸和碱的中和反应(一)
- 冀教版英语三年级下册第二课
- 小学英语单词
- 苏科版数学 八年级下册 第八章第二节 可能性的大小
- 《小学数学二年级下册》第二单元测试题讲解
- 冀教版小学数学二年级下册第二单元《余数和除数的关系》
- 精品·同步课程 历史 八年级 上册 第15集 近代科学技术与思想文化
- 沪教版牛津小学英语(深圳用) 四年级下册 Unit 4
- 3月2日小学二年级数学下册(数一数)
- 《空中课堂》二年级下册 数学第一单元第1课时
精品推荐
- 2016-2017学年高一语文人教版必修一+模块学业水平检测试题(含答案)
- 广西钦州市高新区2017届高三11月月考政治试卷
- 浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
- 浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
- 辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
- 广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
- 广西钦州市钦州港区2017届高三11月月考政治试卷
- 广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
- 广西钦州市高新区2016-2017学年高二11月月考政治试卷
- 广西钦州市高新区2016-2017学年高一11月月考政治试卷
分类导航
- 互联网
- 电脑基础知识
- 计算机软件及应用
- 计算机硬件及网络
- 计算机应用/办公自动化
- .NET
- 数据结构与算法
- Java
- SEO
- C/C++资料
- linux/Unix相关
- 手机开发
- UML理论/建模
- 并行计算/云计算
- 嵌入式开发
- windows相关
- 软件工程
- 管理信息系统
- 开发文档
- 图形图像
- 网络与通信
- 网络信息安全
- 电子支付
- Labview
- matlab
- 网络资源
- Python
- Delphi/Perl
- 评测
- Flash/Flex
- CSS/Script
- 计算机原理
- PHP资料
- 数据挖掘与模式识别
- Web服务
- 数据库
- Visual Basic
- 电子商务
- 服务器
- 搜索引擎优化
- 存储
- 架构
- 行业软件
- 人工智能
- 计算机辅助设计
- 多媒体
- 软件测试
- 计算机硬件与维护
- 网站策划/UE
- 网页设计/UI
- 网吧管理