基于向量空间模型的中文文档查重系统研究与设计
来源:互联网 科技信息 | 程强 深圳市宝德软件开发有限公司 广东 深圳 518000
摘 要:随着信息技术的飞速发展,人们在互联网上越来越容易获取到某个主题的相关信息,并把相关信息稍加修改地放入自己的文档中。本文提出了一种基于向量空间模型的中文文本相似度的检测算法,并给出了系统设计与实现的思路。算法包括预处理、中文分词、生成文本向量模型、文档相似度计算。系统通过spring框架搭建,采用多线程并行运算的方式,充分利用现代多核处理器的性能,提高了计算速率。通过在实际场景中的测试和使用,较好的验证了该算法的准确性和该系统的可行性,对文档内容抄袭行为的发现提供了很大的帮助。
【分 类】 机械与建筑工程
【关 键 词】 中文查重、向量空间模型相似度、相似度、中文分词
【来 源】 互联网
【收 录】 中国学术期刊网
相关推荐
热门期刊
《交通职业教育》 《交通职业教育》(双月)创刊于1982,是由主南通教育研究会;职业教育分会;技工教育分会;南通航运职业技术学院主办。于1995、1997和2001年连续三次荣获“全国职教期...
《传统文化与现代化》 《传统文化与现代化》创刊于1993年,是国务院古籍整理出版规划小组主办。 《传统文化与现代化》坚持为社会主义服务的方向,坚持以马克思列宁主义、毛泽东思想和邓小...
《无机盐工业》 《无机盐工业》杂志,于1960年经国家新闻出版总署批准正式创刊,CN:12-1069/TQ,本刊在国内外有广泛的覆盖面,题材新颖,信息量大、时效性强的特点,其中主要栏目有:化工分析...
《汉语佛学评论》 《汉语佛学评论》(年刊)创刊于2009,是广州中山大学佛学研究中心会聚海内外中青年佛教学人中志同道合者,以拓深或扩展汉语佛教学研究的水平和范围为宗旨,建立起的汉语...
《黑龙江财会》 《黑龙江财会》宣传党的方针政策,贯彻国家财会法规,普及财会知识,交流工作经验,面向基层,为全省财会工作和财会人员服务。 《黑龙江财会》杂志现已停刊,具体复刊...
《福建基础教育研究》 《福建基础教育研究》杂志,于2001年经国家新闻出版总署批准正式创刊,CN:35-1298/G,本刊在国内外有广泛的覆盖面,题材新颖,信息量大、时效性强的特点,其中主要栏目有:专...