新闻资讯News Information
网站首页 >新闻资讯 >Seo方案 >中文搜索引擎技术所面临的挑战

中文搜索引擎技术所面临的挑战?

时间:2012-03-08   
导读:中文搜索引擎技术所面临的挑战

信息的飞速增长,使搜索引擎成为人们查找信息的首选工具,Google、百度、中国搜索 等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加,越来越多的公司开 发出自己的搜索引擎,阿里巴巴的商机搜索、8848的购物搜索等也陆续面世,自然,搜索引擎技术也成为技术人员关注的热点。搜索引擎技术的研究,国外比中国要早近十年,从最早的 Archie,到后来的 Excite,以及 altvista、overture、Google 等搜索引擎面世,搜索引擎发展至今,已经有十几年的历史, 而国内开始研究搜索引擎是在上世纪末本世纪初。
在许多领域,都是国外的产品和技术一统天下,特别是当某种技术在国外研究多年而国内才开始的情况下。例如操作系统、字处理软件、浏览器等等,但搜索引擎却是个例外。虽然在国外搜索引擎技术早就开始研究,但在国内 还是陆续涌现出优秀的搜索引擎 ,像百度( http://www.baidu.com )、中搜(http://www.zhongsou.com)等。
目前在中文搜索引擎领域,国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面,有一个重要的原因就在于中文和英文两种语言自身的书写方式不同,这其中对于计算机涉及的技术就是中文分词。目前在自然语言处理技术中,中文处理技术比西文处理技术要落后很大一段距离,许多西文的处理方法中文不能直接采用,就是因为中文必需有分词这道工序。中文分词是其他中文信息处理的基础,搜索引擎只是中文分词的一个应用。其他的比如机器翻译(MT)、语音合成、自动分类、自动摘要、自动校对等等,都需要用到分词。因为中文需要分词,可能会影响一些研究,但同时也为一些企业带来机会,因为国外的计算机处理技术要想进入中国市场,首先也是要解决中文分词问题。在中文研究方面,相比外国人来说,中国人有十分明显的优势。
分词准确性对搜索引擎来说十分重要,但如果分词速度太慢,即使准确性再高,对于搜索引擎来说也是不可用的,因为搜索引擎需要处理数以亿计的网页,如果分词耗用的时间过长,会严重影响搜索引擎内容更新的速度。因此对于搜索引擎来说,分词的准确性和速度,二者都需要达到很高的要求。目前研究中文分词的大多是科研院校,清华、北大、中科院、北京语言学院、东北大学、IBM 研究院、微软中国研究院等都有自己的研究队伍,而真正专业研究中文分词的商业公司除了海量科技以外,几乎没有了。科研院校研究的技术,大部分不能很快产品化,而一个专业公司的力量毕竟有限,看来中文分词技术要想更好的服务于更多的产品,还有很长一段路。

本站原创,转载需要注明出处:

广州网站优化http://www.soola.net/news/1081.html

020-8555-7485

粤ICP备09029216号-14

分享到

微信公众号

微信小程序

返回首页 回顶部