当前位置:网站首页 > 新闻资讯 >SEO优化 > 如何辨别搜索引擎机器人身份
如何辨别搜索引擎机器人身份
日期:2012-03-08     浏览:987     作者:搜浪君
关键词:搜索引擎机器人

搜索引擎派出他们的搜索机器人去访问、索引网站内容,网站管理员也默认、欢迎它们来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能,因此并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循 robots.txt 规范,会严重拖垮网站性能而又无其它益处。因此,网站管理员需要验证每个机器人身份是否合法。
在你的服务器日志文件中,可见每次访问的路径和相应的 IP 地址,如果是机器人来访, 则 user-agent 会显示 Googlebot 或 MSNBot 等搜索引擎漫游器名称,每个搜索引擎都有自己 的 user-agent,但仅有这个还不足以证明这个机器人的合法性,因为很多垃圾制造者可能将 他们的机器人也命名为 Googlebot,以伪装蒙混进入网站,大肆采掘内容。
目前,主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份:通过 DNS 反向查询找出搜索引擎机器人 IP 地址对应的主机名称;用主机名查找 IP 地址以确认该主机名与 IP 地址匹配。
首先,使用 DNS 反向查询(Reverse DNS Lookup),找出机器人 IP 地址对应的主机名称。主流搜索引擎的主机名称通常情况下应是这样的:
Google  :主机名称应包含于   googlebot.com 域名中,如:crawl-66-249-66-1.googlebot.com;
MSN  :  主机名称应包含于   search.live.com  域名中,如:livebot-207-46-98-149.search.live.com;
Yahoo:主机名称应包含于 inktomisearch.com 域名中,如:ab1164.inktomisearch.com。
*后,做一次 DNS 查询,用主机名查找 IP 地址(Forward DNS Lookup),以确认该主机名与 IP 地址匹配。由此证明该机器人是合法的。 现在,如果发现一个机器人将自己伪装成合法搜索引擎漫游器,你就可以通过服务器上的设置来阻止这个非法机器人。


返回列表
联系方式
公司固话: 020-85557485/85675730
销售电话:13922395952(黄经理)
销售电话:13533390539(郭经理)
售中客服:337604623(QQ)郭小姐
售后客服:2101996011(QQ)郑小姐
微信公众号
SEO优化名词解析
网站首页 业务热线 提交需求 官方微信