一、应用Robots.txt节省带宽

普通来说站长很少去做这样一个设置，但是当效劳器访问量大内容过于多的话就有必要做一个设置来俭省效劳器的带宽，如屏蔽：image这样的文件夹，关于搜索引擎索引来说没有什么实践性的意义还糜费了大量的带宽。假如关于一个图片网站来说，耗费更是惊人的，所以应用Robots.txt能够充沛处理这一点。

二、维护网站平安目录

普通来说在设置Robots.txt时都要把管理目录以及数据库、备份目录设置进去，进制蜘蛛的匍匐，否则容易形成数据的泄露影响网站的平安。当然还有一些管理员不希望蜘蛛索引的其他目录，同样能够将其停止设置，这样来说搜索引擎就能够严厉的恪守这个规则来停止索引。

三、制止搜索引擎索引页面

一个网站总有一些不希望公众看到的页面，这个时分我们能够用Robots.txt来停止设置，防止蜘蛛对其索引，如前段日子笔者网速比拟慢结果更新了一篇文章，招致连续反复发布了3次，结果全部被搜索引擎索引，怎样办呢？反复的内容必然对网站优化是不好的，这时分便能够经过设置Robots.txt来将多余的页面屏蔽掉。

四、Robots.txt链接网站地图

由于蜘蛛访问网站首先查看的便是Robots.txt这个文件，那么我们能够将网站地图设置进去，更有利于蜘蛛索引*新的信息，而少走许多冤枉路。如显现专业网站建设公司地图页：http://www.soola.这样加到Robots.txt中更是有利于搜索引擎的索引。也不用每天费事的到搜索引擎提交地图文件，不是很烦琐吗？

五、写法及留意事项

关于Robots.txt写法一定要标准，写法上忽略不留意的人并不在少数。首先来说：User-agent:*是必需要写的，*表示针对一切搜索引擎。Disallow:（文件目录）不包括括号，表示制止搜索引擎索引的意义