放在网站根目录下的一个纯文字文件robots.txt,用来知识搜索引擎蜘蛛哪些页面可以被抓取。搜索引擎蜘蛛访问一个网站时，首先要读取robots文件内容。其中凡是robots文件指明禁止搜索引擎抓取的，搜索引擎都会忽略，不再抓取。当然也有一部分恶意蜘蛛会忽略ROBOT文件，因为他们的目的只是为了扫描邮件地址或抄袭文章，不会理睬robots文件。
联系方式
销售电话：13922395952（黄经理）
售中客服：337604623（QQ）欧小姐
售后客服：2101996011（QQ）黄小姐
售中客服：337604623（QQ）欧小姐
售后客服：2101996011（QQ）黄小姐
公司地址： 广州市白云区白云大道北628号211创意园3层310室
广州搜浪科技发展有限公司 版权所有 备案号：粤ICP备09029216号
声明：如果本站有使用不当的极限词汇，并非本站之意愿，本站郑重声明所有极限词汇全部作废
广州搜浪科技发展有限公司 版权所有 备案号：粤ICP备09029216号
声明：如果本站有使用不当的极限词汇，并非本站之意愿，本站郑重声明所有极限词汇全部作废