什么是robots，怎么写法？发布者：本站 时间：2019-05-14 16:05:17
我们了解过什么是搜索引擎蜘蛛后，就应该了解下什么是robots.txt，因为前面介绍搜索引擎蜘蛛是按照链接爬行的，有的时候我不3344体育在线登录搜索引擎蜘蛛爬行并抓取，比如网站后台文件，如果地址被抓取暴露出来，那后果不是很严重吗？那么是否有制约搜索引擎蜘蛛的规则或文件呢？
什么是robots.txt
当搜索引擎爬行到某个网站的时候，首先第一查看的文件就是robots.txt，查看是否存在，如果存在那么网站的哪些文件不允许爬行，就像道路交通一样，某些道路无法通行。而robots.txt就像交警的存在，明确指示着某条道路不能通行，如果不存在，那么网站所有页面将均可以被蜘蛛爬行并收录。
robots.txt的写法
robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。格式例如：
User-agent: *
Disallow: /admin/ <后台管理文件>
Disallow: /require/ <程序文件>
Disallow: /attachment/ <附件>
Disallow: /images/ <图片>
Disallow: /data/ <数据库文件>
Disallow: /template/ <模板文件>
Disallow: /css/ <样式表文件>
Disallow: /lang/ <编码文件>
Disallow: /script/ <脚本文件>
• User-Agent: 遵守的规则
• Disallow: 要拦截的网页
选择我们，优质服务，不容错过
1. 优秀的网络资源，3344体育在线登录的网站优化技术，稳定的网站和速度保证
2. 15年上海网站建设经验，优秀的技术和设计水平，更放心
3. 全程省心服务，不必担心自己不懂网络，更省心。
------------------------------------------------------------
24小时联系电话：021-58370032