SEO日记17-robots.txt是什么

robots.txt是什么
robots.txt文件是引导搜索引擎抓取网站内容的协议。合理地使用robots.txt可以告诉搜索引擎哪些页面可以抓取,哪些不能抓取。
要不要使用robots.txt
对于有需要屏蔽爬虫抓取内容的网站,当然是需要robots.txt文件的。但是对于希望把内容全部开放给爬虫的网站来说robots.txt就没有意义了。
有些人认为,如果允许爬虫抓取全站内容,还在服务器放置一个robots.txt文件是不是会浪费爬虫抓取次数,但其实是不论你设不设置robots.txt文件,爬虫都会频繁地抓取这个文件,以为爬虫并不会知道你以后是否会更新robots.txt文件为了遵守互联网协议,就只能频繁地抓取此文件。

发表评论