SEO日记18-robots.txt的具体用途

一般来说可以使用robots.txt文件来屏蔽不想被搜索引擎抓取的页面,但是这些页面都有哪些?
1.多版本URL情况下,非主显URL的其他版本。比如链接伪静态之后的动态版本,这时就可以使用robots.txt屏蔽掉这些动态链接
2.如果网站有大量交叉组合查询所生成的页面,肯定有大量的页面是没有内容的,对于没有内容的页面可以单独设置一个URL特征,然后用robots.txt进行屏蔽
3.如果网站由于某些原因突然要删除大量的页面,也可以在robots.txt文件中对这些链接进行屏蔽
4.常规的不希望被爬虫抓取的内容,比如用户信息、管理后台等隐私数据,可以使用robots.txt屏蔽。

发表评论