SEO日记14-spider和普通用户的区别

虽然绝大多数搜索引擎都表示自己的spider和普通用户访问没有太大区别,但是在长时间观察后发现并不是这样的,在此我列举一些区别,让各位了解spider和用户的区别后,可以更方便地优化自己的网站。

1.spider可以分辨出网页中是否有隐藏内容,而用户却不可以。
2.spider没有referer,对网站的抓取都是直接访问的,而普通用户除了直接访问都是有referer的。
3.用户可以识别网页中的图片和视频,而spider却不能识别
4.spider不会主动注册登录网站,但是普通用户是可以的
5.原则上spider是不会抓取robots内已经屏蔽的内容,用户是可以访问的

利用好以上这些区别,可以在不影响搜索引擎抓取和排名的前提下,为用户带来更好的浏览体验

发表评论