如何查看robots文件检查

  • A+
所属分类:SEO优化

经常听到SEOER同行们抱怨:“我的网站都建站好几个月了,连首页都没有收录”,“网站就收录了个首页,很多内页甚至是整个目录下的页面都没有被收录”,网页没有被收录有很多原因,其中之一就是Robots.txt文件的设置问题。本节总结一下如何利用百度站长工具查看robots文件。

如何查看robots文件检查

登陆百度站长工具,选择对应网站的域名,在左侧导航栏中找到数据监控菜单下的Robots,点击进入robots界面,点击检查并更新,这时会弹出网站设置的Robots文件内容。

此时,我们可以在该界面中测试robots文件的指令是否正确。方法如下,输入需要检测的网站网址,点击右边的“校验”按钮,便可以查看输入的网址是否设置为禁止蜘蛛抓取,以及被哪一行指令禁止了。如下图所示。

 

如何查看robots文件检查

robots.txt文件规定了网站哪些内容可以被蜘蛛抓取,哪些内容不能被蜘蛛抓取,因此,在书写该文件的时候,一定要非常清楚书写规则。任何一个字母或者是字符的错误都有可能导致网站页面被屏蔽,或者是导致本该被禁止访问的敏感信息暴露给蜘蛛抓取了。使用百度站长工具中的Robots工具可以检测出文件中的代码是否正确,避免错误禁止或错误允许应该被抓取和屏蔽的文件和目录。

关于Robots.txt文件检查给大家分享这么多,实际工作中可以利用百度站长工具来检查文件代码的正确性。

weinxin
华熙网络
华熙网络微信扫一扫,欢迎大家关注!
华熙网络

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: