网站Robots是什么有什么作用

  • A+
所属分类:SEO优化

从事seo工作的人经常会听到Robots这个词,那么什么是网站Robots,网站Robots又有什么作用呢?

网站Robots是什么有什么作用

一、什么是网站Robots

robots协议(也称为爬虫协议、爬虫规则、机器人协议等),是搜索引擎的机器协议。全称是“网络爬虫排除协议”。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

二、网站Robots文件的存放位置

robots.txt是一个纯文本文件,存放在网站根目录下面。

三、网站Robots文件的查询方法

在搜索引擎中输入域名+robots.txt,然后按确认键,就会弹出robots文件内容,如直接访问http://dg.szsdseo.com/robots.txt,就可以看到本站的Robots设置。

四、网站Robots文件有什么作用

1.告诉搜索引擎蜘蛛网站的哪些部分应该被抓取,哪些部分不用抓取;

2.任何不想被搜索引擎收录的页面;

3.阻止搜索引擎索抓取网站隐私性的内容。

4.引导蜘蛛抓取网站地图;

5.引导蜘蛛按照Robots文件中的内容来确定访问的范围。、

 

以上是关于网站Robots是什么以及其作用的总结。实际上,robots.txt是搜索引擎访问网站时查看的第1个文件,当搜索蜘蛛访问一个网站时,首先会访问网站根目录下的robots.txt文件,按照该文件规定的访问范围来进行内容的抓取。

weinxin
华熙网络
华熙网络微信扫一扫,欢迎大家关注!
华熙网络

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: