如何正确书写Robots文件

  • A+
所属分类:SEO优化

在上一节中,我们有讲到Robots文件的定义以及作用,对整个Robors有了一个整体的认识,那么SEOER们该如何正确 书写Robotsw文件,避免网站受到不必要的损害呢?下面华熙网络做了下总结。

如何正确书写Robots文件

一、Robots常用术语

(1)User-agent

用来指定搜索引擎蜘蛛名称,各个搜索引擎所采用的robots探测器都不一样,以下是几种常见搜索引擎的Robots:

谷歌:Googlebot

百度:baiduspider

MSN: MSNbot

雅虎:Slurp

有道:YoudaoBot

搜搜:Sosospider

搜狗:sougou spider

360: 360Spider

例如,User-agent:Baiduspider表示定义的是百度蜘蛛。

(2)Disallow 表示禁止蜘蛛抓取访问的内容。

例如:Disallow: / 表示禁止蜘蛛爬取整个网站的内容

(3)Allow 表示允许蜘蛛抓取访问的内容

例如:Allow: / 表示允许蜘蛛爬取整个网站的内容

 

(二)Robots常用通配符

(1)* 表示告诉蜘蛛匹配任意一段字符

例如:User-agner:*

Allow: /*.htm

表示允许所有蜘蛛抓取网站所有的htm文件

(2)$表示以某字符串结尾,匹配URL结尾的字符

例如:User-agner:*

Allow: .htm

表示允许所有蜘蛛抓取以.htm为后缀的URL

 

(三)Sitemap位置

Sitemap:http://seo.com/sitemap.xml

Sitemap:http://seo.com/sitemap.html

以上两条告诉蜘蛛XML和Html的存放位置,方便蜘蛛快速识别抓取。

 

(四)常用Robots文件语句举例

(1)Disallow: /a/ 禁止搜索引擎访问网站中的某个文件夹

(2)Disallow: /a/*.js 禁止搜索引擎访问a文件夹中的所有js文件

(3)User-agent: Baiduspider 只允许百度搜索引擎访问

(4)Disallow: /*?* 禁止搜索引擎访问网站中的动态页面

(5)Allow: .htm$ 只允许搜索引擎访问htm结尾的文件

(6)Disallow: .jpg$ 禁止搜索引擎抓取网站上所有的JPG图片

 

(五)需要注意的点

(1)User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,在:后面必须带 一个英文字符下的空格。

(2)有多条Robots语句时,哪一条命名的最细,就以哪一条为准。

(3)写好之后可以到百度站长平台robots更新一下,检查robots是否书写正确。

(4)网站上线之前不要写robots.txt文件禁止蜘蛛访问网站,以免给网站收录带来不必要的麻烦。

 

关于怎么写robots文件的方法,暂时为大家总结以上这些。Robots文件对于网站页面的收录非常重要,一定要重视其正确写法。

 

 

weinxin
华熙网络
华熙网络微信扫一扫,欢迎大家关注!
华熙网络

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: