Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

+ T4 s3 y' Z, H0 v& [& t

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

; O/ `( r+ b3 @  o4 b5 a
# S+ @% v5 B: f8 f$ _! T) t( G2 L

360Spider 表示360蜘蛛；

1 b9 b( ~" w. x8 b! K' z# [3 m( j

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

Disallow: 表示禁止抓取后面的目录；

' j6 E% Z! R+ @

Allow: 表示允许抓取后面的目录。

- b  c& S8 z) I6 n; D

* 是个通配符，可以代替任意内容。

$ 字符指定与网址的结束字符进行匹配。

( p- }- M6 ?8 J* W

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

9 J  Q3 x2 `/ a; ?( J

Disallow:/*.asp$

: R, n" a! q0 B( z) `3 N

例：

$ q6 w! Y' u1 \5 T4 i# H

Disallow:/admin/  禁止访问/admin/目录的内容。

4 x9 r6 @- Q! M# p0 p
/ Y' k$ u; I' r) Q) @

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

5 o+ B5 |$ R7 V  N5 x

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

/ }1 r' j% u% W. m+ {

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

2 x3 a; \! F3 A- j/ `

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

, z. g& z( f: j9 @: a  s
* W) O9 w* A1 b! f4 W

完整写法：

User-agent:*                      /**以下内容针对所有搜索引擎

( ~$ }5 v8 ?) g' F" R' t' Q/ T( L
  Y3 q4 ]+ F5 @* N  E  m# |

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

- Q' l+ S3 Y- J" r8 j1 G

*****

, }/ e% v+ Q; r- Q2 G. k
& k  H0 A! \. X% K( R% E6 r

Allow:/html/                                                    /**允许访问/html/目录的内容

- q: [( u/ N, y5 l' O- u0 V
. x$ _! I2 Y5 _2 H
: U) F! _5 X; e4 _% K  @

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

( m2 I6 Z& ]; E2 w
$ Y8 O8 ?# Z1 v4 R. U2 }" i

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。