Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

" V$ [8 J8 ]% B& c4 W, ~) x- c6 c3 ]8 K

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

2 }& ]/ d2 B1 o0 Q. {

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

% C7 ^, {% C% P3 s( Q

Baiduspider表示百度蜘蛛；

+ \7 q0 k& Y% R2 ^& r; y

Googlebot 表示谷歌蜘蛛；

+ g& f6 s: N1 h; N
; ?/ O& j) [7 b  }! X1 e

360Spider 表示360蜘蛛；

1 C( }  y2 U2 ]& j/ ~* G

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

Disallow: 表示禁止抓取后面的目录；

4 R! u5 n: ~  K" S* w; k

Allow: 表示允许抓取后面的目录。

# @4 |) ^/ v( U( P7 Z% D2 \& a) L

* 是个通配符，可以代替任意内容。

- F8 a1 u; D% [: i* ?

$ 字符指定与网址的结束字符进行匹配。

2 O; L9 f& w+ G8 o, D

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

# p/ y1 `. E+ \8 s: ~: w: Z
: Y8 P0 u- Z$ c/ P5 }: `5 h
3 w( L1 \4 D; t: E( a( h& H

Disallow:/*.asp$

例：

1 r" X" @: T$ r7 v" N1 i( M4 D& O; `

Disallow:/admin/  禁止访问/admin/目录的内容。

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

3 [0 C5 V) L/ }: W2 U8 h

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

$ b" q6 f4 U7 k  I+ c; P9 D

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

4 y; A8 K: V2 F2 F  V0 j7 w6 T5 k

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

1 V8 l$ H0 p+ t0 i
) z4 q) M$ J' x/ F  P* \

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

* a$ D9 g9 z+ |. a  x

完整写法：

" P; f7 O9 H/ B( Y

User-agent:*                      /**以下内容针对所有搜索引擎

' m$ A3 p5 J% p8 U" u1 K

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

3 N0 d) N# P( j- K% U

*****

0 w0 I- B) T! W: K& I

Allow:/html/                                                    /**允许访问/html/目录的内容

' @) B/ r) J/ T2 i+ I: Z2 N
4 g1 F1 F7 x+ `. M# c: z, ^

- y* w+ V! t% h
$ [9 y: {0 i# |

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

# m; m; Y% p  w2 I0 z2 B+ h/ [! l
/ r; K! a- p& q1 X9 ^9 r% k* Y, D

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。