Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

: x  X$ V/ Y$ E7 T) D

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

7 K  U1 G1 [; M

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

2 E! n9 M4 {" A3 V" [# u+ a5 r) N1 c. ^

360Spider 表示360蜘蛛；

' H- x9 b5 g. D. ^; l8 Y0 x

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

& e& L7 d  f6 J: \+ A. W

Disallow: 表示禁止抓取后面的目录；

Allow: 表示允许抓取后面的目录。

& K7 {7 R2 n; w5 T# r

* 是个通配符，可以代替任意内容。

  B/ }  O% W8 B- H2 Y* H( s8 o

$ 字符指定与网址的结束字符进行匹配。

$ D- e  [  Z7 h/ L' ]% k

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

$ }6 \. f4 i, g9 p* P
  s1 z; z" y, H( z5 m
" x+ t' N7 j, Q$ L; O' D8 R  L
, h- ~" S9 s$ H$ s# h! \* P; J) O$ L

Disallow:/*.asp$

; W. Q; t/ k* X; F0 X

例：

  c8 K, [0 w" c7 i5 B

Disallow:/admin/  禁止访问/admin/目录的内容。

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

% G) K' z  P& w  q" L3 W; |4 _
$ a; _$ c3 n/ v. Z% k/ w4 k

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

3 G% u* ?1 a6 Q3 Q6 H6 q+ B

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

# H' x( p' `$ V' X1 g

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

6 r7 l" Q* X  q

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

% v5 J9 G3 s8 ?( F

完整写法：

User-agent:*                      /**以下内容针对所有搜索引擎

. @; o3 Q! ^# G! K% t
. H1 V; _! P( a1 A$ J1 P5 ?

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

1 E6 |+ F! ^  U

*****

Allow:/html/                                                    /**允许访问/html/目录的内容

2 k) g7 T' R1 ^" d: v
7 U" p' Q) v) u1 |6 b
  d/ Y' O, e$ n$ |: f1 j$ p7 `1 B
' c( X5 u9 @1 q0 C6 T4 s

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

* e) Y) U0 H& [' |  |

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。