Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

& {6 x" J! ~4 U/ s% Y. f

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

0 T) n0 {# S7 m3 \3 L, i
5 u" b; ~- J* s- i

360Spider 表示360蜘蛛；

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

( E& P2 N5 k4 M+ M% U

Disallow: 表示禁止抓取后面的目录；

5 B! U0 O6 a; `$ a  l7 c

Allow: 表示允许抓取后面的目录。

1 i0 ]/ y4 ]+ G4 ]4 X

* 是个通配符，可以代替任意内容。

$ 字符指定与网址的结束字符进行匹配。

1 W! H: o& o! P. ]0 b) o4 v5 T" x

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

: D, |2 A1 l1 L4 X7 S
# ]' }4 P# a/ a

Disallow:/*.asp$

例：

. i6 N$ D% O. B9 `4 @: w/ o

Disallow:/admin/  禁止访问/admin/目录的内容。

7 D, A! d# n$ y

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

' Y9 z, X; O3 Y# F6 t( G
5 K3 W- L2 U8 B( {1 D/ z

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

0 I$ _+ |, N  v! d. B

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

* k$ k$ R: _+ t+ V- h+ k* O' h9 N

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

! t( M' Y3 N1 d# u; H2 c& l

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

2 U* X! ^: L( C) P* e9 W/ q
( u, o2 V% r* `5 N6 _/ y& f, S

完整写法：

! w$ m+ d0 t9 t9 _

User-agent:*                      /**以下内容针对所有搜索引擎

" H/ z1 R9 U3 e/ H

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

3 l9 H( {3 w$ N* {% ]6 m
! e. H* D# b2 `" i0 I$ Y

*****

Allow:/html/                                                    /**允许访问/html/目录的内容

6 S  i- T4 c' |+ L6 t
* t0 p) {% }9 v7 ?+ [8 w* c8 |
/ w) a1 K7 ?. t- g' [
# Q7 @( z+ y3 d) j6 H* U$ K

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

5 R( h6 u+ u7 J% y. I" u3 @( b" V
1 p* K$ `  E& X" F2 T

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。