Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

Baiduspider表示百度蜘蛛；

0 b' s3 a: w- z

Googlebot 表示谷歌蜘蛛；

. j* c5 w& U% V' E& K2 A6 X8 ?* x
* k) [$ |, H" \0 V6 c2 O# s: R

360Spider 表示360蜘蛛；

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

Disallow: 表示禁止抓取后面的目录；

: c* G$ j4 f+ o( U7 J5 t, n

Allow: 表示允许抓取后面的目录。

+ \' s, m$ }" `8 P/ u5 _, n. E$ {+ L

* 是个通配符，可以代替任意内容。

0 i) S$ }$ `+ [+ ?+ u& _7 e: J1 v

$ 字符指定与网址的结束字符进行匹配。

/ w$ ?) v! l; ~% n8 W1 T

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

9 ~9 U* Q9 Z" ?9 i( z7 Q

) z) Z3 Y" m: C# u

Disallow:/*.asp$

+ _6 ~# E6 T0 V3 z. ^# M' Q' }" o
8 U) k: T1 U% j& K

例：

6 H5 {+ r2 ]" r  Q4 o
( T! H3 p$ \! y2 |0 Q+ Z$ E# V$ ]; z

Disallow:/admin/  禁止访问/admin/目录的内容。

( [8 J9 r/ u. }
1 u7 ]- S( i! O8 y5 w- X

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

8 K  w" U0 l7 W$ G( [+ J8 K

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

) {+ P+ B3 P, o2 u5 q0 j+ w

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

5 z4 n) l7 c% r

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

1 y* J" G9 f. |  C- i! _8 x
- p4 H+ A8 f& [3 t0 l7 U

完整写法：

User-agent:*                      /**以下内容针对所有搜索引擎

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

4 N) w, p2 k: a' r

*****

7 Q2 i+ Y5 x$ |. `% H

Allow:/html/                                                    /**允许访问/html/目录的内容

5 W4 C6 ^3 `9 a6 t2 h& k
& f) b, b+ N* x; E
- G/ D4 O; ~- K; D- O% j( R

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

, S. I  `1 i# H- Q' y
6 l: s  ~) O, v

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。