Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

. l2 N# _4 H" j+ y$ `5 M

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

360Spider 表示360蜘蛛；

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

6 V! ^7 e6 c: @8 S

Disallow: 表示禁止抓取后面的目录；

Allow: 表示允许抓取后面的目录。

1 ?) v- l/ y; |
- b4 i: d' g: O, Q- f

* 是个通配符，可以代替任意内容。

$ 字符指定与网址的结束字符进行匹配。

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

+ ?8 |7 }' }% {4 Q2 T; z

& a7 d. J, T% L5 v

Disallow:/*.asp$

例：

0 y' b, `8 k( f7 S% o8 h% X6 A
3 y0 L+ h3 S9 J9 j3 c

Disallow:/admin/  禁止访问/admin/目录的内容。

- J. o& ?* @' f, v! m! R% c0 S
' h6 {  |* }2 s7 u* A4 ]" x

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

# [' T& f' g2 ~' p2 E4 S5 ^7 X

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

0 z3 G9 @4 a( X, l5 i4 g

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

. q" z6 s0 m# Q. ?# }  ?  r8 t% o4 n

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

1 Z9 u0 X0 [' R" l

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

完整写法：

5 G" z; W8 v! P. g5 V
! N% A; K& D% \+ \

User-agent:*                      /**以下内容针对所有搜索引擎

0 C% b: l- Q+ T! {  L' ^2 ~. ^9 c/ E5 E2 A
# ~. I7 D$ D% _3 K

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

& _3 @, A& d% e  d! q& X( Z  M
' c% K" S- Z% g- \. e

*****

( e9 h. T* \+ z/ n, P: U2 n
  q% |' R* t) V. T  \, e2 k

Allow:/html/                                                    /**允许访问/html/目录的内容

/ N' Z% y- f9 v$ f
& m% R) j( Z: S, r7 i& N3 D$ ?
, P$ ~) [3 _, |, P! n* `! j1 l# D
; g  D7 a5 V% n) E5 Q$ R

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

8 P" C  d+ J! j

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。