作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。 " B( o* Q" P1 ]# V/ F% R$ v
Z- ~, c7 N- p+ b$ u
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。
& D( Q+ N) }, z8 v1 ]5 T* PUser-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。
2 _! @( h# H& e: _Baiduspider表示百度蜘蛛；
+ Y T* B7 \7 I% ^. oGooglebot 表示谷歌蜘蛛； 6 e, b7 T- y) A- p
2 X! I6 o; m! d$ E" J
360Spider 表示360蜘蛛；
# x7 {5 k. u+ o5 c& D$ x8 ?. I. _
( i3 a; l, K1 J$ D9 e0 a写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。
/ ?" x+ Z+ z: G$ {& xDisallow: 表示禁止抓取后面的目录； 1 d& z Z0 p' [2 I" o* B1 J: Z
- v6 t4 G1 N) A+ v! ^
Allow: 表示允许抓取后面的目录。
. [' }) B4 B0 p- H- I, X" R/ O0 _; d v/ W# h) t
* 是个通配符，可以代替任意内容。 5 _ s. J- E6 @1 I+ `/ m/ R2 \
$ 字符指定与网址的结束字符进行匹配。 7 O' Z+ a0 l/ j! J* u
例如，要拦截以 .asp 结尾的网址，可使用下列条目： ( h* K( e$ k' Z$ V% j
( ~4 S) z0 J" y" y$ O$ o- O
' N6 b" M7 g0 a& T8 |
* k3 m: k% J; w5 l) G, z7 z
Disallow:/*.asp$ 8 R1 ]4 z; E; H: H- z: q
2 F& l4 H" R) v" P& O' @例： # h w( q5 a8 ]+ z& U
8 b7 s3 C9 b$ m0 jDisallow:/admin/ 禁止访问/admin/目录的内容。
' s6 _# W/ ]' L, e+ N: Y+ L) c) X$ L: o, P
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
3 N4 U% N& w& C Y2 P5 Y% {2 z0 {. d" `, J
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
" S+ \, L; l5 p) k1 n, _, B: L- B
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。 ; ^0 \* j7 D- f; K, P2 ]
; l# W! h6 K1 y* f* O" Y
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。 ; _+ O; n- S0 S! A
+ x; S* N8 y4 Q7 P
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。 5 z' g8 N# H" |' x* G2 I* X
: C0 L* S2 {* I- b% r: V; \
完整写法：
. P! b; c) f0 V2 u' ~3 X9 x: I) Z5 k# w& J+ p" z$ M, T& @
User-agent:* /**以下内容针对所有搜索引擎
/ _( ?$ ^* [: v X
3 }1 {, j& u1 hDiasllow:/admin/ /**禁止访问/admin/目录的内容
2 k- w% V @+ A' ~
# V/ f2 G( p a" O***** 2 r6 J7 E" G) i
, G+ O& D, e. Q0 a7 dAllow:/html/ /**允许访问/html/目录的内容 2 Y, t! @" W" X# Y9 z0 y- j
2 V0 l- t3 E% H' v
9 u" x1 t9 Z" E3 S+ ^- D W! O
+ S3 w+ i& Y) x: i. S6 _& U! u7 z: v
7 A1 Q2 { j9 a" \5 s7 s作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。 / s# Y& K4 l5 W* ^( s8 }$ b
, g N- Y% ~) N5 a3 F, ?2 kRobots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。 | 
