作为seo人Robots的写法作为必须了解的内容之一,错误的写法可能给你带来不被搜索引擎收录的恶果。
% @% e( q f+ w3 z( f1 S$ A- M; n' o6 F) p8 h" u; t9 P$ r3 P
Robots文本中,因先写出对什么搜索引擎生效,然后是禁止抓取目录,允许抓取目录。 " j3 Z4 D" r, M, c4 I5 n0 V7 b: f
User-agent: 语句表示对什么搜索引擎的规则,如果内容是“*”,则表示对所有搜索引擎生效。 ; P; K) |3 g9 I; b3 m4 S
Baiduspider表示百度蜘蛛; 8 D! Z3 N* s1 F- m
Googlebot 表示谷歌蜘蛛; - W7 d* `/ D$ y$ k5 D
& k. k( @, K$ Y
360Spider 表示360蜘蛛; & w6 t( o5 \0 F% h( z0 b
5 F5 T; z4 c8 Z m W7 a
写了针对的蜘蛛后,就需要写具体的禁止抓取哪些目录,允许哪些目录。
1 K8 n. t8 b8 ^- j& XDisallow: 表示禁止抓取后面的目录; : r/ C' u/ d2 ^3 W1 I% S
/ j! N1 J$ X( E; uAllow: 表示允许抓取后面的目录。 I. ~; |) p4 |7 `3 N2 w
! R- q: y3 m/ ~7 {
* 是个通配符,可以代替任意内容。 5 \, P7 x6 |5 V& h" I7 p
$ 字符指定与网址的结束字符进行匹配。 % J' B( y' ~! L, K# g* {
例如,要拦截以 .asp 结尾的网址,可使用下列条目:
' V. u7 a: b4 J _3 z5 _5 |# D0 v+ V8 D" a1 Y1 V4 i1 Y" Y1 s
* A _7 K# f% W% O+ b
/ U6 Q( b. \# R* k1 t0 d% J6 FDisallow:/*.asp$ , g+ j+ n) ~/ `" f C
1 N O$ c3 x0 z例: 1 ^- |; n0 P: s; m, Y) P
2 X) m$ P( c' Y
Disallow:/admin/ 禁止访问/admin/目录的内容。
; T( E$ k3 R% I! y. P+ f
" d) c) K; I v0 HDisallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
) X+ k1 n9 v+ t7 O) O# [5 d% w- t4 Y) F
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
+ `: T3 a4 `+ T+ N8 G' @/ H* {7 C$ F8 m5 ]) A
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。 & i3 a1 d. q" O) g$ T/ h0 h% f: X0 F
, u* ?# u7 L+ c4 o
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。
9 {# R- J2 ]9 c5 a' y
0 v, t; h: @ _/ l0 l) L3 jAllow: .htm$ 仅允许访问以".htm"为后缀的URL。
6 x' h& d% n3 O3 F0 L) x9 `4 Q3 g! b% r) a: V
完整写法: ! h3 n* H& d7 c
+ l' i n( g6 L/ j/ U
User-agent:* /**以下内容针对所有搜索引擎
, D. |2 D5 b* M* M
: _9 g" M# l( y; e F3 v3 MDiasllow:/admin/ /**禁止访问/admin/目录的内容
% m N* K- d6 k: m# k# q: h1 E1 A* T5 F* W3 g. |
***** : p8 d, B0 i' G9 {1 s8 }
. A" X6 W% f) K, J" ~) ^3 T
Allow:/html/ /**允许访问/html/目录的内容 & c4 t1 n& x4 [. k1 L
1 m, O; D B d4 ]! R' c# {' a U1 i1 D' _# e4 ~. `
" V3 c" n; Z8 A7 c9 E2 |: x+ K8 T& g4 r+ W8 s" D
作为新手对Robots不是很明确的朋友,可以不写Robots.txt文件,以免错误的写发导致内容的不收录。 $ W% n! {1 l: ~. r8 y5 T a2 X* h+ \
: p$ C7 O. V9 o6 p6 ~
Robots最多的用途是屏蔽网站的后台目录,以免被收录后,被heike所利用;以及保护自己的版权资源,以免被搜索引擎收录了以后,展示在搜索结果里。 |