作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。 ! B6 F* S+ V6 J k
9 q, H7 ~1 Q9 A1 f# }' C5 c
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。 1 L! ^2 N d& k9 s0 G5 V
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。 $ K' H) K0 q. B/ f0 W
Baiduspider表示百度蜘蛛；
) X8 U& Z7 m0 `, {* XGooglebot 表示谷歌蜘蛛； 4 [8 ^( T' o" n" X, F: M
2 a/ g+ Q7 |: N8 H0 C4 ?( {
360Spider 表示360蜘蛛；
: }. E Z& S% m3 R2 F2 ~( `; o" | l, K% H
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。
. B: \) ?1 w3 z& K/ ^) n2 ZDisallow: 表示禁止抓取后面的目录；
# m2 n' N) o7 w5 \( X/ b+ L, l; i) }+ z7 O6 y, h+ c0 W
Allow: 表示允许抓取后面的目录。 . z# V5 O. F7 v, a$ P q
4 J* a Q; `+ q% |" E* 是个通配符，可以代替任意内容。 ; S8 m" y. e; L$ T
$ 字符指定与网址的结束字符进行匹配。
' z" m" n. b- |2 M6 Q例如，要拦截以 .asp 结尾的网址，可使用下列条目：
. l) s, z, Z8 K: l. L6 R3 W0 v+ l, \
) Y9 ?7 G3 o2 l$ u* z' ^1 ?! d
# l3 r k% {7 U9 j A/ l+ j0 {Disallow:/*.asp$
5 s( d( k8 {; R0 M$ X5 {& z; G& S- p. Q# N8 j: {+ P
例： + E3 g0 C$ |. Y% ?1 G; X# v
. F* V |0 _1 w1 f! N3 n
Disallow:/admin/ 禁止访问/admin/目录的内容。 0 E, O& N% i5 i% d2 ~- D
# P! M* y6 A1 p3 h3 r. l, w7 B& P
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
% P1 U; D2 U+ {$ h2 U) T6 W/ ]9 ~& E/ q9 y/ _3 j
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
( y6 m% Y& L2 l! D8 l$ b/ s( ?- K5 l2 X
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
5 U6 R0 h% u, F N& H, v% V% O+ a: f% k$ B/ q5 [. g4 u4 x
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。
/ J: F$ p" |6 A7 R6 U8 [4 n0 f
9 r3 G6 l! S5 C& I: GAllow: .htm$ 仅允许访问以".htm"为后缀的URL。 , M3 o+ Z7 `+ q+ M0 ^$ Y
% W$ w& ~! f$ c, e5 b: S完整写法： ' r$ ~, O8 _( }$ V! Z7 Q
( ?3 T0 c8 R& t5 w9 f3 rUser-agent:* /**以下内容针对所有搜索引擎
9 p9 w1 t5 x! X: ]0 R6 F) |$ b \- z3 H& R" y2 M
Diasllow:/admin/ /**禁止访问/admin/目录的内容 $ W i1 y1 c" Q$ G' c$ @* ?- _
2 _( ~2 N# T: I" b$ r, I! E5 J
*****
1 Z3 C s( j; v
8 T3 i4 x' {. yAllow:/html/ /**允许访问/html/目录的内容 + l) s* S7 @+ s& f5 a: Q2 L
: b% y3 m& F9 @! a1 s6 K) q* z' Q* A
" k- X) A7 z3 a$ G0 p" V
3 `3 M9 M. N# {$ T
3 |2 d. j+ V7 C
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。 5 E9 e/ h+ O) M& P5 W6 R
! s9 L! o" B8 ~" o( Y# |7 b( p
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。 |
Ai优选商家寻找本地地推合作伙伴303求项目与合作
拥抱AI搜索新时代！GEO优化成为企业流量增909网络资讯
GEO优化如何让企业流量翻倍？808网络资讯
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡