得知互动
标题: Robots的写法,完整讲解。 [打印本页]
作者: 小成往事 时间: 2015-1-17 18:28
标题: Robots的写法,完整讲解。
作为SEO人Robots的写法作为必须了解的内容之一,错误的写法可能给你带来不被搜索引擎收录的恶果。
& I4 c6 {1 B ^. `; t; ]9 t9 E5 ~. D% A2 y( r
Robots文本中,因先写出对什么搜索引擎生效,然后是禁止抓取目录,允许抓取目录。
7 v, ^0 C: r6 I* e. Q3 v
User-agent: 语句表示对什么搜索引擎的规则,如果内容是“*”,则表示对所有搜索引擎生效。
4 j6 c* K6 I6 RBaiduspider表示百度蜘蛛;
2 J0 i3 @9 n. C0 {
Googlebot 表示谷歌蜘蛛;
2 t6 O( k# \0 w! w
5 D0 Q6 X! v9 j# ~1 N0 Q360Spider 表示360蜘蛛;
! P/ t O5 a7 f
2 g. s+ P4 [8 L; j6 {5 l写了针对的蜘蛛后,就需要写具体的禁止抓取哪些目录,允许哪些目录。
# C6 _; E; x6 m" n3 z8 q2 {' iDisallow: 表示禁止抓取后面的目录;
& n, c/ G' t" o6 M7 p
* B/ ^8 o7 o8 P4 X. p- j1 f: DAllow: 表示允许抓取后面的目录。
) L& b% d# I3 H/ d, a, j
; r0 D5 @! v3 M2 |% _% T5 O* 是个通配符,可以代替任意内容。
) k2 W& \- b& G* b% J/ {$ 字符指定与网址的结束字符进行匹配。
) t& b9 d. \% M/ q; r1 f2 `* V* @7 J
例如,要拦截以 .asp 结尾的网址,可使用下列条目:
) C! y) S+ z9 n/ I, F# e# k
w3 b% h. ~( Z5 f- ^' ^8 B2 C' }; H# z! C" w
( ]+ k( \" E' P2 l" z
Disallow:/*.asp$
9 t( V/ c- G( [* t: W6 H0 n
7 K A& |( c6 g9 j例:
! s( c% P0 u4 W. A
# W5 e/ F: X: v4 D7 c
Disallow:/admin/ 禁止访问/admin/目录的内容。
6 `1 G6 j9 o3 P, B( A( m7 y
5 n1 [6 O; D6 O" t7 l! @Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
" w( r# f2 Z. T* u2 |9 ^6 p
8 l" |. V) H, q2 {' g" O$ c4 b& HDisallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
3 @+ }; }+ J" P5 C! W+ ~" D8 X0 M+ ~: k9 u' F |
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
2 E: R. i( Z! u- P2 o
. N" z/ L5 W) j9 }Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。
+ r4 Z# h9 @! p7 k* s
- e$ L% ^% f$ lAllow: .htm$ 仅允许访问以".htm"为后缀的URL。
]/ g9 O% f# k4 d/ I
) p: [0 R+ ~- t- V5 Q! S完整写法:
5 R q5 s0 J2 ~, N w3 E
+ i7 b( f* Q0 E' q% j' m5 aUser-agent:* /**以下内容针对所有搜索引擎
, @$ x8 d3 q7 ~3 E
& q8 u# s& M* H4 t% r
Diasllow:/admin/ /**禁止访问/admin/目录的内容
' }3 R$ o8 b9 u- A
. @0 B- F# E, {3 b
*****
3 K% r2 P% [1 P. [# w/ W! N! I" b6 Q, b( }& I( c: v& Q
Allow:/html/ /**允许访问/html/目录的内容
: {2 }' A$ G1 k' }
7 A9 O; g) [6 b; ~( T. Z6 a0 z3 C! b6 F& o4 B' u
. {& ?# F( E, `1 k; y- t6 ~, ^. r [
作为新手对Robots不是很明确的朋友,可以不写Robots.txt文件,以免错误的写发导致内容的不收录。
. h0 L4 U' |4 H) V
# c8 E( n. s4 h9 v3 H
Robots最多的用途是屏蔽网站的后台目录,以免被收录后,被heike所利用;以及保护自己的版权资源,以免被搜索引擎收录了以后,展示在搜索结果里。
作者: effoggikeftor 时间: 2015-1-31 18:39
好吧...那你说...
作者: wwdu926a 时间: 2015-1-31 18:40
手机版的得知互动论坛好强大
作者: effoggikeftor 时间: 2015-1-31 18:41
哈哈~` 好久没有笑喽~
作者: Acropozelan 时间: 2015-2-4 22:25
经过你的指点 我还是没找到在哪 ~~~
作者: 阴阳小轩 时间: 2015-2-4 22:25
为了不让帖子沉得太快!!!为了人人知道这个~!! 我不是原创~!!但是我要把他发扬广大~!!!
作者: Acropozelan 时间: 2015-2-4 22:26
您知道这个论坛的站长是谁吗?偷偷的告诉你他叫叶学得 好厉害的样子
作者: wwdu926a 时间: 2015-2-4 22:27
终于看完了~~~
作者: Acropozelan 时间: 2015-2-4 22:29
一骂人就激动....
作者: Acropozelan 时间: 2015-2-19 12:17
晚安 别让小嫁再郁闷了 -
作者: wwdu926a 时间: 2015-2-19 12:18
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
作者: 阴阳小轩 时间: 2015-2-19 12:18
哪个正常的人能崇拜一只蟑螂呢?
作者: 阴阳小轩 时间: 2015-2-19 12:22
假如我们把自己力所能及的事都完成了,我们会真的令自己大吃一惊。
欢迎光临 得知互动 (https://bbs.dezhifl.com/) |
Powered by Discuz! X3.4 |