得知互动

标题: Robots的写法，完整讲解。 [打印本页]
作者: 小成往事    时间: 2015-1-17 18:28
标题: Robots的写法，完整讲解。
作为SEO人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

& I4 c6 {1 B  ^. `; t; ]9 t9 E5 ~. D% A2 y( r
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。
7 v, ^0 C: r6 I* e. Q3 v
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

4 j6 c* K6 I6 R
Baiduspider表示百度蜘蛛；
2 J0 i3 @9 n. C0 {
Googlebot 表示谷歌蜘蛛；

2 t6 O( k# \0 w! w
5 D0 Q6 X! v9 j# ~1 N0 Q
360Spider 表示360蜘蛛；
! P/ t  O5 a7 f

2 g. s+ P4 [8 L; j6 {5 l
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

# C6 _; E; x6 m" n3 z8 q2 {' i
Disallow: 表示禁止抓取后面的目录；
& n, c/ G' t" o6 M7 p

* B/ ^8 o7 o8 P4 X. p- j1 f: D
Allow: 表示允许抓取后面的目录。
) L& b% d# I3 H/ d, a, j

; r0 D5 @! v3 M2 |% _% T5 O
* 是个通配符，可以代替任意内容。

) k2 W& \- b& G* b% J/ {
$ 字符指定与网址的结束字符进行匹配。
) t& b9 d. \% M/ q; r1 f2 `* V* @7 J
例如，要拦截以 .asp 结尾的网址，可使用下列条目：
) C! y) S+ z9 n/ I, F# e# k

  w3 b% h. ~( Z5 f- ^' ^8 B2 C' }; H# z! C" w
( ]+ k( \" E' P2 l" z
Disallow:/*.asp$

9 t( V/ c- G( [* t: W6 H0 n
7 K  A& |( c6 g9 j
例：
! s( c% P0 u4 W. A
# W5 e/ F: X: v4 D7 c
Disallow:/admin/  禁止访问/admin/目录的内容。

6 `1 G6 j9 o3 P, B( A( m7 y
5 n1 [6 O; D6 O" t7 l! @
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

" w( r# f2 Z. T* u2 |9 ^6 p
8 l" |. V) H, q2 {' g" O$ c4 b& H
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

3 @+ }; }+ J" P5 C! W+ ~" D8 X0 M+ ~: k9 u' F  |
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
2 E: R. i( Z! u- P2 o

. N" z/ L5 W) j9 }
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。
+ r4 Z# h9 @! p7 k* s

- e$ L% ^% f$ l
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
  ]/ g9 O% f# k4 d/ I

) p: [0 R+ ~- t- V5 Q! S
完整写法：

5 R  q5 s0 J2 ~, N  w3 E
+ i7 b( f* Q0 E' q% j' m5 a
User-agent:*                      /**以下内容针对所有搜索引擎
, @$ x8 d3 q7 ~3 E
& q8 u# s& M* H4 t% r
Diasllow:/admin/                   /**禁止访问/admin/目录的内容
' }3 R$ o8 b9 u- A
. @0 B- F# E, {3 b
*****

3 K% r2 P% [1 P. [# w/ W! N! I" b6 Q, b( }& I( c: v& Q
Allow:/html/                                                    /**允许访问/html/目录的内容
: {2 }' A$ G1 k' }

7 A9 O; g) [6 b; ~( T. Z6 a0 z3 C! b6 F& o4 B' u

. {& ?# F( E, `1 k; y- t6 ~, ^. r  [
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。
. h0 L4 U' |4 H) V
# c8 E( n. s4 h9 v3 H
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。
作者: effoggikeftor    时间: 2015-1-31 18:39
好吧...那你说...
作者: wwdu926a    时间: 2015-1-31 18:40
手机版的得知互动论坛好强大
作者: effoggikeftor    时间: 2015-1-31 18:41
哈哈~` 好久没有笑喽~
作者: Acropozelan    时间: 2015-2-4 22:25
经过你的指点 我还是没找到在哪 ~~~
作者: 阴阳小轩    时间: 2015-2-4 22:25
为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！
作者: Acropozelan    时间: 2015-2-4 22:26
您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子
作者: wwdu926a    时间: 2015-2-4 22:27
终于看完了~~~
作者: Acropozelan    时间: 2015-2-4 22:29
一骂人就激动....
作者: Acropozelan    时间: 2015-2-19 12:17
晚安 别让小嫁再郁闷了 -
作者: wwdu926a    时间: 2015-2-19 12:18
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
作者: 阴阳小轩    时间: 2015-2-19 12:18
哪个正常的人能崇拜一只蟑螂呢?
作者: 阴阳小轩    时间: 2015-2-19 12:22
假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4