得知互动

标题: Robots的写法，完整讲解。 [打印本页]
作者: 小成往事    时间: 2015-1-17 18:28
标题: Robots的写法，完整讲解。
作为SEO人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。
5 n1 R% }2 Q' P
/ ]7 c+ e5 j8 E5 P# t
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。
1 T" a+ t4 Y; Q# l3 l
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。
, d! w: Z! B4 e  B' ^
Baiduspider表示百度蜘蛛；
7 e+ T9 m+ H7 e
Googlebot 表示谷歌蜘蛛；
; J2 r  k3 L( e$ K! I. F9 {' q
# O1 _3 [/ b: ]8 t1 D! }  K
360Spider 表示360蜘蛛；
) v  M3 l. B" K" r( j+ b

7 ^( |, q* i. l2 S4 j7 E2 E4 K
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。
. E% m& a. H- H: ^0 L
Disallow: 表示禁止抓取后面的目录；
  s/ j$ I! z- M0 z% a* C
1 |) D3 `' \& h3 [: Q. M
Allow: 表示允许抓取后面的目录。

0 w# t0 J2 S" v
# u, E/ a( T% l, m* \# o7 n* i- D
* 是个通配符，可以代替任意内容。

, `5 C. l7 H; N" P
$ 字符指定与网址的结束字符进行匹配。
6 ~& `4 Z6 H# l- F+ z0 R& }
例如，要拦截以 .asp 结尾的网址，可使用下列条目：

' \( u. N) V4 k3 x, r2 d# J; W0 u2 ^2 b% \$ y0 E; M4 W' I& L

) Z+ Q' ~; p$ \" c& k' H. I! X5 w- E; R/ D% R. x, p/ b% p
Disallow:/*.asp$
1 G6 b% H, m8 s* L4 H
, e2 [; [" u0 e$ S' p
例：
) D0 n' t, K& I) Q
6 X9 E0 t5 W5 a
Disallow:/admin/  禁止访问/admin/目录的内容。

2 w* U- \% q; k" `6 u$ i4 {4 P# ^: [% O* m1 i# o' c
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

# m- G  k/ l7 M1 j- i
0 I1 H5 A2 B' r8 O3 N2 k- Q( n9 e
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。
4 j) u* Y- O3 N8 L0 R, }1 h

% l) J: t3 {7 H7 N
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

8 D; n0 m3 w& W1 h" `" |/ ]- D1 ]
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。
, H0 Z1 s% ^% p, j

* L' I. |/ C( Q* h# y7 N
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

$ n( g+ M& A8 G1 h( O2 U* t+ w
- `! i& G3 O( l* t% x1 @
完整写法：
% K8 n, W5 L* g7 u6 R8 B

; Y, Q4 {. K. O% \1 F+ f- |
User-agent:*                      /**以下内容针对所有搜索引擎
% q( ~8 X" {! D9 ?4 @9 B) ?
9 G, \4 s9 l& c! P+ K+ d( P, [" l7 [
Diasllow:/admin/                   /**禁止访问/admin/目录的内容

5 \9 |, _, \' I$ C" s9 \$ k; ^. K) v$ R) f7 G( X
*****
0 j. x. T* `- ]" I  o
' s0 r8 I) f2 {9 a
Allow:/html/                                                    /**允许访问/html/目录的内容

1 m' G) _6 g1 S8 N( }' {. E
; [) ], W2 H: s, |/ o' `+ O( x  c; ?" m" P; B: `7 i1 \/ \1 N
4 Y; }9 f6 t& [3 N

4 |: k2 W% ?% A/ r
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

9 r  f+ t4 U* X! v9 L* W: \. o+ ?
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。
作者: effoggikeftor    时间: 2015-1-31 18:39
好吧...那你说...
作者: wwdu926a    时间: 2015-1-31 18:40
手机版的得知互动论坛好强大
作者: effoggikeftor    时间: 2015-1-31 18:41
哈哈~` 好久没有笑喽~
作者: Acropozelan    时间: 2015-2-4 22:25
经过你的指点 我还是没找到在哪 ~~~
作者: 阴阳小轩    时间: 2015-2-4 22:25
为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！
作者: Acropozelan    时间: 2015-2-4 22:26
您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子
作者: wwdu926a    时间: 2015-2-4 22:27
终于看完了~~~
作者: Acropozelan    时间: 2015-2-4 22:29
一骂人就激动....
作者: Acropozelan    时间: 2015-2-19 12:17
晚安 别让小嫁再郁闷了 -
作者: wwdu926a    时间: 2015-2-19 12:18
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
作者: 阴阳小轩    时间: 2015-2-19 12:18
哪个正常的人能崇拜一只蟑螂呢?
作者: 阴阳小轩    时间: 2015-2-19 12:22
假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4