得知互动

标题: Robots的写法，完整讲解。 [打印本页]
作者: 小成往事    时间: 2015-1-17 18:28
标题: Robots的写法，完整讲解。
作为SEO人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。
; z- D. Y" }3 P0 L. l+ N5 i+ S: Q

$ Y  M1 [& I) y3 m
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

! h8 O: e& {, D2 r' V2 X
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

3 D+ R* [" c" c
Baiduspider表示百度蜘蛛；
' h: k: O5 p, D7 ?) B" r. F
Googlebot 表示谷歌蜘蛛；
2 O0 G8 q, w! z) V% N
/ ?( z6 @. O( L$ ~* l! U
360Spider 表示360蜘蛛；

& v; J* n  `, r: k
2 x, b5 R# \" q
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

1 s& N2 I/ z) }
Disallow: 表示禁止抓取后面的目录；

( @# q5 e4 d% \! n/ j; C0 y) X( m5 V3 `) q9 A
Allow: 表示允许抓取后面的目录。

3 m0 s8 d* A: s* A; c  E% x4 I6 `7 ~0 ^' w8 |! C
* 是个通配符，可以代替任意内容。

7 S8 p- W# d' H  P: v0 _
$ 字符指定与网址的结束字符进行匹配。
) }  p5 z% l4 h7 G, U
例如，要拦截以 .asp 结尾的网址，可使用下列条目：
0 v" }$ ?8 |& a, ?6 }- ]
  Y% _5 M; X$ D- |, D. q) t

. R- i; [- Z; i/ K* v, t" F2 L" P  }- b8 x, B, x6 H# M. d
Disallow:/*.asp$

# z/ ^) Z1 k2 J0 w' K: z, w. K2 ~3 |- g( _# Z7 {+ K
例：
, Q% b1 K0 r9 X& e0 J

+ a1 u2 S4 n" L  S3 L1 ?: t
Disallow:/admin/  禁止访问/admin/目录的内容。

" z" j3 V6 r1 z* y
' Z4 E. L7 _3 w8 {
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

% z, d: p7 F& `( ]/ b8 K/ F7 t# S! l# n' Q
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

, d- g7 w" i& Z. c2 h2 [
# _6 S0 f6 Q, h# R4 C; f- v; W
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
- i, c  n* q& @$ J$ h* H5 C) s
$ }7 a1 o9 `  J9 l' ^4 ~
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

+ T# e6 N. m7 R, Q: h8 A; k9 O7 R5 Y& S/ \. D+ d, ^
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
, e2 {; ]- u( ^4 Y: \$ i& x( `

! `  T2 h0 r* c
完整写法：
8 j9 o/ _: w9 F5 a: W% g$ ~0 S

% I: E$ T4 k' q: |- h6 J
User-agent:*                      /**以下内容针对所有搜索引擎

6 d) Q9 ^' ^4 V* V8 `: \- [9 @: q, A: [
Diasllow:/admin/                   /**禁止访问/admin/目录的内容
/ c( i6 `  U' P( |
8 Y* O* L( {* Z% v
*****

6 |1 J! A  b! {. V
9 m. r, O+ W6 \' v- B6 z! E. f
Allow:/html/                                                    /**允许访问/html/目录的内容
& X1 r) I' N4 I; H& H
. f/ m' X( T5 C8 Z

% [  a9 K0 E( L& h9 Z( f/ s$ {9 C' l& [) _, T

5 l. a/ w) j" Q( z: O- f
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

/ a; u; E7 f! T4 d1 L3 ?/ K! g' o6 `9 r( O  W8 V) C0 y
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。
作者: effoggikeftor    时间: 2015-1-31 18:39
好吧...那你说...
作者: wwdu926a    时间: 2015-1-31 18:40
手机版的得知互动论坛好强大
作者: effoggikeftor    时间: 2015-1-31 18:41
哈哈~` 好久没有笑喽~
作者: Acropozelan    时间: 2015-2-4 22:25
经过你的指点 我还是没找到在哪 ~~~
作者: 阴阳小轩    时间: 2015-2-4 22:25
为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！
作者: Acropozelan    时间: 2015-2-4 22:26
您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子
作者: wwdu926a    时间: 2015-2-4 22:27
终于看完了~~~
作者: Acropozelan    时间: 2015-2-4 22:29
一骂人就激动....
作者: Acropozelan    时间: 2015-2-19 12:17
晚安 别让小嫁再郁闷了 -
作者: wwdu926a    时间: 2015-2-19 12:18
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
作者: 阴阳小轩    时间: 2015-2-19 12:18
哪个正常的人能崇拜一只蟑螂呢?
作者: 阴阳小轩    时间: 2015-2-19 12:22
假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4