得知互动

标题: Robots的写法，完整讲解。 [打印本页]
作者: 小成往事    时间: 2015-1-17 18:28
标题: Robots的写法，完整讲解。
作为SEO人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。
' h- c6 m& Q) P& d$ W  G
% t8 t" x5 G3 `% r  H9 u7 a, d) {* }
Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。
9 Z$ a# o- h* g/ e( h
User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

7 {5 m$ f! p9 N( C5 ]" M
Baiduspider表示百度蜘蛛；

8 f7 M' J$ I4 S2 _' Y
Googlebot 表示谷歌蜘蛛；

8 B  x5 \6 A0 \. u$ [5 w& u7 M+ A/ V
360Spider 表示360蜘蛛；
0 \: ~1 f& E" \. i+ g
9 T7 q9 z6 ]% j( m5 @9 W4 k7 U
写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。
' L* l4 i) R& g9 B9 x' ~. P
Disallow: 表示禁止抓取后面的目录；

6 ]  Z; d: n. G0 B) O; o) r/ k5 G
$ o. Z! S: u, m8 j
Allow: 表示允许抓取后面的目录。

8 _) U9 {0 S; I3 r; U; W" t: `/ l$ J. c! o' F* ?
* 是个通配符，可以代替任意内容。
" f7 }+ B" U/ I- \% M; r
$ 字符指定与网址的结束字符进行匹配。

0 E( H5 g; p: a. U2 x
例如，要拦截以 .asp 结尾的网址，可使用下列条目：

. ?' A) R1 _" z, h4 q- ?& s, s+ j. Y& g- S1 d( b
# V$ K3 X- K6 q2 m; h

. X6 t2 B/ w+ y% b
Disallow:/*.asp$

9 K) Y3 ^; g1 l
& K$ m7 M+ B1 v1 X. h! q! J- N4 g
例：
$ A3 O+ u( Q: F) [) o4 @

( d+ J9 C2 T- t2 z9 x  B
Disallow:/admin/  禁止访问/admin/目录的内容。

4 A* G$ j) D+ q" }3 r# E8 e: q8 _1 ?7 Q! @
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
% T; S& e+ J( z8 |4 P2 j
. L% N" A& c0 ^0 N. x. K/ k
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

* a% }, ~: i! S) Q3 w- x. ?; s- m6 z' U1 s& D8 u( H
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
( F9 j' O+ a6 i- k. `6 @
% V8 f$ ]+ f$ W( i
Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。
; E1 a+ O+ L) l' g+ ?8 o
" a& @7 d$ @& B2 e/ ?3 a/ {
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
$ a: E) G3 S8 f0 l0 O

0 f" v5 h( ^6 u! s
完整写法：

* ]2 \* n+ J9 B5 `, k" l# b$ s; _, g& \, s: D
User-agent:*                      /**以下内容针对所有搜索引擎

6 M! c2 [) ^9 w' A# p
8 e: z) E! h$ p
Diasllow:/admin/                   /**禁止访问/admin/目录的内容
" z" u2 ]1 E) V+ F) m  k  \, G; X
' S+ u5 B: l1 E: @; b5 V7 q
*****

( A7 T1 `4 C* u' E, x2 j8 I: ~2 ^
Allow:/html/                                                    /**允许访问/html/目录的内容
) c$ C# u1 p2 @# v# D/ E

; P6 e  O9 p* T5 t$ w6 P1 o; q" `$ {. f

- k2 i* G5 x) x% k$ o0 J& a+ U
! ^& @# m) a; @% N  f1 }& L# O
作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

* C8 [0 o8 e( L$ J3 n' d" C1 d' v& I' G* s3 z  ~' d
Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。
作者: effoggikeftor    时间: 2015-1-31 18:39
好吧...那你说...
作者: wwdu926a    时间: 2015-1-31 18:40
手机版的得知互动论坛好强大
作者: effoggikeftor    时间: 2015-1-31 18:41
哈哈~` 好久没有笑喽~
作者: Acropozelan    时间: 2015-2-4 22:25
经过你的指点 我还是没找到在哪 ~~~
作者: 阴阳小轩    时间: 2015-2-4 22:25
为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！
作者: Acropozelan    时间: 2015-2-4 22:26
您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子
作者: wwdu926a    时间: 2015-2-4 22:27
终于看完了~~~
作者: Acropozelan    时间: 2015-2-4 22:29
一骂人就激动....
作者: Acropozelan    时间: 2015-2-19 12:17
晚安 别让小嫁再郁闷了 -
作者: wwdu926a    时间: 2015-2-19 12:18
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
作者: 阴阳小轩    时间: 2015-2-19 12:18
哪个正常的人能崇拜一只蟑螂呢?
作者: 阴阳小轩    时间: 2015-2-19 12:22
假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。



欢迎光临 得知互动 (https://bbs.dezhifl.com/) Powered by Discuz! X3.4