Robots的写法，完整讲解。

作为seo人Robots的写法作为必须了解的内容之一，错误的写法可能给你带来不被搜索引擎收录的恶果。

! g; d: y( i" S, ]7 w5 c% h

Robots文本中，因先写出对什么搜索引擎生效，然后是禁止抓取目录，允许抓取目录。

# S6 R& x! G% f3 k

User-agent: 语句表示对什么搜索引擎的规则，如果内容是“*”，则表示对所有搜索引擎生效。

$ J) y6 ?* I( H$ w* d

Baiduspider表示百度蜘蛛；

Googlebot 表示谷歌蜘蛛；

360Spider 表示360蜘蛛；

, J4 W  b  R, [" L( [* S& @
( D9 S3 i7 {8 P2 h2 [3 |* B- b

写了针对的蜘蛛后，就需要写具体的禁止抓取哪些目录，允许哪些目录。

Disallow: 表示禁止抓取后面的目录；

" `8 X% \0 }" q
8 U! \8 @6 ~3 F  u) m1 x

Allow: 表示允许抓取后面的目录。

5 k6 _# H4 a  z" o% H6 p' b% v% Y

* 是个通配符，可以代替任意内容。

+ h( p% o$ Q$ B" J3 J6 E/ I4 Q

$ 字符指定与网址的结束字符进行匹配。

8 x. ], b. z8 x6 H; g' k

例如，要拦截以 .asp 结尾的网址，可使用下列条目：

9 Z) a7 {; j) S' X- A4 w

Disallow:/*.asp$

9 o4 a6 u2 _! a/ Q% e! H8 k

例：

4 M5 A( Q+ ^  [; ?( }5 m8 N
- D* n8 v! v- u! r6 y! O% W

Disallow:/admin/  禁止访问/admin/目录的内容。

& n/ U( t" [* u
+ k4 ]9 }3 U$ C  ?) S

Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

' O: Z8 {6 M4 b0 }3 B/ q; W

Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。

) e$ h3 q; K+ j. o: j) V
: |. ~0 P0 F& w$ P# b

Allow: /cgi-bin/　这里定义是允许爬寻cgi-bin目录下面的目录。

0 {8 m$ {2 M! H, k0 l4 f( l% C

Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

: a# V: ~+ i; Y# f2 @7 R* {: |3 ^

完整写法：

3 Q' r. j2 i3 G: G

User-agent:*                      /**以下内容针对所有搜索引擎

: v- m" I1 I7 T; {
8 b  ?9 S7 D) y1 L7 `) W

Diasllow:/admin/                   /**禁止访问/admin/目录的内容

' s) |* O2 V5 C) Z

*****

  F) K" q! ^; ]0 T4 q( {- [. d
6 f$ c7 N) H$ H( S8 r) G) x

Allow:/html/                                                    /**允许访问/html/目录的内容

# C' d/ I; u1 N! g( T% C, u4 E5 ?0 ]

作为新手对Robots不是很明确的朋友，可以不写Robots.txt文件，以免错误的写发导致内容的不收录。

; g& R' ^+ d# G+ u# I% B
8 ^. c" Y9 ?8 Z5 m7 E8 X7 h

Robots最多的用途是屏蔽网站的后台目录，以免被收录后，被heike所利用；以及保护自己的版权资源，以免被搜索引擎收录了以后，展示在搜索结果里。

好吧...那你说...

手机版的得知互动论坛好强大

哈哈~` 好久没有笑喽~

经过你的指点 我还是没找到在哪 ~~~

为了不让帖子沉得太快！！！为了人人知道这个~！！ 我不是原创~！！但是我要把他发扬广大~！！！

您知道这个论坛的站长是谁吗？偷偷的告诉你他叫叶学得  好厉害的样子

终于看完了~~~

一骂人就激动....

晚安 别让小嫁再郁闷了 -

这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊

哪个正常的人能崇拜一只蟑螂呢?

假如我们把自己力所能及的事都完成了，我们会真的令自己大吃一惊。