robots规范写法与用处。

什么是robots协定?
' X' r* c2 Y; U8 L) D* P! H- p5 S
    robots协定就是搜刮引擎的爬虫协定,它的呈现就是为了告知搜刮引擎该网站中哪些页面不成以爬取而天生的协定.robots协定是可以用任何文本编纂器编纂的协定.

. l" w7 M, P" A4 @9 U# d- \  w# c" E
' @. @; I; U! S8 G7 g8 o# r" Y
3 K* L) C1 r8 K2 y# A2 z! x1 [- h8 K: ~
1 J6 T3 G, t: H2 x8 X    协定的写法:

    User-agent: * 这里的*代表的所有的搜刮引擎种类,*是一个通配符
$ E/ @8 s" ?& V! z
" r$ n; M5 W0 g5 h4 h    Disallow: /admin/ 这里界说是制止爬寻admin目次下面的目次
1 ~$ }) F# W- W% m$ V! b  \% W6 I' d
1 J; o0 f! A8 c& `5 X    Disallow: /require/ 这里界说是制止爬寻require目次下面的目次

1 c9 f: f, i9 k3 ]+ H1 g+ R    Disallow: /ABC/ 这里界说是制止爬寻ABC目次下面的目次
4 Q1 P# |) p3 N
. t! `) i9 ]' V+ j    Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目次下的所有以".htm"为后缀的URL(包括子目次).

, u4 }. e5 s- v& ~/ W    Disallow: /*?* 制止拜访网站中所有包括问号 (?) 的网址
0 E0 l4 i+ G2 @: r
    Disallow: /.jpg$ 制止抓取网页所有的.jpg格局的图片
3 u& ~+ k% @! L6 v
    Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件.
( Z9 o6 \6 N9 e
    Allow: /cgi-bin/ 这里界说是答应爬寻cgi-bin目次下面的目次
0 A6 Y. M  S3 m- m$ d& }; t
    Allow: /tmp 这里界说是答应爬寻tmp的┞符个目次
$ h9 j( ]& x+ Y2 V) v
    Allow: .htm$ 仅答应拜访以".htm"为后缀的URL.

    Allow: .gif$ 答应抓取网页和gif格局图片
3 _- T* n7 A. n
& w- d+ K0 a  ]9 A$ I! k6 t    Sitemap: 网站舆图 告知爬虫这个页面是网站舆图

2 w- v& D6 q% n' K! Q
' C3 H% X) Z/ n4 x3 T8 E( V

小手一抖，经验到手！手拿酱油，低头猛走！酱油党路过，杜绝零回复

想骂你.却不知道从何骂起.

经过你的指点 我还是没找到在哪 ~~~

哈哈~` 好久没有笑喽~

这就是我斗胆的一点粗略分析，每天睡觉以前，我都会把您的帖子再三拜读，拜读。

终于看完了~~~

杂觉滴~` 你~~` 嘿嘿 这个想法不该从你的脑瓜儿出来拉~`

我又回复了

刚才游戏去了 ~~嘿嘿~~

原来...发神经是这样的啊...

怎么这么跟别人不一样类~

做为老人！在吧里我都懒的都不想说话！送完经验我就走！

想骂你.却不知道从何骂起.

我帮不了你