什么是robots协定?
2 o9 h# J# V+ `+ N% o0 z( F5 e0 W1 I6 o9 T
robots协定就是搜刮引擎的爬虫协定,它的呈现就是为了告知搜刮引擎该网站中哪些页面不成以爬取而天生的协定.robots协定是可以用任何文本编纂器编纂的协定.( ]4 R6 ], I1 O+ X+ Z/ X: y
; [) c' e, H1 i* g4 O+ k
, Z, B/ _' S$ d# a; m5 c
7 C- q$ z5 A, `( I3 \2 k, U4 }% L$ X6 @2 d: J2 m% i# `
协定的写法:) ^! U7 J- P6 w# K' ^
+ W; Q& q5 s3 V% L: q User-agent: * 这里的*代表的所有的搜刮引擎种类,*是一个通配符
( T c6 {) t; A0 u0 V( ?1 Y! A$ P; x. L0 W2 c- D
Disallow: /admin/ 这里界说是制止爬寻admin目次下面的目次5 p# W4 B! I1 i7 l- y
% `0 f" v, z/ b5 S' H( t
Disallow: /require/ 这里界说是制止爬寻require目次下面的目次6 {. j; p( J8 y Z1 k
) s! V& X( ]/ J Disallow: /ABC/ 这里界说是制止爬寻ABC目次下面的目次
# z1 M# y# F0 [, e( `7 \
0 p& X. V* }1 m5 L% V- g% g5 C Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目次下的所有以".htm"为后缀的URL(包括子目次).5 b; V3 f# @1 G. G, }
% v5 n p# W7 }. n) n3 f. ~2 I Disallow: /*?* 制止拜访网站中所有包括问号 (?) 的网址
: E8 B0 N. f3 x. @5 v4 g$ _2 L# e# x# R j- m
Disallow: /.jpg$ 制止抓取网页所有的.jpg格局的图片3 c1 z/ |; g, [4 G
2 e: e9 j% I& l6 U Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件.3 k2 o% |& O% w) M
: f% j. A& t+ T, L: d7 Z
Allow: /cgi-bin/ 这里界说是答应爬寻cgi-bin目次下面的目次+ j# F2 y+ B1 {$ w( p
' u7 l+ f, |1 E: W Allow: /tmp 这里界说是答应爬寻tmp的┞符个目次# B3 A0 }: _" \
0 W5 d' a, f& K) x9 r& [ Allow: .htm$ 仅答应拜访以".htm"为后缀的URL.
2 t7 f ]' q$ m. f* H; j
* K) E c3 f3 i4 O7 k- E4 T Allow: .gif$ 答应抓取网页和gif格局图片
& f4 z4 j. c) O* p% [: v% V; D/ B0 [" b
Sitemap: 网站舆图 告知爬虫这个页面是网站舆图
: {0 y7 D- n. w) a! b' l( Q/ t8 t+ e7 f7 N
- l' @' B* n% L, N
|
