什么是robots协定?
& o0 z; Y! e" S. h# E4 y- j' z2 {2 _
robots协定就是搜刮引擎的爬虫协定,它的呈现就是为了告知搜刮引擎该网站中哪些页面不成以爬取而天生的协定.robots协定是可以用任何文本编纂器编纂的协定.
& p% r" h; B& O+ P, d% W% H9 W
8 s# \* t/ x2 }1 s
; V) F- r r- {1 P# ~ Z0 o; H' q1 J5 d/ ?. H
- J) `: S. G4 `9 N4 U# f8 D ]
协定的写法:
/ j( e& ?! D9 k' e6 r; d3 Y
: w% C7 [. z; B1 j, U User-agent: * 这里的*代表的所有的搜刮引擎种类,*是一个通配符$ F. t6 K- u' j& J( }
) e" Z. K3 k- T' J& x2 `9 L6 i Disallow: /admin/ 这里界说是制止爬寻admin目次下面的目次8 _( l0 }/ B) L F4 m7 |
3 ~, }& @; Z. M8 d' f j, H" Z Disallow: /require/ 这里界说是制止爬寻require目次下面的目次
4 r+ A2 ~1 o! V1 v8 [- q: Q$ k% l2 j; o$ T7 C t3 m8 w' @3 d+ L+ Y( Y. o, [
Disallow: /ABC/ 这里界说是制止爬寻ABC目次下面的目次
- a' t: b4 `7 U) M2 Q" Z' B' e T/ q F; N
Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目次下的所有以".htm"为后缀的URL(包括子目次).: a5 V9 F/ ?7 w) z- \$ ]# U
F$ l, r4 t& W( }& W- J" [7 N
Disallow: /*?* 制止拜访网站中所有包括问号 (?) 的网址0 ~2 J' H% w2 q4 J! _: Z+ e
) _ Z% _$ v( A. ` Disallow: /.jpg$ 制止抓取网页所有的.jpg格局的图片 M+ a9 B1 G# L: I' C9 W6 O7 h2 A& z2 X
/ m2 J( R7 r0 d R) j: g
Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件.
* l! [# J2 H( y$ @$ ]0 w2 W$ g
: {* H, j0 @9 m4 V Allow: /cgi-bin/ 这里界说是答应爬寻cgi-bin目次下面的目次
- [2 r9 C/ Q5 p0 K5 S6 j5 a# H2 Y" V
& r( r/ Y# u+ a0 E Allow: /tmp 这里界说是答应爬寻tmp的┞符个目次
7 B& Z' H0 h" r$ @) X3 G: K6 H' f1 ]* S9 Q4 j
Allow: .htm$ 仅答应拜访以".htm"为后缀的URL." D; G: i+ e' X7 H6 |2 I
# U6 m6 Q* V! W; ?# A ^( R3 p5 \ Allow: .gif$ 答应抓取网页和gif格局图片) o' |" c( R- [; Y0 {. } a) ?
; T d( ]$ ~2 a7 ~5 f; J/ v
Sitemap: 网站舆图 告知爬虫这个页面是网站舆图3 F1 m( H7 v" M- n
) b$ D7 M; |9 h# t
. R" @2 l0 R/ E) e! w8 N+ H2 h |
|
外卖新店开业第一周开推广，十家九家亏0打酱油
Ai优选商家寻找本地地推合作伙伴1717求项目与合作
拥抱AI搜索新时代！GEO优化成为企业流量增1616网络资讯
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡