得知互动
标题:
robots规范写法与用处。
[打印本页]
作者:
醉波
时间:
2016-10-29 17:13
标题:
robots规范写法与用处。
什么是robots协定?
% \" F3 z% y/ K8 G7 _9 F; G7 t/ a# ^/ M
* A6 t0 K* S6 q8 Q
robots协定就是搜刮引擎的爬虫协定,它的呈现就是为了告知搜刮引擎该网站中哪些页面不成以爬取而天生的协定.robots协定是可以用任何文本编纂器编纂的协定.
, T& d3 q7 R2 v9 n" r5 m
% C! }7 D5 a# k8 f* z5 o7 w9 O7 O& g
2 q( x/ o4 }! ^( R; U- M7 W
/ G) Y2 w6 O* \' K7 O
; s9 R- \- x8 q$ [1 t: o/ I* s7 u% }
协定的写法:
0 ^' E' h" [7 |$ H% w. V% \) p
. E2 g' z7 c: ?5 y! d% ^+ H
User-agent: * 这里的*代表的所有的搜刮引擎种类,*是一个通配符
% [/ a! O* U F
/ H* t/ p; X5 h: L k9 `4 c2 T
Disallow: /admin/ 这里界说是制止爬寻admin目次下面的目次
* p& b4 n4 u7 w8 b
4 o+ B8 h" [9 t9 S% Q3 ^$ t
Disallow: /require/ 这里界说是制止爬寻require目次下面的目次
5 \+ R/ Q5 L8 `+ o, f
$ Z4 y( E, K* o+ L3 M+ | D" l
Disallow: /ABC/ 这里界说是制止爬寻ABC目次下面的目次
S# ?3 X# W |
& i) v5 y# T7 H& B* _) \% d- S
Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目次下的所有以".htm"为后缀的URL(包括子目次).
! j+ t1 ^& I; i
7 T2 J# m7 X1 e5 j: D' w9 A
Disallow: /*?* 制止拜访网站中所有包括问号 (?) 的网址
* a# a/ Y- b6 d% y( ^4 X
: l- G+ x0 L3 C F
Disallow: /.jpg$ 制止抓取网页所有的.jpg格局的图片
% f) V d0 _. ^+ u& n
- Y" z7 v! n Z# E( z/ r# ^
Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件.
$ P. |3 Y( e2 E. ]9 P5 A: X% h% v, P7 `
/ l \8 V5 f( G1 R
Allow: /cgi-bin/ 这里界说是答应爬寻cgi-bin目次下面的目次
- p6 r! X o6 x) h$ c: Z
3 q: U# u$ L7 y, q! x! `, X; f W- w
Allow: /tmp 这里界说是答应爬寻tmp的┞符个目次
! |% i3 y9 U ]* h9 V. I2 t
, S( O( s+ c0 |9 M
Allow: .htm$ 仅答应拜访以".htm"为后缀的URL.
6 A5 }% ^: B. o0 R0 y3 O
4 {3 j2 `6 i9 F
Allow: .gif$ 答应抓取网页和gif格局图片
d! Z4 E; _* d ~. o$ N4 q; p
0 O. p' E5 Y* ^
Sitemap: 网站舆图 告知爬虫这个页面是网站舆图
+ J! b. t; i; a/ I
6 n( L. B0 Q/ p" N/ p( ?$ g
: f* L3 |% Q& `) i/ Z
作者:
AlobeAttept
时间:
2016-11-1 13:23
小手一抖，经验到手！手拿酱油，低头猛走！酱油党路过，杜绝零回复
作者:
bqtklouu
时间:
2016-12-21 10:58
想骂你.却不知道从何骂起.
作者:
GoodyFouppy
时间:
2016-12-21 10:58
经过你的指点 我还是没找到在哪 ~~~
作者:
alapScady
时间:
2016-12-21 10:58
哈哈~` 好久没有笑喽~
作者:
bqtklouu
时间:
2016-12-21 11:03
这就是我斗胆的一点粗略分析，每天睡觉以前，我都会把您的帖子再三拜读，拜读。
作者:
GoodyFouppy
时间:
2016-12-21 11:04
终于看完了~~~
作者:
Mqokjdvq
时间:
2016-12-27 12:13
杂觉滴~` 你~~` 嘿嘿 这个想法不该从你的脑瓜儿出来拉~`
作者:
alapScady
时间:
2016-12-27 12:15
我又回复了
作者:
wwdu926a
时间:
2016-12-27 12:16
刚才游戏去了 ~~嘿嘿~~
作者:
mwxny
时间:
2016-12-27 12:18
原来...发神经是这样的啊...
作者:
buingeEvineus
时间:
2016-12-27 12:20
怎么这么跟别人不一样类~
作者:
effoggikeftor
时间:
2017-1-3 18:53
做为老人！在吧里我都懒的都不想说话！送完经验我就走！
作者:
bqtklouu
时间:
2017-1-3 18:54
想骂你.却不知道从何骂起.
作者:
seazvyt
时间:
2017-1-3 18:55
我帮不了你
作者:
bqtklouu
时间:
2017-1-3 18:57
宁死不屈.....
作者:
wwdu926a
时间:
2017-1-17 18:55
哈哈 小心被她看见哦~~~~
作者:
tohme
时间:
2017-1-17 18:56
呵呵 都没人想我~~
作者:
alapScady
时间:
2017-1-17 18:56
俺灌的不是水，是寂寞啊！
作者:
wwzcdenleclv
时间:
2017-1-17 18:59
楼主说的是什么？我是小白，好像还没看明白！
作者:
GoodyFouppy
时间:
2017-1-17 19:04
苍天之下，厚土之上，竟有如此奇人异士、文人墨客！讥讽于谈笑间，笑骂于无形中，层次之高，境界之深，非我等所能匹及，偶像啊！
作者:
gevaemaidovef
时间:
2017-1-20 09:50
宁死不屈.....
作者:
gevaemaidovef
时间:
2017-1-20 09:55
这个站一周前刚刚有了点起色
作者:
Acropozelan
时间:
2017-1-20 09:57
哈 你逗逗他啊
作者:
seazvyt
时间:
2017-1-20 09:57
什么啊
作者:
alapScady
时间:
2017-1-20 09:59
呵呵 我傻了‘～～哈哈
欢迎光临 得知互动 (https://bbs.dezhifl.com/)
Powered by Discuz! X3.4