12下一页
返回列表 发新帖

robots规范写法与用处。

25.4k 25
醉波 发表于 2016-10-29 17:13:25|湖北 | 查看全部 阅读模式
什么是robots协定?
* _2 t8 p* X+ q2 d" j$ V
; X2 t: L3 @; p7 E0 C    robots协定就是搜刮引擎的爬虫协定,它的呈现就是为了告知搜刮引擎该网站中哪些页面不成以爬取而天生的协定.robots协定是可以用任何文本编纂器编纂的协定.
  [( _! V! k6 A8 {! \( l- I
7 d& a9 y$ u2 z6 D/ ~

' F2 h* g# C( e* \3 m% q6 ^
/ N( C$ H! P0 _1 \. x9 e3 F4 a: n+ I& k
    协定的写法:
7 `0 Z& ]9 T. A5 _) N8 M: B
: ]: c$ ?# l. S0 n    User-agent: * 这里的*代表的所有的搜刮引擎种类,*是一个通配符* ]0 d" F$ L  Q# r' w0 }

- r1 f! H  D7 z% L9 T    Disallow: /admin/ 这里界说是制止爬寻admin目次下面的目次: C% f- d: {9 r

5 V1 F  b, _: U; a  t! R7 `8 p    Disallow: /require/ 这里界说是制止爬寻require目次下面的目次
5 z7 A5 g# u* q( M- P# y
- h$ f$ H5 N. l/ V    Disallow: /ABC/ 这里界说是制止爬寻ABC目次下面的目次
6 z. F6 L7 V7 r+ Q, e6 ^) n
3 B) O, ?& V" r3 e    Disallow: /cgi-bin/*.htm 制止拜访/cgi-bin/目次下的所有以".htm"为后缀的URL(包括子目次).) F3 }4 i! E$ D/ R) K2 [# D

" }' t! I9 E' _    Disallow: /*?* 制止拜访网站中所有包括问号 (?) 的网址
: O+ c( M% M* J, g
. J: H5 {- J, r5 Q1 i( j" U    Disallow: /.jpg$ 制止抓取网页所有的.jpg格局的图片, u) ~% g! C3 H
0 U# r6 e' i9 Q, P% k; T7 X
    Disallow:/ab/adc.html 制止爬取ab文件夹下面的adc.html文件.% r/ v  H, @, V

( T; ~0 I  C, m    Allow: /cgi-bin/ 这里界说是答应爬寻cgi-bin目次下面的目次
7 \& X- ~7 f7 X5 A/ ~1 F$ z! f7 n+ ]* R" s
    Allow: /tmp 这里界说是答应爬寻tmp的┞符个目次. e5 K+ U1 r  j, c$ K( R4 u$ A
" Q6 I% G4 t/ a
    Allow: .htm$ 仅答应拜访以".htm"为后缀的URL.4 `! [7 Y: r3 f7 e+ `+ `- _$ j

! s. ^$ Y& M9 \    Allow: .gif$ 答应抓取网页和gif格局图片
3 G4 L  t7 j! p6 k' S* H
& t* V* O% @1 P- G6 \# }0 O# M    Sitemap: 网站舆图 告知爬虫这个页面是网站舆图
( h5 m$ P/ E" E2 q; D) x$ S8 P5 r6 {5 t/ E! D
8 D; x8 T% c3 q; Z- E8 h3 q

回复|共 25 个

AlobeAttept 发表于 2016-11-1 13:23:57|湖北 | 查看全部
小手一抖,经验到手!手拿酱油,低头猛走!酱油党路过,杜绝零回复
bqtklouu 发表于 2016-12-21 10:58:03|美国 | 查看全部
想骂你.却不知道从何骂起.
GoodyFouppy 发表于 2016-12-21 10:58:13|美国 | 查看全部
经过你的指点 我还是没找到在哪 ~~~
alapScady 发表于 2016-12-21 10:58:45|美国 | 查看全部
哈哈~` 好久没有笑喽~
bqtklouu 发表于 2016-12-21 11:03:06|美国 | 查看全部
这就是我斗胆的一点粗略分析,每天睡觉以前,我都会把您的帖子再三拜读,拜读。
GoodyFouppy 发表于 2016-12-21 11:04:11|INNA | 查看全部
终于看完了~~~
Mqokjdvq 发表于 2016-12-27 12:13:49|美国 | 查看全部
杂觉滴~` 你~~` 嘿嘿 这个想法不该从你的脑瓜儿出来拉~`
alapScady 发表于 2016-12-27 12:15:35|美国 | 查看全部
我又回复了
wwdu926a 发表于 2016-12-27 12:16:55|瑞士 | 查看全部
刚才游戏去了 ~~嘿嘿~~
mwxny 发表于 2016-12-27 12:18:11|美国 | 查看全部
原来...发神经是这样的啊...
buingeEvineus 发表于 2016-12-27 12:20:02|美国 | 查看全部
怎么这么跟别人不一样类~
effoggikeftor 发表于 2017-1-3 18:53:28|Reserved | 查看全部
做为老人!在吧里我都懒的都不想说话!送完经验我就走!
bqtklouu 发表于 2017-1-3 18:54:53|美国 | 查看全部
想骂你.却不知道从何骂起.
seazvyt 发表于 2017-1-3 18:55:17|英国 | 查看全部
我帮不了你

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表