返回列表 发新帖

什么是爬虫以及爬虫的发展史

370.2k 11
swmozowtfl 发表于 2015-5-20 12:43:41|湖北 | 查看全部 阅读模式
难得的星期天,在家窝了一天。看了看搜索引擎原理这本书。主要讲的是搜索引擎的原理和发展,如果还没有看到这本书的朋友,那么今天就给大家分享下之中的一个知识点—什么是爬虫以及爬虫的发展史。之所以选择看这本书也是受到了朋友的启发。做seo这一行,要想做好seo技术,就必须了解搜索引擎。正所谓知己知彼,才能百战不殆啊。扯远了,如正题。8 x9 L" h" S5 @. S- s

什么是爬虫以及爬虫的发展史

什么是爬虫以及爬虫的发展史

8 [$ m. v: G. B" o6 h7 [5 \什么是爬虫?搜索引擎原理中是这样说的:爬虫也称为“Wanderers”(漫步者)或者“Robots”(机器人),我们常说的百度爬虫经常用后者代替。它首先是一组运行在计算机的程序,在搜索引擎中负责抓取时新的且公共可访问的web网页、图片和文档等资源。这种抓取的过程为通过下载一个网页,分析其中的链接,继而漫游到其他链接指向的网页,循环往返。6 O0 e; K9 X4 G+ X$ o
爬虫的发展史要从第一个爬虫开始讲起。那么下面给大家介绍下世界上第一个爬虫,爬虫简称是一种自动抓取网页信息的机器人。世界上第一个爬虫是由麻省理工学院的学生马休·格雷在1993年写的,并给他起了一个名字“万维网漫步者”。尽管其编写目的不是为了做搜索引擎,但正是这我们这一生我们这一生我们这一生革命的创新,为以后的搜索引擎发展和今天的广泛应用提供了坚实的基础。5 D" q  P3 [0 s7 F* a& ~) `; o
现代搜索引擎的思路源于Wanderes,不少人改进了马休·格雷的蜘蛛程序。1994年7月,Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中,创建了当时著名的搜索引擎Lycos。这应该也算是第一个搜索引擎了。其后无数的搜索引擎促使了爬虫越写越复杂,并逐渐向多策略、负载均衡及大规模增量抓取等方向发展。爬虫的工作成果是的搜索引擎能够渐叟几乎全部的万维网页,甚至被删除的网页也可以通过”网页快照“的功能访问。
$ [$ Y# s$ r% k1 p1 }- c! @以上就是互联网那些事今天给大家介绍的关于什么是爬虫以及爬虫的发展史问题,我们只有了解了爬虫以及他的发展史,才能更好地 做好SEO技术。同时欢迎广大朋友继续关注互联网那些事,平台就继续为大家提供SEO技术分享等一些资讯。
$ t; `! A6 e1 q4 O  H2 K% b; X/ x8 P: F/ I' f; \( p0 m# P

# V" R2 [  s' m6 D" C" U# c! N1 C; g  H/ e
原文出处链接http://www.itnaxieshi.com/pachong.html
& z7 f) ]/ X! |9 P. R1 N搜外论坛原创作者:哈哈王子3136
: q7 _/ C4 l4 H: w; t日期:2014.12.22* D& m$ J4 `! z$ i
" u: e: h% n6 R
                                                                                       0 F3 t' \) Z% D3 |0 h4 r. S; d
4 [, {2 B8 D1 S4 [* P

8 ]8 ]7 o6 Y6 r lol.gif 这只是早期的,现在的复杂多了。                                                难得的星期天,在家窝了一天。看了看搜索引擎原理这本书。主要讲的是搜索引擎的原理和发展,如果还没有看到这本书的朋友,那么今天就给大家分享下之中的一个知识点—什么是爬虫以及爬虫的发展史。之所以选择看这本书也是受到了朋友的启发。做SEO这一行,要想做好SEO技术,就必须了解搜索引擎。正所谓知己知彼,才能百战不殆啊。扯远了,如正题。
8 y) m9 a- Y4 B/ R<img id="aimg_C52Aw"  class="zoom" width="300" height="129" pold="http://www.itnaxieshi.com/wp-content/uploads/2014/12/2141150%E5%89%AF%E6%9C%AC-300x129.jpg" border="0" alt="" />
4 ]" U# O+ z7 l$ K什么是爬虫?搜索引擎原理中是这样说的:爬虫也称为“Wanderers”(漫步者)或者“Robots”(机器人),我们常说的百度爬虫经常用后者代替。它首先是一组运行在计算机的程序,在搜索引擎中负责抓取时新的且公共可访问的web网页、图片和文档等资源。这种抓取的过程为通过下载一个网页,分析其中的链接,继而漫游到其他链接指向的网页,循环往返。* _1 q) H$ y) {3 \  `9 @
爬虫的发展史要从第一个爬虫开始讲起。那么下面给大家介绍下世界上第一个爬虫,爬虫简称是一种自动抓取网页信息的机器人。世界上第一个爬虫是由麻省理工学院的学生马休·格雷在1993年写的,并给他起了一个名字“万维网漫步者”。尽管其编写目的不是为了做搜索引擎,但正是这我们这一生我们这一生我们这一生革命的创新,为以后的搜索引擎发展和今天的广泛应用提供了坚实的基础。
  d& f: x1 F7 ]  A" V5 ]& C现代搜索引擎的思路源于Wanderes,不少人改进了马休·格雷的蜘蛛程序。1994年7月,Michael Mauldin将John Leavitt的蜘蛛程序接入到其索引程序中,创建了当时著名的搜索引擎Lycos。这应该也算是第一个搜索引擎了。其后无数的搜索引擎促使了爬虫越写越复杂,并逐渐向多策略、负载均衡及大规模增量抓取等方向发展。爬虫的工作成果是的搜索引擎能够渐叟几乎全部的万维网页,甚至被删除的网页也可以通过”网页快照“的功能访问。
9 U$ Y+ i0 x+ Y* v) w' O/ Y以上就是互联网那些事今天给大家介绍的关于什么是爬虫以及爬虫的发展史问题,我们只有了解了爬虫以及他的发展史,才能更好地 做好SEO技术。同时欢迎广大朋友继续关注互联网那些事,平台就继续为大家提供SEO技术分享等一些资讯。
! g1 _9 O$ S3 M! c2 ]6 T- B7 _3 [, R" k8 o' a" t

7 L8 c( k2 w$ S7 D( y4 O  E# s: A
6 e. n( Q; @2 G8 a" \' q原文出处链接http://www.itnaxieshi.com/pachong.html$ L, F6 D! u+ {, k2 h; k
搜外论坛原创作者:哈哈王子31362 u- ]1 k4 g* K
日期:2014.12.22
9 b& s+ y0 |( q7 O# e* x: W
. t8 ?1 M5 `1 m                                                                                       
' U. w2 v( |, N9 W% E/ k- }9 `- S% X' ], A; c
6 F6 U" L2 ?/ l: w( M
spider是目前搜索引擎工作原理的核心部分吧。知道其发展历史还是有点好处的,赞一个!

回复|共 11 个

gevaemaidovef 发表于 2016-3-14 20:09:54|美国 | 查看全部
到你的~~贴吧收藏~~~我的发言~`找
seazvyt 发表于 2016-3-14 20:10:49|塞尔维亚 | 查看全部
呵呵 我可不敢~~~~
tohme 发表于 2016-3-14 20:11:23|美国 | 查看全部
对自己好点~别难为自己
seazvyt 发表于 2016-3-23 20:08:38|美国 | 查看全部
下次有人骂我了...我给他还回去..
Acropozelan 发表于 2016-3-23 20:09:08|吉林 | 查看全部
这是怎么了啊??
tohme 发表于 2016-3-23 20:09:29|美国 | 查看全部
我率天兵天将 将你打回原形~~~
tohme 发表于 2016-3-23 20:09:30|英国 | 查看全部
好吧...那你说...
mwxny 发表于 2016-3-23 20:09:34|美国 | 查看全部
系统居然怀疑我灌水,我身边又没有水龙头。哦…明白了,身上有一个……
bqtklouu 发表于 2017-4-11 15:20:54|北美地区 | 查看全部
貌似我没看懂那~~~
effoggikeftor 发表于 2017-4-11 15:22:19|美国 | 查看全部
去干吗啊~~~伤心啊~~~
buingeEvineus 发表于 2017-4-11 15:25:21|美国 | 查看全部
这个站一周前刚刚有了点起色

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表