得知互动

标题: 网站频繁出现304状态码及抓取蜘蛛次数较少的原因分析 [打印本页]

作者: DeGe 时间: 2013-6-30 13:58
标题: 网站频繁出现304状态码及抓取蜘蛛次数较少的原因分析

在我们的论坛上经常会碰到站长们抱怨蜘蛛抓取返回码老是304状态，且抓取的次数越来越少的问题。搜索引擎为了自身的用户体验，会想尽办法来提高检索调用率、准确性、新鲜度，这将导致引擎不得不把主要的精力放在拥有优质内容源的网站上。惟其如此，搜索结果的质量才能更加符合搜索者的体验。

由此我们联想到：搜索引擎爬虫会更加青睐内容源更新频繁的网站。通过特定时间内对网站抓取返回的状态码来调节对该网站的抓取频繁。若网站在一定时间内一直处于[304:没有变化]的状态，那么引擎爬虫可能会降低对网站的抓取次数。相反，若网站变化的频率非常之快，每次抓取都能获取新版本，那么日积月累，爬虫的回访率也会提高。

无论是抓取少还是304，这都是一种现象，并不是问题的原因，假设网站返回的都是200，就能达到提升排名带来流量的目的么？相比之下更应该思考产生304的原因是什么？改304对网站目标能够有什么样的效果？不能忽视整体的目标而强调过程的细节，为了200而去解决304。

304状态是如何产生？

服务器为了提高网站访问速度，对之前访问的部分页面制定缓存机制，当客户端在此对这些页面进行请求，服务器会根据缓存内容判断页面与之前是否相同，若相同便直接返回304，此时客户端调用缓存内容，不必进行二次下载，可以说304从某种角度起到了减少服务器带宽并提高蜘蛛爬行效率的作用。

304状态产生原因？

1、页面更新周期长或不更新
7 ?$ A2 C9 }/ J! ]! D2、纯静态页面或强制生成静态html

304状态处理思路？

1、先对产生304页面进行细分，到底是哪类页面返回了304？这些页面是否应该返回304？" z3 R2 }/ d) C9 j; H, J
2这些页面生成的方式是怎样的？是否有更新机制？更新机制是否符合蜘蛛对网站的抓取频率？2 e( J/ B0 v. [' m. b4 |
3、页面更新区域的位置是否合理？是否位于该页面主要内容的承载区域？

我们论坛的 @李明亮同学也对此情况做了分析：

304状态码出现过多会造成以下问题：

1、网站快照停止7 k/ B5 z; ]/ Q$ K7 t% \
2、收录减少
" T( i: N0 ?; `; H3、权重下降

那么如何减少304返回码呢？

据我所知，首先内容更新方面要迎合百度蜘蛛，分析日志，把蜘蛛到访的时间记录下来，可以大致得出蜘蛛到访的频率，然后以此为依据，更新文章：一定是原创+转载，不能纯采集。转载也需要最新最好的优质资源。让蜘蛛这个点过来能有吃的。从而返回更多 200 正常码。

其次呢，最好增加个互动版块，现在大网站基本已经都做了这方面，比如评论、留言等，大网站更新起来变化可能会很小，但是有了这些互动，用户会在上面发些内容，网站会有很多新的东西。如seowhy，就会把最新回复以及问题放在重要位置。

结尾

本期我们着重讨论了关于频繁返回 304 状态以及抓取次数较少的问题，目的是为了让网站充分的被抓取。除了以上达人分析的原因外，小编觉得引擎蜘蛛同样也会参考网站综合权重，对于权重高的网站抓取频率会很频繁，比如 Google 可能会参考 PR 值来决定网站的抓取频率。

作者: inhidgehila 时间: 2014-10-10 18:22
嘿嘿......哈哈......呵呵.....哟~呼

作者: apgckwmm 时间: 2014-10-10 18:37
~~~找灭呢吧你.........

作者: xiaoye 时间: 2014-10-10 19:07
哎我我我怎么办啊??

作者: inhidgehila 时间: 2014-10-13 10:14
还呕像.....

作者: oxdbw 时间: 2014-10-13 10:38
不为楼主的标题所吸引，也不是被贴子的内容所迷惑。

作者: kjlqiyjws 时间: 2014-10-13 10:44
呵呵大家好奇嘛来观看下~~~~

作者: jckie 时间: 2014-10-13 11:10
到你的~~贴吧收藏~~~我的发言~`找

作者: ffuip 时间: 2014-10-13 11:11
极品可以说是让你馨香满腹，三日不绝！！古人说的好：想要作文章，先要学做人。由作者的文章我们也可以揣测出作者定是成长在一个汗牛充栋，文化氛围浓厚而且精神面貌积极向上的幸福家庭里面。在现在这个物欲横流，亲情冷淡的时代，能够在这样的家庭里成长可以说已经是很幸福的了。但在另一方面，作者也不是温室里的花*，只能作些鸳鸯蝴蝶的文章。在前面我已经说过了，这篇文章比形散神聚更胜一筹。诸位见过大风沙没有

作者: effoggikeftor 时间: 2014-12-12 16:42
哈哈怎么说来眼睛小真的很好哈哈哈~~~~

作者: wwdu926a 时间: 2014-12-12 16:42
呵呵，等着就等着....

作者: Acropozelan 时间: 2014-12-12 16:43
这个得知互动技术交流论坛很不错

作者: 阴阳小轩 时间: 2014-12-12 16:44
哈哈小心被她看见哦~~~~

作者: buingeEvineus 时间: 2014-12-12 16:44
照你这么说真的有道理哦呵呵不进沙子馁~~~

作者: wwdu926a 时间: 2014-12-12 20:29
想骂你.却不知道从何骂起.

作者: 爱上空心菜 时间: 2014-12-12 20:30
刚才我还看见了呢.

作者: wwdu926a 时间: 2014-12-12 20:31
我.......伤心

作者: wwdu926a 时间: 2014-12-12 20:33
呵呵，等着就等着....

作者: buingeEvineus 时间: 2015-1-10 14:04
呵呵高高实在是高~~~~~

作者: effoggikeftor 时间: 2015-1-10 14:04
这个程序有没有漏洞啊

作者: 长颈鹿王77 时间: 2015-1-10 14:07
我去看看网络上的事我不是很会哎

作者: alapScady 时间: 2015-1-10 14:07
貌似我真的很笨????哎

作者: effoggikeftor 时间: 2015-1-10 14:08
兄弟....表给偶丢丢哦....

作者: 爱上空心菜 时间: 2015-2-26 19:40
晕在我帖里面找偶像啊??

作者: Acropozelan 时间: 2015-2-26 19:43
感谢党和人民的关爱~~~

作者: 阴阳小轩 时间: 2015-2-26 19:43
成长可以说已经是很幸福的了。但在另一方面，作者也不是温室里的花*，只能作些鸳鸯蝴蝶的文章。在前面我已经说过了，这篇文章比形散神聚更胜一筹。诸位见过大风沙没有

欢迎光临得知互动 (https://bbs.dezhifl.com/)