1、框架结构,在网站诞生初七很流行,因为对网站的页面更新维护有一定的方便性,现在已经很少用的。因为不利于搜索引擎抓取是框架越来越不流行的重要原因之一,使用框架设计页面,在早期的时候有,不过现在的网站都很少用框架设计,所以这里就不多说了,无论你是在用或者没用,记住一句话:不要让搜索引擎去讨好你。" k! m/ @7 m! T( Z5 S7 |6 F" m/ G: d
# s) s) I J3 }. W p5 V% }- \0 D, q 2、各种跳转,除了301重定向之外,搜索引擎对其他形式的跳转都比较敏感,比如302、JavaScript跳转、Flash、Meta Refresh跳转等,一些用户访问首页的时候会自动被跳转到某个目录下面,一些常用的团购网站、生活类网站按照地理位置转向最适合的目录,这是无可厚非的。但对于这种首页转向看不出任何理由和目的,这样的转向能免则免。, b; k& v* J7 \6 R- {" X. w' |
' a, B% t K3 K" a% d _ 3、搜索引擎能不能找到网页。要让搜搜引擎发现网站首页,就必须有良好的外部链接链接到首页,就找到了首页,然后蜘蛛会沿着链接爬的更深。让蜘蛛通过简单的html页面的链接到达,javascript链接,flash链接都是蜘蛛的陷阱。这点要注意。找到网页后能不能抓去内容,被发现的蜘蛛是可以被爬取的,数据库动态生成,带过很多的参数url、sessionID、整个页面都是flash、框架结构、大量的转向,和大量的复制内容都可能把蜘蛛拦截在门外。这也也是要注意的。
+ ?5 s& N5 o$ i r, _% x: X 4、SessionID,如果,我们的网站使用SessionID跟踪用户访问,这样就会出现一种现象,什么现象呢?就会出项搜索引擎每一次访问我们的页面时出现一个不一样的Session ID,即使访问的时同一个页面,他也会出现不一样的ID,但是内容却是一样的,就形成了大量的重复性内容,这也就形成了一个蜘蛛陷阱,也不利于网站的优化。那么我们通常建议大家使用cookies而不要生成SessionID。
0 K% e' l6 }$ w6 U/ @7 f, m
7 f! b3 u/ J% G5 B; `% _- M* [ 5、动态URL,所谓动态URL就是指网址里面带有问号、等号以及一些参数等等。一般情况下来说,动态URL也是不利于蜘蛛抓取的,我们应该避免。$ B$ }: H0 o% a) [, g- L
5 {# `( A% J$ a; s( c5 s G. y! J 6、要求登录,搜素殷勤蜘蛛他不会填写用户名、密码、验证码。那么你的这些内容也就不会被他发现。
! S; E4 F7 D u' j1 |
7 W c' t. F6 s) W 7、强制使用Cookies,有些网站就想记住用户的登录信息、跟踪访问路径等,强制的去使用Cookies。如果说,互联网用户的浏览器没有启用Cookies,那么这样以来就会导致此页面无法正常显示。简单来说,强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。+ u# }. u4 @ C' P
: d4 X$ P. ~( Z- x, Y, I
|