返回列表 发新帖

如何正确鉴别百度蜘蛛?只需做这两点

420 0
DeGe 发表于 2022-3-4 17:14:10|中国 | 查看全部 阅读模式

  许多seo从业者在不久触碰这一制造行业的那时候,常常会问——百度蜘蛛是啥?人们能够了解为百度蜘蛛就是说用于爬取网页链接的IP,网编常常会听见百度蜘蛛来的太经常,网络服务器要被捕爆掉,当你没法鉴别百度蜘蛛,你如何判断是百度蜘蛛抓爆的呢?也是出現百度蜘蛛也不来啦的状况,也有许多站名想要百度蜘蛛的IP段,想把IP添加白名单,但没法鉴别百度IP。

  那怎样才能鉴别恰当的百度蜘蛛呢?来来来,只需做着二点,就能恰当鉴别百度蜘蛛

  一、查询UA,假如UA都错误,能够直接判断非网页搜索的蜘蛛,现阶段向社会公布过的UA是:

  中移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 . Q/ E2 H8 _7 {4 f8 T d& `: ?) o(KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; , d( T3 Q) }/ h9 W9 G; O5 [4 y+ vBaiduspider/2.0; +http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; " I0 f6 L0 I# C0 K5 ]+ u +http://www.baidu.com/search/spider.html)

  增加3D渲染UA:

  中移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) , J# R. {2 I( {% z4 N9 b/ \2 [ AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 9 L$ B% T3 k8 V2 W (compatible; Baiduspider-render/2.0; " U2 L5 n! P0 _* t1 m* _+http://www.baidu.com/search/spider.html)

  PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; ) o# F. b. k! _+ d2 _. m0 N+http://www.baidu.com/search/spider.html)

  二、反查IP

  工作员能够根据DNS反查IP的方法分辨某只spider是不是来源于搜索引擎。依据服务平台不一样认证方式 , J% q" K- H2 w3 k% {不一样,如linux/windows/os几种服务平台下的认证方式 各自给出:

  (1)、在linux服务平台下,您能够应用host 9 _- L$ O- Q0 Q' Mip指令反解ip来分辨是不是来源于Baiduspider的爬取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp & a0 M$ s+ a' [6 m9 P# I2 D* {2 f的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。

  (2)、在windows服务平台或是IBM OS/2服务平台下,您能够应用nslookup ip指令反解ip来 % A2 w e( c# x8 i 分辨是不是来源于Baiduspider的爬取。开启指令CPU 键入nslookup xxx.xxx.xxx.xxx(IP地 址)就能分析ip, ) p' t8 v8 f, y! u 来分辨是不是来源于Baiduspider的爬取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的文件格式取名,非 " h% l, J0 [) f; p. t' W& J*.baidu.com 或 *.baidu.jp 即是假冒。

  (3)、 在mac os服务平台下,您能够应用dig 指令反解ip来 分辨是不是来源于Baiduspider的爬取。开启指令CPU 键入dig ( i$ T. j2 w* }+ {. ]$ \; W2 n: Lxxx.xxx.xxx.xxx(IP地 址)就能分析ip, 来分辨是不是来源于Baiduspider的爬取,Baiduspider的hostname以 # v8 o& i, `9 L& y! S *.baidu.com 或*.baidu.jp 的文件格式取名,非 *.baidu.com 或 *.baidu.jp 即是假冒。

+ P/ d, G% S# o+ r/ k1 Y5 L - f4 {) i9 h9 e# ?$ Z1 s' J , i" m W. j) Z! S 4 [6 v* y9 a& ~$ f( j2 z

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 站长技术交流论坛|互联网技术交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表