返回列表 发新帖

Robots的写法,完整讲解。

5,580.8k 13
小成往事 发表于 2015-1-17 18:28:24|湖北 | 查看全部 阅读模式
作为seo人Robots的写法作为必须了解的内容之一,错误的写法可能给你带来不被搜索引擎收录的恶果。

% @% e( q  f+ w3 z( f1 S$ A- M; n' o6 F) p8 h" u; t9 P$ r3 P
Robots文本中,因先写出对什么搜索引擎生效,然后是禁止抓取目录,允许抓取目录。
" j3 Z4 D" r, M, c4 I5 n0 V7 b: f
User-agent: 语句表示对什么搜索引擎的规则,如果内容是“*”,则表示对所有搜索引擎生效。
; P; K) |3 g9 I; b3 m4 S
Baiduspider表示百度蜘蛛;
8 D! Z3 N* s1 F- m
Googlebot 表示谷歌蜘蛛;
- W7 d* `/ D$ y$ k5 D
& k. k( @, K$ Y
360Spider 表示360蜘蛛;
& w6 t( o5 \0 F% h( z0 b
5 F5 T; z4 c8 Z  m  W7 a
写了针对的蜘蛛后,就需要写具体的禁止抓取哪些目录,允许哪些目录。

1 K8 n. t8 b8 ^- j& X
Disallow: 表示禁止抓取后面的目录;
: r/ C' u/ d2 ^3 W1 I% S

/ j! N1 J$ X( E; u
Allow: 表示允许抓取后面的目录。
  I. ~; |) p4 |7 `3 N2 w
! R- q: y3 m/ ~7 {
* 是个通配符,可以代替任意内容。
5 \, P7 x6 |5 V& h" I7 p
$ 字符指定与网址的结束字符进行匹配。
% J' B( y' ~! L, K# g* {
例如,要拦截以 .asp 结尾的网址,可使用下列条目:

' V. u7 a: b4 J  _3 z5 _5 |# D0 v+ V8 D" a1 Y1 V4 i1 Y" Y1 s

* A  _7 K# f% W% O+ b
/ U6 Q( b. \# R* k1 t0 d% J6 F
Disallow:/*.asp$
, g+ j+ n) ~/ `" f  C

1 N  O$ c3 x0 z
例:
1 ^- |; n0 P: s; m, Y) P
2 X) m$ P( c' Y
Disallow:/admin/  禁止访问/admin/目录的内容。

; T( E$ k3 R% I! y. P+ f
" d) c) K; I  v0 H
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

) X+ k1 n9 v+ t7 O) O# [5 d% w- t4 Y) F
Disallow: /*?* 禁止访问网站中所有包含问号(?) 的网址。

+ `: T3 a4 `+ T+ N8 G' @/ H* {7 C$ F8 m5 ]) A
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片。
& i3 a1 d. q" O) g$ T/ h0 h% f: X0 F
, u* ?# u7 L+ c4 o
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录。

9 {# R- J2 ]9 c5 a' y
0 v, t; h: @  _/ l0 l) L3 j
Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

6 x' h& d% n3 O3 F0 L) x9 `4 Q3 g! b% r) a: V
完整写法:
! h3 n* H& d7 c
+ l' i  n( g6 L/ j/ U
User-agent:*                      /**以下内容针对所有搜索引擎

, D. |2 D5 b* M* M
: _9 g" M# l( y; e  F3 v3 M
Diasllow:/admin/                   /**禁止访问/admin/目录的内容

% m  N* K- d6 k: m# k# q: h1 E1 A* T5 F* W3 g. |
*****
: p8 d, B0 i' G9 {1 s8 }
. A" X6 W% f) K, J" ~) ^3 T
Allow:/html/                                                    /**允许访问/html/目录的内容
& c4 t1 n& x4 [. k1 L

1 m, O; D  B  d4 ]! R' c# {' a  U1 i1 D' _# e4 ~. `

" V3 c" n; Z8 A7 c9 E2 |: x+ K8 T& g4 r+ W8 s" D
作为新手对Robots不是很明确的朋友,可以不写Robots.txt文件,以免错误的写发导致内容的不收录。
$ W% n! {1 l: ~. r8 y5 T  a2 X* h+ \
: p$ C7 O. V9 o6 p6 ~
Robots最多的用途是屏蔽网站的后台目录,以免被收录后,被heike所利用;以及保护自己的版权资源,以免被搜索引擎收录了以后,展示在搜索结果里。

回复|共 13 个

effoggikeftor 发表于 2015-1-31 18:39:13|北美地区 | 查看全部
好吧...那你说...
wwdu926a 发表于 2015-1-31 18:40:35|美国 | 查看全部
手机版的得知互动论坛好强大
effoggikeftor 发表于 2015-1-31 18:41:41|Reserved | 查看全部
哈哈~` 好久没有笑喽~
Acropozelan 发表于 2015-2-4 22:25:09|美国 | 查看全部
经过你的指点 我还是没找到在哪 ~~~
阴阳小轩 Lv.8 发表于 2015-2-4 22:25:26|美国 | 查看全部
为了不让帖子沉得太快!!!为了人人知道这个~!! 我不是原创~!!但是我要把他发扬广大~!!!
Acropozelan 发表于 2015-2-4 22:26:43|美国 | 查看全部
您知道这个论坛的站长是谁吗?偷偷的告诉你他叫叶学得  好厉害的样子
wwdu926a 发表于 2015-2-4 22:27:46|美国 | 查看全部
终于看完了~~~
Acropozelan 发表于 2015-2-4 22:29:15|Reserved | 查看全部
一骂人就激动....
Acropozelan 发表于 2015-2-19 12:17:57|加拿大 | 查看全部
晚安 别让小嫁再郁闷了 -
wwdu926a 发表于 2015-2-19 12:18:00|英国 | 查看全部
这是安慰我啊~~还是垮我啊???怎么感觉又被扁了啊
阴阳小轩 Lv.8 发表于 2015-2-19 12:18:25|美国 | 查看全部
哪个正常的人能崇拜一只蟑螂呢?
阴阳小轩 Lv.8 发表于 2015-2-19 12:22:10|美国 | 查看全部
假如我们把自己力所能及的事都完成了,我们会真的令自己大吃一惊。

回复

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

得知互动是一个融创意、设计、开发、营销、生活、互联网于一体的专业交流分享平台。
Copyright © 2026 得知互动-专注Ai与站长技术交流社区-Ai交流平台 版权所有 All Rights Reserved. Powered by Discuz! X5.0 鄂ICP备15006301号-5|鄂公网安备 42018502006730号
关灯 在本版发帖 扫一扫添加QQ客服 返回顶部
快速回复 返回顶部 返回列表