得知互动

标题: robots文件作用和写法 [打印本页]

作者: gevaemaidovef 时间: 2015-3-27 12:45
标题: robots文件作用和写法
　　1、Robots.txt文件是什么：首先SEO博客要和大家弄清楚robots.txt的概念问题，带有txt后缀的文件是纯文本文档，robots是机器人的意思，也就是说，robots.txt文件是给搜索引擎蜘蛛看的纯文本文件。它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止抓取的。搜索引擎蜘蛛来访问你的网站页面的，首先会查看网站根目录下是否有robots.txt文件，robots.txt文件就是起到这个作用的。我们都知道淘宝网是屏蔽百度的，靠的就是robots.txt文件。文件是这样书写的：User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
　　2. robots.txt的作用：通过设置屏蔽搜索引擎，使之不必要页面被收录，可以大大降低抓取页面所占用的网站带宽，大型网站尤为明显了。设置robots.txt文件可以指定某个搜索引擎不去索引不想被收录的URL，比如我们通过url重写将动态URL静态化为永久固定链接，就可以通过robots.txt设置权限，阻止某些搜索引擎索引那些动态网址，网站重复页面将减少，有利于SEO优化。
　　3. robots.txt 怎么写：下面以WordPress博客来作举例。如robots.txt文件里写入以下代码：User-agent: * Disallow: Allow: / robots.txt写法中应该注意的几点。1、robots.txt必须上传到网站根名录下，不能放在子目录下;2、robots.txt，Disallow等必须注意大小写，不能变化;3、User-agent，Disallow等后面的冒号必须是英文状态下的。4、User-agent是表示搜索引擎(spider)的：星号“*”代表所有spider
seo论坛

作者: swmozowtfl 时间: 2015-5-15 21:14
能告诉我丫挺什么意思吗?赐教

作者: swmozowtfl 时间: 2015-5-15 21:24
看,刚说你眼神不好,你还就来劲了不是.

作者: swmozowtfl 时间: 2015-5-15 21:28
一骂人就激动....

作者: swmozowtfl 时间: 2015-5-15 21:32
本人过去、现在以及将来都不认识楼主，且自古以来与楼主无利益关系。楼主表述之事与本人无关

作者: swmozowtfl 时间: 2015-5-15 21:37
看完楼主的帖子，我的心情竟是久久不能平静

作者: seazvyt 时间: 2015-6-16 10:31
只是本着“看贴（虽然看不懂）回贴，利人利己的中华民族优秀传统美德”，顺便赚点积分。

作者: GoodyFouppy 时间: 2015-6-16 10:47
呵呵高高实在是高~~~~~

作者: buingeEvineus 时间: 2015-6-16 10:51
我去看看网络上的事我不是很会哎

作者: wwdu926a 时间: 2015-6-16 10:59
因删贴不及时所产生的任何法律（书法，基本法，劳动法，婚姻法，输入法，国际法，今日说法，与台湾关系法及文中涉及或可能涉及以及未及之法，各地治安管理条例）纠纷或责任本人概不负责。

欢迎光临得知互动 (https://bbs.dezhifl.com/)