首页 > 海南SEO > robots.txt的重要性

robots.txt的重要性

2010年1月23日 小T 发表评论 阅读评论

robots.txt顾名思义就是有的网站中有不希望搜索引擎收录的内容，我们就可以使用robots.txt文件。那么robots.txt文件放在网站里有什么好处呢？其实它是可以让搜索引擎们知道，什么东西可以搜索什么东西是不可以搜索的。就是这个重要的目的可以让搜索引擎加快我们网站的收录页面，其实对于SEO人员来说最喜欢的是还是可以提高网站的权重，认为搜索引擎可以重视到你让它所重视的页面去，只要你的网站频繁的更新不是垃圾站，久而久之你的网站的页面也会变得越来越权重。那么外面如何来写robots.txt文件呢？
第一：我们要了解robots.txt文件的写法和规则：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如：
Sitemap: http://www.taoboke.com/sitemap.xml
这个就是robots.txt重要的规则之一，其实我们还可以告诉搜索蜘蛛们我们要搜索哪方面：
如我就拿discuz论坛例子来说
#开放主页。不支持Allow将不能收录主页；如果不支持$，大概会全部开放
Allow: /$
#开放所有.html页，对DZ来说有 列表面、帖子、archiver
#将来TAG内容丰富后，后台设置将TAG页面静态化自然也就允许收录TAG了

  • Allow: /*.html
  • Allow: /viewthread.php #开放帖子的各种动态形式
  • Allow: /redirect.php #开放帖子的跳转形式
  • Allow: /forumdisplay.php #开放列表面的各种动态形式
  • Allow: /archiver/ #只有放开这个目录,robots开能进入抓取*.html的东西

这样对于搜索引擎蜘蛛是有好处的，因为你告诉它们有什么是不可以搜索的，什么是一定要搜索的。我个人推荐大家把两方面都写上去，这样会有好处。
为了应付想我们这样的菜鸟，其实是有网站免费为我们提供robots.txt的写法的。地址是http://www.clickability.co.uk/robotstxt.html

原创文章，转载请注明： 转载自海南SEO

本文链接地址: robots.txt的重要性

随机日志

Related posts:

  1. SEO技术之：绝对路径和相对路径
  2. 海南SEO教程：研究谷歌网站管理员工具
分类: 海南SEO 标签: ,