Robots对网站的真正作用

　　很久没写文章了，有半个月了吧! 哎，越来越懒了，记得上次DJ小向说过谈下对Robots.txt的问题（百度对Robots.txt的生效周期），对于Robots.txt文本来说很多朋友不知道怎么下手，说实话如果你真的不懂，请不要胡乱设置，那样只能会让你的网站更加的不友好，设置不当弄不好就阻止了蜘蛛的爬取。

　　很多朋友加我Q或发信息问小向，设置好Robots.txt的最终作用是什么，在很多朋友眼里可能会有这么想法，看了DJ小向的文章、连续写了几篇关于Robots.txt的文章分析，是不是设置好的Robots.txt文章就对网站排名有很大的帮助了，其实这个问题是“否” 的，不会说网站设置好了"Robots.txt"文章就对排名有帮助，没有设置就不好，这种关点是错误的，在这DJ小向声明下。

　　如果你了解什么是Robots.txt文件，那么你就会知道“robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。”

　　我们知道、对网站做优化者来说网站的起步最关键的是“收录”，而搜索引擎如何来收录你网站了，从“网站上线” - “ 网站收录”他们中间是有个“抓取”过程与“爬取”过程，而不管是“抓取”还是“爬取”他们都是由“蜘蛛”程序来执行。

　　这只是一张简单的搜索引擎抓取图，从网站上线 - 网站抓取 - 网站索引 - 网站放出 ，图中说明了两点：1、没有抓取，就没有收录 2、就算抓取了，不收录，怎么会有内容放出! 所以说每个环节都很重要，也是我们必需要了解的，而我们今天所说的Robots.txt 就是影响他们其中的一个因素之一。

　　我们知道“没有抓取，就没有收录”,而抓取在这些过程中是起来了领先的作用，如果一个网站没有任何抓取，那么何来收录! 虽然Robots.txt文件不可以直接的去影响网站抓取，但是他在这中间是起间接影响作用、合理的设置Robots.txt 是可以增加蜘蛛对重要信息的爬取率。

　　那比，在该图中、我们使用Robots.txt文件来屏蔽一些不重要的内容，这样是不是能让更多的蜘蛛去抓取我们有用的信息，而有些网站中有些内容不让公开出去，是不是我们也能使用Robots.txt来屏蔽他们! 百度站长指南里面明确说明了“可以利用Robots.txt来屏蔽网站不重要内容，让蜘蛛有更多机会去爬取有用的信息”

　　其实在SEO中，有很多因素都是相互促进的，现在很多SEO朋友都在说整站优化，抓住长尾词的流量，那么要想实现这些，不是说你做几个外链接就可以升排名的，你是需要考虑到很多因素的，收录的比例、长尾词的跟踪、着陆的实现、内部结构的优化、关键词的分配、链接结构的优化、重复页面的处理、等! 都是需要我们一步步的去挖掘与实现，而这些过程最终拼的就是细节操作。

这几个状态不好，为了网店的事烦着，用ECshop仿了个网站，但是现在遇到了产品分类问题! 又加上自己本身事情比多，所以一般没有更新博客，下篇文章还是会继续写一篇上次说的，对Robots.txt 检测 的文章！