SEO学习网

同样的梦想,不一样的起步,SEO案例网将尽最大努力帮助“SEO学习者“学习搜索引擎优化.

SemCmd SEO学习网 > SEO案例 > 百度对Robots.txt的生效周期

百度对Robots.txt的生效周期

  前段时间谈了下DJ小向个人对Robots.txt的理解,其中说了两个推理,1、百度对Robots.txt 的抓取频率是一个周期右左 2、百度对Robots.txt的抓取是由IP抓取,而不是按域名、说实话DJ小向也不是一个死板或钻牛角的人,我在上篇“百度对Robots.txt抓取时间分析报告”中说了,那当第一次我们可以说是偶然、第二次是运气、那第三次了、而如果接下来的第四次更新同样是这样! 我们就不得不说这个实验得以成立,而现在了是否真成立了?   

百度2010-10-6的快照 
  百度快照:2010-10-6号(同样的10月6号)

  又是同样的四个站,同样的时候快照,呵!巧合吧,可能有个网站会隔天快照(www.lcch.cn),但是其它三个网站是同时更新快照。DJ小向从上篇“百度对Robots.txt抓取时间分析报告”中分析到了,百度对Robots.txt的抓取可能是由IP来抓取,但对内容的抓取一定是域名,这点不可否认! 但在什么情况下百度会对Robots.txt抓取了,我们也总结了:百度对Robots.txt 的抓取频率是一个周期右左。

  我们现在知道了百度是如何对Robots.txt抓取的,也知道了他的抓取周期是多久,那么百度对Robots.txt的生效周期是多久了?

  在百度站长俱乐部俱乐部中,一直有朋友在问“百度对Robots.txt的生效时间是多久”或“百度对301的跳转又是多久”,但是始终没有一个很好的回复!那么这个生效周期是多久了!我们研究Robots.txt 不就是为了利用Robots.txt来屏蔽内容,让SE不能抓取,但是如果不生效也一样达不到效果。

  那么百度对Robots的抓取生效周期是多久了,前段时间在写Robots分析报告中,有的朋友说要DJ小向用IIS日志来证明一些推理,这样来说很容易让人信服,其实很多时间DJ小向都想用他们来做推理证明,但是因为某些原因,如果我就摆几个IIS日志图片放那里,不做一些说明,那么很多SEO的朋友都会看不懂,毕竟其中还有很多东西你不知道,只要操作者知道,所以一直以来都是用一种比较容易理解的方式来写文章。

  想了解百度对Robots.txt的生效周期,我们首先需要了解“百度是否抓取了你的Robots”、我们撇开其它条件来研究Robots,那么你是否知道你的网站有没有被百度抓取到Robots.txt了,可能很的朋友会说,“百度快照了,应该Robots就会被抓取吧”,还有的朋友会说“百度对Robots的爬取周期不是一个周期”,可能有很多种说法,但有一点DJ小向应该提醒大家“抓取”、在很多朋友的眼里面就只为一种解释,其实“抓取”是分两种的:一种是“爬取”,更一种是“抓取”,而往往有些时候对搜索引擎来说,可能对内容只是爬取过,但没有抓取! 一样没有用或者说只爬取了内容、没有上抓取,怎么会有收录了。  

百度日志分析 
  解封Robots.txt后,百度一直不抓取

  自使用了Robots屏蔽了网站,然后到新站上线(解封了Robots),已经有15天左右了,百度一直不收录,而不收录的同时,从来没有百度蜘蛛抓取!   

百度蜘蛛对Robots文件的抓取IIS日志记录 
  9月25号,百度蜘蛛终于对Robots进行了抓取

  经过三个周期的变化,百度对网站Robots文件进行了抓取,同时也是从网站上线到现在百度第一次抓取!虽然百度对Robots进行了抓取,那么百度对Robots的生效时间会是多久了,9月26号依然一样,没有百度蜘蛛抓取。   

百度疯狂收录中 
  9月27日,百度蜘蛛对网站内容有了抓取

  25号的百度蜘蛛对Robots.txt进行了抓取,而27号百度对网站内容进行抓取,而疯狂的蜘蛛在第一次抓取时,真的很疯狂! (所以这里有个小细节,一定注意、新站上线一直要把内容做充实,而且最好是原创的内容)   

网站上线后的收录报告 
  网站从28号开始收录

  从收录角度来说,小向还是很满意的,我记得9月29号是96篇,而当是小向总共文章发布数才130篇右左,而直接收录了96篇,这些文章都是从其它地方复制过来的! 有这种收录比例还是不错的。

  我接着对Robots分析,从上面三张图中,相信大家可以看到,网站从上线到24号以前是没有百度蜘蛛爬取的,从25号开始百度对Robots.txt文件进行了抓取,而我们知道虽然抓取了,但是生效同样需要一个等待期,DJ小向比较走运,在27号百度就进行了抓取,而且隔天就放出了!

  那么我们可以对“百度对Robots文件”做个总结:

      想让Robots.txt 文件生效、必需要等网站中的Robots.txt文件被蜘蛛抓取后,Robots文件才会被生效,而“抓取”到“生效”之间也需要时间等待、这个等待期就是蜘蛛下次在次抓取你网站内容的时候

  其它方面DJ小向也不多说了、小向写了三篇对Robots的研究分析[百度对Robots.txt抓取时间分析报告], 每篇文章都是站在一个新的思路去理解的,但是同时这三篇文章也有关联,如果你能够把三篇文章综合起来理解最好,如果不行,一篇篇理解也行,(可能在读解这三篇文章中,你会说他们之间有些冲突,但是我相信如果真正理解了这几篇文章,你就不会感觉冲突)研究SE就是这样,只有大胆的想,大胆的实验,你就会成功. DJ小向不说自己的水平怎么怎么样,但是我尝试了、努力了、有了总结,我相信以后在次遇到这样的问题就难不倒了。

  下篇文章,小向会写一篇,告诉大家如何测试Robots.txt (也就是说看你自己的Robots.txt 写法是不是正确的、DJ小向关注了下,百度站长工具可能要出这个功能,但是如果等他放出了,都要老死了,呵!开个玩心)

本文由“SEO学习网 > SEO案例 ”整理:

原创文章如转载,请注明: [ 百度对Robots.txt的生效周期 - "SEO学习网" ]
SEO学习网 - [ 提供SEO学习资料_免费SEO教程_经典SEO工具_系统式SEO培训指导 ]
本文网址:

百度对Robots.txt的生效周期
<< 网络推广,作为销售员该如何开始!推荐两款对网站监测平台 >>


网友评论 [ 请文明的留下您的足迹,你也来囧下吧!]

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

    SEO学习网介绍

    “师傅领进门,修行在个人”

    Seo学习网 - 只能领你进入Seo这扇门,至于以后的发展,唯有靠自己灵性,去模仿/去揣摩它的意图,才能彻底掌握这项技术.

    --------------------------

    系统式SEO培训指导

    培训方式:一对一 YY授课

    培训机构:SEO学习网(SemCmd)

    培训导师:DJ小向

    培训宗旨:授课 + 实站指导

    联系方式:QQ:8943459

    --------------------------

    在线文章编辑器   右击SEO工具箱 关键词密度查询   关键词组合器

    --------------------------

    暑假系统式SEO培训班报名中