搜索引擎(蜘蛛)Robot

　　搜索引擎蜘蛛名称

　　蜘蛛：又名搜索引擎爬虫 是一种专门爬取各大网站内容的、如果网站没有蜘蛛的爬行、那么就没有网站的收录可言。

　　那么我们又如何知道蜘蛛爬行过我们的站了,在这里我们可以看网站IIS日志,在IIS日志中,我们可以分析各大搜索引擎蜘蛛的爬取记录。

　　引擎搜索名称:

　　1. Google爬虫名称

　　        1) Googlebot：网站索引和新闻索引中抓取网页

　　        2) Googlebot-Mobile：移动索引抓取网页

　　        3) Googlebot-Image：图片索引抓取网页

　　        4) Mediapartners-Google：抓取AdSense，在AdSense 广告情况下，Google才会使用此漫游器来抓取您的网站。        

　        　5) Adsbot-Google：抓取AdWords 目标网页的质量,在Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。

　　2. 百度(Baidu)爬虫：Baiduspider

　　        1) Baiduspider：无线搜索

　　        2) Baiduspider-image：图片搜索

　　        3) Baiduspider-video ：视频搜索        

　　        4) Baiduspider-news ：新闻搜索

　        　5) Baiduspider-favo ：百度搜藏

　　        6) Baiduspider-cpro ：百度联盟        

　　        7) Baiduspider-ads ：商务搜索

　　        8) Baiduspider ：网页以及其他搜索

　　3. 雅虎(Yahoo)爬虫：Yahoo Slurp

　　4. 有道(Yodao)蜘蛛：YodaoBot

　　5. 搜狗(sogou)蜘蛛：sogou spider

　　6. MSN蜘蛛名称：Msnbot

    了解了各大搜索引擎蜘蛛名称，也许不能满足你学习SEO的欲望。那么你可以继续读解以下文章：
        1、[搜索引擎蜘蛛抓取网站代码原理]
        2、[蜘蛛爬取特性分析工具_WinHTTrack HTTrack]
        3、[蜘蛛抓取工具分析_Lynx 在线版以及浏览器插件]

    各类IIS日志分析软件推荐：
        1、[光年SEO日志分析系统 2.0 ]
        2、[IIS日志分析工具_金花IIS日志分析软件]