搜索引擎蜘蛛名称
蜘蛛:又名搜索引擎爬虫 是一种专门爬取各大网站内容的、如果网站没有蜘蛛的爬行、那么就没有网站的收录可言。
那么我们又如何知道蜘蛛爬行过我们的站了,在这里我们可以看网站IIS日志,在IIS日志中,我们可以分析各大搜索引擎蜘蛛的爬取记录。
引擎搜索名称:
1. Google爬虫名称
1) Googlebot:网站索引和新闻索引中抓取网页
2) Googlebot-Mobile:移动索引抓取网页
3) Googlebot-Image:图片索引抓取网页
4) Mediapartners-Google:抓取AdSense,在AdSense 广告情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取AdWords 目标网页的质量,在Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度(Baidu)爬虫:Baiduspider
3. 雅虎(Yahoo)爬虫:Yahoo Slurp
4. 有道(Yodao)蜘蛛:YodaoBot
5. 搜狗(sogou)蜘蛛:sogou spider
6. MSN蜘蛛名称:Msnbot
了解了各大搜索引擎蜘蛛名称,也许不能满足你学习SEO的欲望。那么你可以继续读解以下文章:
1、[搜索引擎蜘蛛抓取网站代码原理]
2、[蜘蛛爬取特性分析工具_WinHTTrack HTTrack]
3、[蜘蛛抓取工具分析_Lynx 在线版以及浏览器插件]