SEO学习网

同样的梦想,不一样的起步,SEO入门网将尽最大努力帮助“SEO学习者“学习搜索引擎优化.

SemCmd SEO学习网 > SEO入门 > 搜索引擎(蜘蛛)Robot

搜索引擎(蜘蛛)Robot

搜索引擎蜘蛛名称
蜘蛛:又名搜索引擎爬虫  是一种专门爬取各大网站内容的、如果网站没有蜘蛛的爬行、那么就没有网站的收录可言。
那么我们又如何知道蜘蛛爬行过我们的站了,在这里我们可以看网站IIS日志,在IIS日志中,我们可以分析各大搜索引擎蜘蛛的爬取记录。
引擎搜索名称:
1. Google爬虫名称
1) Googlebot:网站索引和新闻索引中抓取网页
2) Googlebot-Mobile:移动索引抓取网页
3) Googlebot-Image:图片索引抓取网页
4) Mediapartners-Google:抓取AdSense,在AdSense 广告情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取AdWords 目标网页的质量,在Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
2. 百度(Baidu)爬虫:Baiduspider
3. 雅虎(Yahoo)爬虫:Yahoo Slurp
4. 有道(Yodao)蜘蛛:YodaoBot
5. 搜狗(sogou)蜘蛛:sogou spider
6. MSN蜘蛛名称:Msnbot

 了解了各大搜索引擎蜘蛛名称,也许不能满足你学习SEO的欲望。那么你可以继续读解以下文章:
1、[搜索引擎蜘蛛抓取网站代码原理]
2、[蜘蛛爬取特性分析工具_WinHTTrack HTTrack]
3、[蜘蛛抓取工具分析_Lynx 在线版以及浏览器插件]

本文由“SEO学习网 > SEO入门 ”整理:

原创文章如转载,请注明: [ 搜索引擎(蜘蛛)Robot - "SEO学习网" ]
本文网址:

搜索引擎(蜘蛛)Robot
<< Google走了,这次是真的走了404页面的制作方法 >>


网友评论 [ 请文明的留下您的足迹,你也来囧下吧!]

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。