SEO学习网

同样的梦想,不一样的起步,SEO入门网将尽最大努力帮助“SEO学习者“学习搜索引擎优化.

SemCmd SEO学习网 > SEO入门 > Robots.txt文件_使用解析

Robots.txt文件_使用解析

Rbots.txt 是什么:

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
  当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
  robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。
  语法:最简单的 robots.txt 文件使用两条规则:
  • User-Agent: 适用下列规则的漫游器
  • Disallow: 要拦截的网页
           下载该robots.txt文件 

robots.txt 有几个常用的写法;

全部开放或全部禁止

{

User-agent: *    //表示站内针地所有搜索引擎开放;
Allow: /    //允许索引所有的目录;

User-agent: *    //表示站内针地所有搜索引擎开放;
Disallow: /   //禁止索引所有的目录;

User-agent: *    //表示站内针地所有搜索引擎开放;
Disallow:   //允许索引所有的目录;

}

这里呢,可以把[网站地图(Sitemap)] 也加进来,引导搜索引擎抓取网站地图里的内容。

Sitemap: http://www.semcmd.com/sitemap.xml

Robots.txt 使用方法:

例1. 禁止所有搜索引擎访问网站的任何部分
Disallow: /

例2. 允许所有的robot访问
(或者也可以建一个空文件 "/robots.txt")
User-agent: *
Disallow:
或者
User-agent: *
Allow: / 

例3. 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /

例4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

例6.要阻止 Googlebot 抓取特定文件类型(例如,.gif)的所有文件
User-agent: Googlebo
tDisallow: /*.gif$

例7.要阻止 Googlebot 抓取所有包含 ? 的网址(具体地说,这种网址以您的域名开头,后接任意字符串,然后是问号,而后又是任意字符串)
User-agent: Googlebot
Disallow: /*?

 

Robots.txt高级语法-模式匹配:

Googlebot(但并非所有搜索引擎)遵循某些模式匹配原则。

要匹配连续字符,请使用星号 (*)。例如,要拦截对所有以 private 开头的子目录的访问,请使用以下内容:
User-agent: Googlebot
Disallow: /private*/

要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容:
User-agent: Googlebot
Disallow: /*?

要指定与某个网址的结尾字符相匹配,请使用 $。例如,要拦截以 .xls 结尾的所有网址,请使用以下内容:
User-agent: Googlebot
Disallow: /*.xls$

您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 代表一个会话 ID,那么您可能希望排除包含 ? 的所有网址,以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下,您可以对您的 robots.txt 文件进行如下设置:

User-agent: *
Allow: /*?$
Disallow: /*?

Disallow: /*?指令会阻止包含 ? 的所有网址(具体地说,它将拦截所有以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串的网址)。

Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说,它将允许所有以您的域名开头、后接任意字符串,然后接 ?,? 之后不接任何字符的网址)。
 

Robots.txt 误区使用:

        误区一:我的网站上的所有文件都需要蜘蛛抓取,那我就没必要在添加robots.txt文件了。反正如果该文件不存在,所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。
  每当用户试图访问某个不存在的URL时,服务器都会在日志记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时,服务器也将在日志中记录一条404错误,所以你应该做网站中添加一个robots.txt。
  误区二:在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取,这样可以增加网站的收录率。
  网站中的程序脚本、样式表等文件即使被蜘蛛收录,也不会增加网站的收录率,还只会浪费服务器资源。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引这些文件。
  具体哪些文件需要排除, 在robots.txt使用技巧一文中有详细介绍。
  误区三:搜索蜘蛛抓取网页太浪费服务器资源,在robots.txt文件设置所有的搜索蜘蛛都不能抓取全部的网页。
  如果这样的话,会导致整个网站不能被搜索引擎收录。
 

Robots META标签的写法:

Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots META标签中没有大小写之分,name=”Robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面;
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;
Robots Meta标签的缺省值是INDEX和FOLLOW,只有inktomi除外,对于它,缺省值是INDEX,NOFOLLOW。

这样,一共有四种组合:
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成<META NAME="ROBOTS" CONTENT="ALL">;

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成<META NAME="ROBOTS" CONTENT="NONE">


注:
robots.txt 一定要放置在网站的根目录下;如:http://www.semcmd.com/robots.txt

robots.txt 命名一定要全部小写,不允许出现Robots.txt 或 ROBOTS.TXT 

Robots META标签则不受此限制,但W3C限制,所以尽量都用小写;

robots.txt 中允许注释,注释以#开头

正确的使用 robots.txt  是有好处的,但是一定要细心检查,不要写错了,如果万一写错了,就有可能导致搜索引擎不收录。

原来一个朋友提出问题,说为什么他的网站建好那么久,就是不被收录,后来检查,原来问题就出现在robots.txt 上,他在Disallow:后面加了个/  全部禁止了。

User-agent: *    //表示站内针地所有搜索引擎开放;
Disallow: /   //禁止索引所有的目录;

新手如果不会写或怕写错了,可以使用Google的管理员工具来设置。[Google 管理员工具]

本文由“SEO学习网 > SEO入门 ”整理:

原创文章如转载,请注明: [ Robots.txt文件_使用解析 - "SEO学习网" ]
SEO学习网 - [ 提供SEO学习资料_免费SEO教程_经典SEO工具_系统式SEO培训指导 ]
本文网址:

Robots.txt文件_使用解析
<< 404页面的制作方法网站Html地图制作方法 >>


网友评论 [ 请文明的留下您的足迹,你也来囧下吧!]

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

    SEO学习网介绍

    “师傅领进门,修行在个人”

    Seo学习网 - 只能领你进入Seo这扇门,至于以后的发展,唯有靠自己灵性,去模仿/去揣摩它的意图,才能彻底掌握这项技术.

    --------------------------

    系统式SEO培训指导

    培训方式:一对一 YY授课

    培训机构:SEO学习网(SemCmd)

    培训导师:DJ小向

    培训宗旨:授课 + 实站指导

    联系方式:QQ:8943459

    --------------------------

    在线文章编辑器   右击SEO工具箱 关键词密度查询   关键词组合器

    --------------------------

    暑假系统式SEO培训班报名中