遇见SEO
关注互联网营销技术

什么是robots?Robots.txt文件的写法教程

​什么是robots呢?robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

Robots.txt
 

robots形式及定义:

User-agent:Baiduspider(定义所有的百度蜘蛛)

Disallow:/

User-agent:定义所有的蜘蛛

Baiduspider:百度蜘蛛

Googlebot:谷歌机器人

MSNBot:msn机器

Baiduspider-image:百度图片

Disallow:定义那些文件可以抓取,那些文件不可以抓取

Allow:允许

网站优化必须要有robots,robots格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文。

同时需要注意的是:在编辑时Disallow:与/之间需要空一格。

*:定义所有的蜘蛛通配符

/:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思。

$:结束符

附注:同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。

赞(0)
如需转载请注明出处:遇见seo » 什么是robots?Robots.txt文件的写法教程