魅力博客

魅力Linux|魅力空间|魅力博客|学习Linux|ubuntu日记|电脑教程|手机软件

再谈谈robots,网站搜索引擎蜘蛛引导写法速成



前段日子我简单了写了一下robots的文件写法,今天再估点比较深入的和全面的写法介绍!希望对新手站长朋友能有一些帮助!
其实robots,不用那么复杂,百度上面说的太复杂了,现在不是理论课。只要,你理解成是给蜘蛛爬虫看的而已。。没有这个也是可以的。
具体设置的就不说了,基本的都是希望人家收录的是吧??
按下面内容设置成一个txt文件,就是robots.txt,在根目录,就是空间的WEB目录,有的空间是wwwroot目录的,就上传robots.txt进去里面就行。

=没限制爬虫的=
# Robots.txt file from http://这里填写你的域名
# All robots will spider the domain
User-agent: *
Disallow:
需要说明吗?好的。
User-agent: * 用*号,是不限制爬虫
Disallow:
冒号后面不填写目录文件,就是可以收录网站所有地方,包括后台等等。。

=有限制爬虫的=
# Robots.txt file from http://这里填写你的域名
# All robots will spider the domain
User-agent: Baiduspider
Disallow:
Baiduspider这个就是限制了百度的。
需要限制谷歌的,就在下面添加多一个
User-agent: Googlebot就行。

=不限制爬虫,但限制爬虫收录页面=
# Robots.txt file from http://这里填写你的域名
# All robots will spider the domain
User-agent: *
Disallow:/admin
Disallow:/user
User-agent: *是不限制爬虫的,前面看过了。
Disallow:/admin 后面的就填写你不想人家收录的地方,例如后台/admin


返回顶部

发表评论:

Powered By Z-BlogPHP 1.7.3


知识共享许可协议
本作品采用知识共享署名 3.0 中国大陆许可协议进行许可。
网站备案号粤ICP备15104741号-1