什么是robots协议,robots协议怎么写


当百度蜘蛛baiduspider在访问我们的网站是,首先会访问我们的robots.txt文件,这个文件的作用是什么呢?robots的作用就是设置网站的那些内容可以抓取,那些内容不让抓取。如果织梦网站,的后台地址dede,images是图片地址,也都是不需要百度蜘蛛抓取的,还有一些不重要的页面都是可以禁止蜘蛛抓取的。我们就需要在robots设置

robots文件放在那里?

robots.txt都是放在网站的根目录的,大家可以在网上随便找一个网站,在域名后面输入/robots.txt都是有设置的。


robots协议怎么写?

User-agent: *  ----------这一行的意思:允许所有搜索引擎抓取本网站

Disallow:  ----------这一行的意思:禁止抓取这些目录

allow: ----------这一行的意思:允许抓取这个文件,

有的朋友就问到,不设置的话默认就是抓取的,那么allow是什么意思呢?

allow 的意思就是说,如果设置了disallow,禁止抓取dede这个目录,但是在dede下面有个文件叫做image的文件夹,想要百度抓取就需要设置allow:/dede/image

关于什么是robots协议,robots协议怎么写,暂时为大家介绍这么多,待续........



分享到:

猜你喜欢