|
在自己的网站根目录上建立一个空白的robots.txt文件,具体robots文件的用法,大家可以自行百度搜索,这里我们着重分享三个常用的命令,我们以例子来讲解,假如你是做洗衣液的微商,做了一个洗衣液的网站,网站的文件总共有4个文件夹,我们就比如说是文件夹1、文件夹2、文件夹3、文件夹4,其中文件夹4是管理员后台的程序和页面。那么我们介绍下在robots文件中以下设置:
User-agent: *
(以上的意思就是允许所有的搜索引擎来访问抓取网站)
Disallow:/文件夹4/
(以上的意思就是禁止搜索引擎来抓取网站文件夹4的页面)
Allow:/文件夹1/
(以上的意思就是允许搜索引擎来抓取网站文件夹1的页面)
Allow:/文件夹2/
(以上的意思就是允许搜索引擎来抓取网站文件夹2的页面)
Allow:/文件夹3/
(以上的意思就是允许搜索引擎来抓取网站文件夹3的页面)
大家要擅用以上三个命令,来正确引导搜索引擎抓取的页面,方便网页被快速收录
|
|