12.微商网站也要擅用robots协议

雷九

       在自己的网站根目录上建立一个空白的robots.txt文件，具体robots文件的用法，大家可以自行百度搜索，这里我们着重分享三个常用的命令，我们以例子来讲解，假如你是做洗衣液的微商，做了一个洗衣液的网站，网站的文件总共有4个文件夹，我们就比如说是文件夹1、文件夹2、文件夹3、文件夹4，其中文件夹4是管理员后台的程序和页面。那么我们介绍下在robots文件中以下设置:
User-agent: *
（以上的意思就是允许所有的搜索引擎来访问抓取网站）
Disallow:/文件夹4/
（以上的意思就是禁止搜索引擎来抓取网站文件夹4的页面）
Allow:/文件夹1/
（以上的意思就是允许搜索引擎来抓取网站文件夹1的页面）
Allow:/文件夹2/
（以上的意思就是允许搜索引擎来抓取网站文件夹2的页面）
Allow:/文件夹3/
（以上的意思就是允许搜索引擎来抓取网站文件夹3的页面）
       大家要擅用以上三个命令，来正确引导搜索引擎抓取的页面，方便网页被快速收录