功能说明：

• 什么是robots文件？

  搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。常用于限制搜索引擎收录和抓取页面，如有些页面不希望百度收录就可以在这里定义等。【支持PC+手机】

具体操作步骤：

• 点击生成robots文件后会跳转到“站长工具”平台，按照平台上的提示设置你想让这个root做的内容；

• 限制目录添加：选择需要添加到限制目录中的页面链接，去掉链接头部的域名、尾部的后缀，复制中间的文件目录部分，添加到限制目录中

• 填写后点击生成，会在站长工具上显示出来代码，

如下图：

添加到网站后台——SEO——搜索优化——robots设置