Robots是一种搜索引擎索引协议规范,它定义和约束了搜索引擎抓取的范围与边界,通常位于根目录下的robots.txt文件中

关键字及解释

• User-agent 指定搜索引擎,*号为指定所有搜索引擎
• Disallow 表示禁止索引的目录,根(/)表示所有
• Allow表示允许爬取的目录
• Sitemap 告诉搜索引擎你的站点地图的位置

使用方法及示例

示例一:允许所有的搜索引擎抓取(也是默认行为)

User-agent: *
Disallow:Allow/

示例二：禁止所有搜索引擎抓取

User-agent: *
Disallow: /

示例三:禁止搜索引擎抓取某几个目录

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

示例四:只允许搜索引擎抓取某几个目录

User-agent: *
Allow: /01/
Allow: /02/
Allow: /03/

在微微CMS上robots.txt设置

微微cms系统直接支持robots设置，在配置管理中的站点管理中即有对应的robots.txt设置表单项，内容如下

验证Robots设置

接下来打开 vvcms.cn/robots.txt 即可看到输出的rotobts内容