一、robots优化WordPress博客
基本的WordPress的robots协议如下：
User-agent: * 这里的*代表的所有的搜索引擎种类，*是一个通配符
Disallow: /feed/ 这里定义是禁止爬寻feed
Disallow: /*/feed 这里定义是禁止爬寻文章或栏目feed
Disallow: /trackback/ 这里定义是禁止爬寻trackback目录下面的目录
Disallow: /wp-admin/ 这里定义是禁止爬寻wp-admin目录下面的目录
Disallow: /wp-content/ 这里定义是禁止爬寻wp-content目录下面的目录
Disallow: /wp-includes/ 这里定义是禁止爬寻wp-includes目录下面的目录
Disallow: /xmlrpc.php 这里定义是禁止爬寻xmlrpc.php文件
Disallow: /wp- 这里定义是禁止爬寻wp-目录下面的内容
Allow: /wp-content/uploads/ 这里定义是禁止爬寻admin目录下面的目录
Sitemap: http://www.xxkt.org/sitemap.xml 这里定义是禁止爬寻admin目录下面的目录
将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。
二、robots优化dedecms织梦企业网站
基本的dedecms的robots协议如下：
User-agent: *
Disallow: /dede 管理后台目录，需要改名，具体设置后面具体讲
Disallow: /include 程序核心文件目录
Disallow: /member 会员管理目录，有些文件可以开放
Disallow: /plus 插件及辅助功能目录 ，有些文件可以开放，如search.php
Disallow: /templets 默认模板存放目录
Disallow: /data 系统缓存或其它可写入数据存放目录
Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话，禁止
Disallow: /images 系统默认模板图片存放目录
Disallow: /index.php 网站默认首页，静态化的话，最好禁止
Disallow: /404.html
Allow: /plus/search.php 开放禁止目录里的具体文件
将以上内容另存到文本文档里，命名为robots.txt上传到服务器的网站根目录下。
三、robots是如何优化网站
网站权重不同，搜索引擎可以收录的页面数量也会不同，robots.txt的目的是减少不必要的收录，让更多有价值的网页被搜索引擎所收录，让整个网站收录的页面的质量提升。如用户注册页、关于我们等，都属于毫无价值的页面。
robots优化网站
以上就是网络优化带来的robots优化网站的内容。感谢您的观看。
