欢迎光临
我们一直在努力

利用 Robots.txt 优化 WordPress 的 SEO

什么是 Robots 协议?

Robots 协议 (也称为爬虫协议、机器人协议等) 的全称是“网络爬虫排除标准”(Robots Exclusion Protocol), 网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

为什么使用 Robots.txt?

Robots.txt不光可以保护网站隐私链接不被搜索到, 而且可以控制网站内容的重复和抓取错误. 重复的网页会分散权重, 不利于 SEO.

Robots.txt 的写法

Robots 中一般通常有如下规则: User-agent, Disallow, Allow, Sitemap.

User-agent 后跟的是爬虫类型, 比如说 Baiduspider 和 googlebot 等, 这里我建议直接用 * 就好, 没必要划分的太清楚.

Disallow 和 Allow 就是允许和不允许的意思. 前者用于告诉搜索引擎不要抓取后台程序文件页面, 后者用于告诉搜索引擎要抓取后台程序文件页面.

Sitemap 后面跟上网站的站点地图就好了.

下面是我推荐的一个用于提升 WordPressSEORobots 的写法.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /*?*
Disallow: /attachment/

Sitemap: http://cn.clanzd.com/post-sitemap.xml
Sitemap: http://cn.clanzd.com/page-sitemap.xml

下面分别解释一下各项的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*

禁止搜索抓取动态页面

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

当然我们还可以通过适当的修改来满足自己的需求.

转载请注明:满忘近 » 利用 Robots.txt 优化 WordPress 的 SEO

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址