WordPress建站,会自带很多功能页面。这些页面被抓取不仅无用,还可能有安全风险。有一些页面不想被蜘蛛抓取,该怎么办呢?
添加以下配置到robots.txt文件,可以有效阻止那些遵守规则的爬虫。
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/*page/*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
不过,对于那些不遵守规则的爬虫,这个方法是无效的。
-
WordPress商城小程序模板近期小编在追格小程序发起了一个投票,问大家关注什么样类似的商城小程序,几天时间又40多人参与投票,截止发稿有49%的同学投在基于WordPress开发的商城上面
-
WordPress禁用或移除wp-block-library-css的方法WordPress 5.0+版本后会自带一个古腾堡编辑器的CSS样式调用 wp-block-library-css,若我们用WordPress经典编辑器的话,这个样式是没啥用的。
-
WordPress限制评论间隔时间的方法WordPress关于评论的问题,追格小编分享过多篇。垃圾评论防不胜防,那我们如何限制评论间隔的时间?
-
WordPress小程序开发教程WordPress和小程序开发教程网上挺多的,追格小编简单分享几个。
-
追格网址导航主题源码下载追格小站点评主题是一个互联网创新产品分享与点评导航主题。若不太理解,你也可以理解为是一个网址导航就好,哈哈哈。
-
追格主题(开源版)追格主题(基于WordPress开发),免费开源并支持二开。专为资源下载、资讯媒体、图文博客网站而设计,响应式布局且自带用户中心、点赞收藏评论、SEO、个人主页、文章目录等功能。
暂无评论,抢个沙发...