WordPress禁止蜘蛛抓取指定页面

追格官方小助手/ 2022年06月08日/ WordPress/ 浏览 2127

WordPress建站,会自带很多功能页面。这些页面被抓取不仅无用,还可能有安全风险。有一些页面不想被蜘蛛抓取,该怎么办呢?


添加以下配置到robots.txt文件,可以有效阻止那些遵守规则的爬虫。

    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /*/comment-page-*
    Disallow: /*?replytocom=*
    Disallow: /*/*page/*
    Disallow: /category/*/page/
    Disallow: /tag/*/page/
    Disallow: /*/trackback
    Disallow: /feed
    Disallow: /*/feed
    Disallow: /comments/feed
    Disallow: /?s=*
    Disallow: /*/?s=*\
    Disallow: /attachment/


不过,对于那些不遵守规则的爬虫,这个方法是无效的。


发表评论

暂无评论,抢个沙发...

客服 工单