5 人参与回答

SEO插件都支持自定义Robots,例如yoast,rankmath等

默认的就行
User-Agent: *
Allow: /

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: //feed
Disallow: /feed
Disallow: /comments/feed
Disallow: /trackback/
Disallow: /
/trackback
Disallow: //comment-page-
Disallow: //page/*
Disallow: /page/
Disallow: /author/
Disallow: /?replytocom=
Disallow: /?s=*
Disallow: //?s=\
Disallow: /?
Disallow: /?author

Fanly
Fanly · 泪雪博客博主,专注网站优化运营及WordPress开发。

默认情况WordPress会伪静态生成一个默认的规则,如果要自定义Robots则通过在网站根目录新建robots.txt文件设置规则即可,例如:

User-agent: *
Disallow: /wp-*/
Disallow: /wp-*.PHP
Allow: /
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、可以参考下同系统做站的设置的Robots
2、对于不想让蜘蛛抓取爬行的文件夹可设置robots disallow;
3、wp里有哪些文件夹总是被蜘蛛去抓取,但是不想被爬行的可设置。