搜外网>搜外问答>问答页面

Robots.txt 我写对了吗？悬赏1元已结束

微信

<p>最近用wordpress做了个网站，发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因，多次处理无果，于是乎想用robots.txt文件来限制掉，搜索引擎抓取所有东西，只让搜索引擎抓取首页目录及文章页面</p><p><br></p><p>robots文件可设置成这样子吗？<br></p><p><br></p>

Robots WordPress 文章举报 本帖由用户发布，如有侵权联系删除 2021-02-05 发布914 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

16 人参与回答

最佳回答

西德SEO · 16年百度、谷歌优化专家，你有问题我解决扣：826854885

正解~...

明星电缆 · 河南明星电缆厂家，防火电缆、低压电缆、高压电缆，各种电线电缆戳这里→ ▄█▀█●☛☛☛☛☛☛☛☛☛☛☛☛☛☛☛

seo站长工具里面有Robots.txt撰写规范的，可以去参考一下。

co

linux系统默认根目录是【/】这样会把整站屏蔽，不清楚你网站啥程序建的，所以不好判定但是不标准是真的了

民间偏方大 · 中医世家，擅长PS，平面设计，织梦seo等

有啥用啊

螺旋钢管 · 专注SEO优化12年

应该是没问题的

大步向前走 · 5118VIP会员优惠码「EA67D8」

个人觉得先把网站不需要蜘蛛抓取的先写出来吧，比如：

User-agent: *

Disallow: /mulu/

Kyle

不要这样写，会导致整站被禁止的，可采取宽抓严禁的方法

尚博思连锁 · 专业做美发、美容、养生、按摩、推拿、美甲行业收银系统

应该是没问题的

℡银色飞行

最好别这样搞，你别管搜索抓取的是哪些，你要看索引收录的是哪些，而且想让抓文章页栏目页也不是说就把别的禁止抓取，这种如果设置错误，那你网站整体收录都会有影响。

想让抓取文章页，栏目页，你可以多提交这些页面，为这些页面发外链，吸引蜘蛛。

至于Robots设置的对不对，百度站长后台有专门的检测工具，还有抓取诊断，你都可以去自己测试。

流浪的战狼 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

应该没问题

网络优化 · 网站平面设计视频制作

User-agent: *
Allow: /
Disallow: /xxx/
Disallow: /xxx/

这样的

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、Robots设置成功后，自己可以去检测下，看是否生效；

2、搜索引擎随意抓取URL，哪些URL是被抓取和放出收录了吗，如果没有那么不影响，可不用这么设置robots；

3、robots如果设置错误可能导致网站不抓取收录；

非全日制硕

说实话，我还不太理解Robots文件里的东西是啥意思~

人生＝π · 建站小程序空间域名服务器百度爱采购

Robots 文件用法如百度资源站的说明

爱吃者 · SEO优化诊断方案 VX:276029701

你这后面带不带*都没啥区别吧？

都是整站屏蔽

加载更多