搜外网>搜外问答>问答页面

Robots.txt 我写对了吗? 悬赏1元 已结束

<p>最近用wordpress做了个网站 ,发现搜索引擎乱抓站内URL 莫名其妙不知道什么原因,多次处理无果,于是乎想用robots.txt文件来限制掉,搜索引擎抓取所有东西,只让搜索引擎抓取 首页 目录及文章页面</p><p><br></p><p>robots文件可设置成这样子吗?<br></p><p><br></p>

追加问题
    16 人参与回答
最佳回答
西德SEO
西德SEO · 16年百度、谷歌优化专家,你有问题我解决 扣:826854885


正解~...

明星电缆
明星电缆 · 河南明星电缆厂家,防火电缆、低压电缆、高压电缆,各种电线电缆戳这里→ ▄█▀█●☛☛☛☛☛☛☛☛☛☛☛☛☛☛☛

seo站长工具里面有Robots.txt撰写规范的,可以去参考一下。

linux系统默认根目录是【/】这样会把整站屏蔽,不清楚你网站啥程序建的,所以不好判定但是不标准是真的了

民间偏方大全
民间偏方大 · 中医世家,擅长PS,平面设计,织梦seo等

有啥用啊 

螺旋钢管
螺旋钢管 · 专注SEO优化12年

应该是没问题的

大步向前走
大步向前走 · 5118VIP会员优惠码「EA67D8」

个人觉得先把网站不需要蜘蛛抓取的先写出来吧,比如:

User-agent: * 


Disallow: /mulu/

不要这样写,会导致整站被禁止的,可采取宽抓严禁的方法

尚博思连锁管理系统
尚博思连锁 · 专业做美发、美容、养生、按摩、推拿、美甲行业收银系统

应该是没问题的

最好别这样搞,你别管搜索抓取的是哪些,你要看索引收录的是哪些,而且想让抓文章页栏目页也不是说就把别的禁止抓取,这种如果设置错误,那你网站整体收录都会有影响。

想让抓取文章页,栏目页,你可以多提交这些页面,为这些页面发外链,吸引蜘蛛

至于Robots设置的对不对,百度站长后台有专门的检测工具,还有抓取诊断,你都可以去自己测试。

流浪的战狼
流浪的战狼 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

应该没问题

网络优化
网络优化 · 网站 平面设计 视频制作

User-agent: *
Allow: /
Disallow: /xxx/
Disallow: /xxx/


这样的

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots设置成功后,自己可以去检测下,看是否生效;

2、搜索引擎随意抓取URL,哪些URL是被抓取和放出收录了吗,如果没有那么不影响,可不用这么设置robots;

3、robots如果设置错误可能导致网站不抓取收录;

说实话,我还不太理解Robots文件里的东西是啥意思~

人生=π
人生=π · 建站小程序空间域名服务器百度爱采购

Robots 文件用法如百度资源站的说明 

爱吃者
爱吃者 · SEO优化诊断方案 VX:276029701

你这后面带不带*都没啥区别吧?

都是整站屏蔽

加载更多
SEO培训招生中
188