SEO
之前有几个页面抓取返回状态码为500 - 搜外SEO问答
搜外网
>
搜外问答
>
问答页面
之前有几个页面抓取返回状态码为500
微信
之前有几个页面抓取返回状态码为500，后面修改好了，做了500错误页面，但每天观察网站日志，发现蜘蛛总是抓取这个页面，一直返回500，如何才能让他不抓取这些页面
追加问题
交换友情链接，就用搜外友链，方便！
1 人参与回答
收录宝
angzt
/linv
.linv
020.a
020.a
drrwa
drrwa
iyoji
iyoji
henwy
henwy
oli25
oli25
lmcsc
lmcsc
.zbqq
alaoe
jywl.
jywl.
/0056
蜘蛛池
相关问题
看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？
(3 个回答)
各大搜索引擎蜘蛛都指着网站的登录后台目录和系统文件目录抓取
(3 个回答)
看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？
(1 个回答)
网站日志中如何查看自己的网站是否被别人仿站了？
(0 个回答)
百度蜘蛛突然只抓取旧页面，不抓取新页面，什么原因，怎么处理？
(12 个回答)
使用宝塔面板如何查看网站日志分析搜索引擎蜘蛛数据？
(3 个回答)
有懂网站日志怎么看的么？给指点一下
(5 个回答)
头条蜘蛛总是抓不存的链接
(10 个回答)
×
悬赏问题
让更多人参与回答
给问题设置一定金额，将更容易获得关注与回答。
1元
路过一下
3元
意思一下
5元
了解一下
8元
支持一下
18元
有钱任性
88元
我是土豪
选择支付方式
微信支付
支付宝
余额支付
确认支付 →
×
追问
追问
