网站日志抓取了的asp、php页面返回404需要让蜘蛛禁止抓取么？ 推荐热议
<p><br></p><p>以上的页面大概有四五百页，需要robots禁止抓取asp、php么？</p>
相关问题
- 复制内容如何让搜索引擎快速收录呢？(0 个回答)
- 网站大量IP同时访问导致网站打不开，有好的解决办法吗(2 个回答)
- php让百度蜘蛛抓取403，百度蜘蛛不抓取页面的解决方法是什么？(0 个回答)
- 看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？(3 个回答)
- 关于网站只收录新闻栏目页问题及robots屏蔽后台问题(7 个回答)
- 访问404页面的人数过多，怎么处理？(2 个回答)
- pbootcms tag的问题，哪位大神有遇到过(12 个回答)
- 有没有懂帝国CMS TAG标签插件规则的大佬呢？遇到个TAG链接转换规则的问题(9 个回答)
