网站日志抓取了的asp、php页面返回404需要让蜘蛛禁止抓取么? 推荐热议


以上的页面大概有四五百页,需要robots禁止抓取asp、php么?

追加问题
    6 人参与回答

是的  最好禁止抓取一下

老房装修
老房装修 · 老房装修公司

最好禁止抓取

可以用Robots禁止一下,因为这些页面没什么意义

W
W · 精弘学习网电子书10万考研考证电子书题库视频免费下载

进来发外链

做好404页面优化,Robots禁止,死链提交

回复问答禁止带推广链接,了解合理带链接的方法