我做了好做的死链了,但是总还是会很多的死链产生,这是为什么呢?
应该是蜘蛛抓取了别的不该抓的链接吧
如果死链很多,百度提交一下死链,如果不多,用Robots.txt屏蔽一下,我的站就是这样
正常~这种死链提交百度就行
这个很正常,有的是百度蜘蛛,有的可能是模拟UA的攻击测试。你修改Robots.txt用于规范蜘蛛抓取路径,把那些死链目录屏蔽掉。
让更多人参与回答