搜外网>搜外问答>问答页面

头条蜘蛛总是抓不存的链接悬赏3元已结束

微信

下图是别人攻击网站日志：

下图是头条蜘蛛抓取日志：

下图是我的网站设置的404页面：

上面的问题别人是通过什么技术实现的？难道是发现了头条蜘蛛的漏洞吗？

有大神知道要怎么处理这样的问题？不要头条抓取不存在的链接~~在此先谢过了!

404页面网站日志 404 举报 本帖由用户发布，如有侵权联系删除 2024-05-21 发布882 次浏览

10 人参与回答

罗凌峰

河景一家等 1 人赞同该回答

先检查下是不是被黑了，返回码是404，被这种攻击也没事，网站能访问就行，不是被黑就行，先去自查下

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

罗凌峰等 1 人赞同该回答

1、先检查下，这些URL返回码是什么，是404，那么没问题；
2、同时也要看下自己是否被黑，这种URL，就是被黑后产生的垃圾页面，去ftp哪里，看看有没有新增的文件夹和JS文件；
3、持续关注下网站安全，定期Site域名，看是否有被黑页面存在，如被黑及时处理即可。

直接禁用 Robots设定一下

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

先检查下，这些URL返回码是什么

packa

设置禁用一下看看

格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

楼上推推娃说得对

奋力向前 · 第三方软件测试报告

应该是有工具借助头条蜘蛛的ua，扫描你的网站。我是这么理解的

杭州继保 · 微机保护行业

能不能禁一下

刘之一

能不能禁一下

网站开发( · dazhe5 .cn站长

Robots里面禁用试下！
User-agent: Bytespider
Disallow: .xlsl$

收录宝