搜外网>搜外问答>问答页面

头条蜘蛛总是抓不存的链接悬赏3元已结束

微信

下图是别人攻击网站日志：

下图是头条蜘蛛抓取日志：

下图是我的网站设置的404页面：

上面的问题别人是通过什么技术实现的？难道是发现了头条蜘蛛的漏洞吗？

有大神知道要怎么处理这样的问题？不要头条抓取不存在的链接~~在此先谢过了!

404页面网站日志 404

本帖由用户发布，如有侵权联系删除 2024-05-21 发布1,355 次浏览

交换友情链接，就用搜外友链，方便！

10 人参与回答

用户156223

用户222967 等 1 人赞同该回答

先检查下是不是被黑了，返回码是404，被这种攻击也没事，网站能访问就行，不是被黑就行，先去自查下

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

用户156223 等 1 人赞同该回答

1、先检查下，这些URL返回码是什么，是404，那么没问题；
2、同时也要看下自己是否被黑，这种URL，就是被黑后产生的垃圾页面，去ftp哪里，看看有没有新增的文件夹和JS文件；
3、持续关注下网站安全，定期Site域名，看是否有被黑页面存在，如被黑及时处理即可。

用户242681

直接禁用 Robots设定一下

用户153190 · 精益生产管理与六西格玛管理咨询，培训机构

先检查下，这些URL返回码是什么

用户79195

设置禁用一下看看

用户195724 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

楼上推推娃说得对

用户173621 · 第三方软件测试报告

应该是有工具借助头条蜘蛛的ua，扫描你的网站。我是这么理解的

用户166956 · 微机保护行业

能不能禁一下

用户185217

能不能禁一下

用户36888 · dazhe5 .cn站长

Robots里面禁用试下！
User-agent: Bytespider
Disallow: .xlsl$

头条蜘蛛总是抓不存的链接 悬赏3元 已结束