搜外网>搜外问答>问答页面

头条蜘蛛总是抓不存的链接 悬赏3元 已结束

微信

下图是别人攻击网站日志：


下图是头条蜘蛛抓取日志：

下图是我的网站设置的404页面：


上面的问题别人是通过什么技术实现的？难道是发现了头条蜘蛛的漏洞吗？

有大神知道要怎么处理这样的问题？不要头条抓取不存在的链接~~在此先谢过了!

追加问题
404页面 网站日志 404
本帖由用户发布，如有侵权联系删除  2024-05-21 发布1,368 次浏览
举报
其他问题
 
    10 人参与回答
用户156223
用户222967 等 1 人赞同该回答

先检查下是不是被黑了，返回码是404，被这种攻击也没事，网站能访问就行，不是被黑就行，先去自查下

1 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
用户156223 等 1 人赞同该回答

1、先检查下，这些URL返回码是什么，是404，那么没问题；
2、同时也要看下自己是否被黑，这种URL，就是被黑后产生的垃圾页面，去ftp哪里，看看有没有新增的文件夹和JS文件；
3、持续关注下网站安全，定期Site域名，看是否有被黑页面存在，如被黑及时处理即可。

1 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
用户242681

直接禁用 Robots设定一下

1 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户153190 · 精益生产管理与六西格玛管理咨询，培训机构

先检查下，这些URL返回码是什么

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户79195

设置禁用一下看看

1 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户195724 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

楼上推推娃说得对

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户173621 · 第三方软件测试报告

应该是有工具借助头条蜘蛛的ua，扫描你的网站。我是这么理解的

1 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
用户166956 · 微机保护行业

能不能禁一下

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户185217

能不能禁一下

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户36888 · dazhe5 .cn站长

Robots里面禁用试下！
User-agent: Bytespider
Disallow: .xlsl$

1 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消

收录宝

yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn yq.cn gbook ntact outus yq.cn yq.cn yq.cn yq.cn fyq.c fyq.c fyq.c

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司