搜外网>搜外问答>问答页面

大神们,我网站有个ua总是抓取大量不存在的url .js .php之类的,ua能不能封禁了?

<p>大神们,我网站有个ua总是抓取大量不存在的url .js .php之类的,抓取大的页面90%显示404页面,从没见过该ua,也查不到,这个ua能不能封禁了?</p><table><tbody><tr><td>Mozilla/5.0 (Linux; Android 8.1; EML-L29 Build/HUAWEIEML-L29; xx-xx) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/65.0.3325.109 Mobile Safari/537.36 (iPad; iPhone; CPU iPhone OS 13_2_3 like Mac OS X)</td>
</tr></tbody></table>

追加问题
    17 人参与回答
追梦者~伊亮
追梦者~伊 · 一个真真实实在为站长们交流的社区

是不是你在什么地方设置 抓取网页链接网址地图任务了

应该没什么意义

可以的啊这个

陈之虎
陈之虎 · 正在输入……

抓了也没什么用的

小鱼
小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

这个抓取了 也没啥用啊

抓了也没什么用的

十六夜
十六夜 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

这个不用管,没啥用

这种没什么意义

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

不影响网站本身的优化

这种抓取了也没有用的

这种抓取了也没有什么用

这个抓取了 也没啥用啊

丫丫
丫丫 · 唵嘛咪叭咪吽

没事,抓取了也没影响的

广州森莱热熔胶厂家
广州森莱热 · 广州森莱热熔胶专业生产书本热熔胶颗粒、图文店热熔胶粒、珍珠棉以及手挽袋等包装行业热熔胶颗粒-19966255042

抓了也没什么用的

这种抓取没啥用啊

加载更多
SEO培训招生中
188