4 人参与回答
三九问答
用户159126 · 专业的有问必答平台

Robots文件里禁止他抓取就可以了

先检查一下网站下面的.htaccess配置规则,再看看网站的Robots.txt文件是不是需要调整。

物美价廉
用户161956 · 专业的建筑木方生产厂家、规格齐全还可单独定制!

因为蜘蛛喜欢你啊

MEMORY
用户206646 · 德国温克豪斯门窗五金配件

你可以在Robots文件里禁止他抓取