有没有其他的方法不允许蜘蛛抓取我的一些url?
网站一般禁止抓取链接都是用Robots文件的
有啊，添加白名单IP，其他IP禁止访问该目录和子目录。 给你一个简单的例子，例如宝塔，就有目录访问限制设置。
网站一般禁止抓取链接都是用Robots文件的哦
看蜘蛛爬行的时间在Robots里是看不到的，robots只是告诉蜘蛛什么该爬什么不该爬? ?想要看到蜘蛛爬行的时间是要看服务器日志的
让更多人参与回答
