搜外网>搜外问答>问答页面

网站屏蔽url,只能用robots文件么?

有没有其他的方法不允许蜘蛛抓取我的一些url?

追加问题
    4 人参与回答
天行健六西格玛咨询
天行健六西 · 精益生产、六西格玛培训、咨询、项目辅导

网站一般禁止抓取链接都是用Robots文件的

有啊,添加白名单IP,其他IP禁止访问该目录和子目录。
给你一个简单的例子,例如宝塔,就有目录访问限制设置。

一航软件测评
一航软件测 · 出具软件测试报告,国家授权的软件测评中心

网站一般禁止抓取链接都是用Robots文件的哦

素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

看蜘蛛爬行的时间在Robots里是看不到的,robots只是告诉蜘蛛什么该爬什么不该爬? ?想要看到蜘蛛爬行的时间是要看服务器日志的

SEO培训招生中
188