搜外网>搜外问答>问答页面

网站怎么彻底屏蔽拦截搜索引擎蜘蛛爬虫抓取？

微信

索引举报 本帖由用户发布，如有侵权联系删除 2023-03-15 发布343 次浏览

交换友情链接，就用搜外友链，方便！

1 人参与回答

商显拼接屏 · 为您提供液晶拼接屏、LED显示屏、滑轨屏、广告触摸一体机、教学会议一体机等一站式采购，厂家直销，支持安装！

Robots.txt 文件
User-agent: *
Disallow: /xxx/
Disallow: /core/
Disallow: /admin/
Disallow: /APPs/
Disallow: /.JS$
Disallow: /.css$
Disallow: /?

想要屏蔽搜索引擎蜘蛛爬虫抓取的，就不让抓取就好了

网站怎么彻底屏蔽拦截搜索引擎蜘蛛爬虫抓取？

收录宝

提供服务

常用链接

产品实验室