搜外网>搜外问答>问答页面

大家帮我看看我的robots.txt有没有问题

微信

大家帮我看看我的robots.txt有没有问题
User-agent: *
Disallow:
Sitemap: https://www.sclmbh.com/sitemaps.txt[?]

User-agent: MJ12bot
Disallow: /

Robots Site Sitemap 举报 本帖由用户发布，如有侵权联系删除 2022-05-19 发布421 次浏览

4 人参与回答

污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家！

这么写的话没有禁止抓取css和JS目录，意义不大，不写也可以

蜻蜓（bu · 各类便捷智能的在线图片处理工具

我觉得只保留前两行就可以了

。！。

没什么问题，不过后面再根据日志情况修改更新下

罗凌峰

没啥问题，这个第二个蜘蛛屏蔽整站这种没必要

收录宝