搜外网>搜外问答>问答页面

大家帮我看看我的robots.txt有没有问题

微信

大家帮我看看我的robots.txt有没有问题
User-agent: *
Disallow:
Sitemap: https://www.sclmbh.com/sitemaps.txt[?]

User-agent: MJ12bot
Disallow: /

Robots Site Sitemap

本帖由用户发布，如有侵权联系删除 2022-05-19 发布667 次浏览

举报

交换友情链接，就用搜外友链，方便！

4 人参与回答

用户202556 · 专业一体化污水处理设备、溶气气浮机源头厂家！

这么写的话没有禁止抓取css和JS目录，意义不大，不写也可以

用户193094 · 各类便捷智能的在线图片处理工具

我觉得只保留前两行就可以了

用户184318

没什么问题，不过后面再根据日志情况修改更新下

用户156223

没啥问题，这个第二个蜘蛛屏蔽整站这种没必要