哪位大佬帮我看看 我这个网站的robots该如何设置? https://www.bbnep.cn/[?]
将希望被抓取的目录也写上allow,另外做个404页面写上disallow,做一个Sitemap地图,把地址也放上去
1、Robots的功能是不想被蜘蛛爬行的文件夹或者网页都可添加【这块不建议写网站后台地址】;
2、robots文件在线生成,你只需要写文件夹名称或者网页名词就能自动生成,站长工具就有;
3、可查看网站日志,看蜘蛛总爬哪些无用的文件,可根据需求robots。
注:robots后的文件夹和网页,蜘蛛将不在爬行抓取,生效也需要时间2周-1个多月。
匿名用户
这个网站使用的不是织梦的后台
你好,你的网站使用织梦CMS,一般按照默认的就可以了,添加一些你不想被抓去的目录或页面即可
检测到你的网站已经设置301,并且http跳转到https。但是没有添加404页面,注意404页面抓取返回状态码需要是404
让更多人参与回答