4 人参与回答
xxy徐
xxy徐 · 出售刷网站统计广告软件,无限制后台推送广告到百度统计、cnzz等统计平台,购买加Q1045049490
老星星 等 1 人赞同该回答

将希望被抓取的目录也写上allow,另外做个404页面写上disallow,做一个Sitemap地图,把地址也放上去

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots的功能是不想被蜘蛛爬行的文件夹或者网页都可添加【这块不建议写网站后台地址】;

2、robots文件在线生成,你只需要写文件夹名称或者网页名词就能自动生成,站长工具就有;

3、可查看网站日志,看蜘蛛总爬哪些无用的文件,可根据需求robots。

注:robots后的文件夹和网页,蜘蛛将不在爬行抓取,生效也需要时间2周-1个多月。

这个网站使用的不是织梦的后台

阿木SEO
阿木SEO · 网站建设、SEO优化(7天上首页)、SEO诊断、企业SEO内训。业务QQ:617684447

你好,你的网站使用织梦CMS,一般按照默认的就可以了,添加一些你不想被抓去的目录或页面即可

检测到你的网站已经设置301,并且http跳转到https。但是没有添加404页面,注意404页面抓取返回状态码需要是404