最近网站蜘蛛总是抓取重复的页面,有时候蜘蛛抓取不存在的连接内容,怎样让蜘蛛停止抓取已不存在的链接,抓取没有用的也没有效果,我如何让蜘蛛抓取指定的页面?感谢解答问题。
设置死链规则删除死链,你可以把不让抓取的文件夹写进Robots
存在的就是死链,死链提交啊
直接去搜索引擎提交链接呀~
来帝佑科技,教你网站优化
写Robots文件提交给百度
主动提交最直接
不存在的页面做跳转咯,站内301之类的,有蜘蛛来,总比没有好吧
百度站长平台提交页面连接就可以
主动提交给百度
主动提交
在百度站长提交不必要的页面,让百度把没用的删除
提交搜索引擎,或者在经常爬的页面加锚文本
图文素材排版 微信公众平台图文排版工具
平台提交 描文本多做这个链接
主动提交链接
直接百度提交你的链接
链接提交咯
外链发这个页面,平台提交URL
提交这个页面,外链发这个页面
主动提交想访问的网页啊
发这个页面的外链
蜘蛛协议,不过一般抓取都没问题,只要不是404就好
提交链接呗,等待它去抓取
平台提交URL,
让更多人参与回答