搜外网>搜外问答>问答页面

蜘蛛抓取不存在的页面怎么办?

怎样告诉蜘蛛不让抓取页面某些内容,因为蜘蛛抓取有的页面不存在被删除了,我需要怎么做?高手解答疑问谢谢!

追加问题
    5 人参与回答

禁止,然后做个404页面

ぃ Star dawn ★
ぃ Sta · 一条折腾的咸鱼

页面不存在了,你就不要给这个页面留入口啊,没有入口蜘蛛就没法进行抓取,或者只能用Robots禁止,不管他是否抓不抓,但是不会收录造成死链。

深圳瑞萦传媒
深圳瑞萦传 · 擅长SEO推广,抖音,小红书等新媒体平台品牌营销渠道

坐等大神解答,反正我是不相信什么狗屁Robots的,该写写,该抓还得抓,毛用!

禁止 提交死链

Robots禁止爬取

SEO培训招生中
188