搜外网>搜外问答>问答页面

死链需要写robots吗

现在网站有多个这样的死链,需要写robots文件吗?我不会写,希望有朋友帮忙写下,谢谢各位了。

http://www.abc.com/portal.php

http://www.abc.com/portal.php?mod=view&aid=13

http://www.abc.com/article-22-1.html

是这样写吗?

Disallow:/portal.php

Disallow:/portal.php?

Disallow:/article-*-1.html$

追加问题
    1 人参与回答
最佳回答
西德SEO
西德SEO · 16年百度、谷歌优化专家,你有问题我解决 扣:826854885

死链不要用Robots

robots.txt是用来限制搜索引擎蜘蛛抓取的

建议如果有死链 可以到百度站长平台 使用 死链接提交工具

但一定要注意 http 状态码要是 404 才可以

可以使用百度的抓取工具 来测试HTTP状态码

记住只能是404   

301  200 302 其他的等等提交之后都不管用!

太多的404可以统计下网址在根目录建立一个 silian.txt 这样的文本

在百度站长工具里使用 死链提交添加你的死链接文本网址