<p>老域名做了新站,收录了很多之前的奇怪的内容,已经robots屏蔽了,就是一直不起效果,不知道大神有没有办法,把这个收录弄没了,小说相关的内容都不是站内的,访问的时候,竟然是首页内容,真是好奇怪啊</p>
路过
收录的内容只有等了。你现在只能确保以后不再收录这些内容。
看看Robots的作用在用吧。都已经收录了。禁止它爬取,还是存在。至于为什么站内页会跳转到首页,可能是因为之前的文章内页有做301,或者302跳转。
在百度站长 平台 进行投诉啊,要多利用客服。
Robots.txt是用来限制搜索引擎爬取范围的,也是蜘蛛访问网站爬取的第一个文件,对于已经收录的网址,再用robots屏蔽效果不是很好!所以建议在网站上线之前就要把robots.txt规则写好!
投诉一下快照,Robots没啥用,
让你们程序看一下 到底是什么原因
让更多人参与回答