http://www.buxiu.com/sell/[?] 这是产品页
不同页面抓取是不一样的,这个页面有外部导向链接吗,没有的话自己多推一推,发发外链什么的,促进抓取
蜘蛛不来网站怎么办?
匿名用户
长时间更新内容,蜘蛛就会养成习惯
可能收录了还没放出来
资讯类的都是最新文章,所以收录的比较快。锅炉之家,产品类的相对较慢,而且是咨询类的都会比产品类的收录多
不同的类目,抓取配额是不一样的。更新多的类目,自然抓取得多一些。有时候某个页面不收录,并不一定就是没被抓取或者页面质量不行。死活不收录考虑换个URL试试。
看看蜘蛛爬取吗?没有抓去给这个页面多导入链接
让更多人参与回答