网站的内容太长从而对内容进行分页,那么现在搜索引擎会爬行收录了分页这种问题要怎么解决?
比如:页面是www.xxx.com/news/123.html 搜索引擎会爬行www.xxx.com/news/123_all.html(点击查看全文) 这个链接。
这个不用去管 不影响什么的
分页爬行不是好事吗?蜘蛛爬的越多越好啊
分析下日志看蜘蛛有没有对这个页面爬取,给这个页面链接增加收录入口,可以把链接放在首页的位置同时做下外链。 更新内容、给分页做外链、交换友链。
如果您网页上面有分页的链接,蜘蛛非常有可能进行分页的爬取。
让更多人参与回答