蜘蛛收录不存在的tag列表页,使用robots如何解决 推荐热议

2,193 次浏览

织梦程序,标签URL结构是:
www.seowhy.com/tags.php?/关键词/
但是如果该关键词下文章较多,会分词目录页,其URL结构如下:
www.seowhy.com/tags.php?/关键词/-3/

其中关键词后面的-3中的数字3是标签列表页的页码。问题是我网站有的tag没有这么多分类页面,之前google蜘蛛都爬到/-100025/十万多了。

如果用robots禁止,怎么写?下面写的对么,很纠结。

Disallow:/tags.php?/星号/星号/

如果robots不可以,下面是目录页页码代码,怎么处理呢?


共1页/4条
追加问题
分享到微信 收藏
    4 人参与回答
三木
三木 · 八年网络营销经验,微信公众号:三木谈

tags.PHP?/*/$
不知道上面写法是否正确。但你可以验证下。

尹惊涛
尹惊涛 · 三年SEO经理经历,目前任职于国内某著名酒类B2C商城

Robots好像没有这种写法

建议从 tags.PHP 可以从这个文件入手,用程序解决就不难了。

谢谢邀请。参考下游戏站的tag处理方法
比如关键字A 的页面是www.xxx.com/guanjz/A/
A关键字下面有100片文章分了10页 10页的地址全部是www.xxx.com/guanjz/A/ 不做改变 程序问下技术怎么实现。
不建议使用Robots来做

曾辉
曾辉 · 酷猫SEO博主 SEO-有所为而有所不为!

没有个定量,单纯想要屏蔽页码的话。还真没有想到好法子。