/news/content/目录页面没有东西,但/news/content/255.html页面就是文章了。网站目录是也要求能打开的吗
这是为什么啊,不应该啊
那就多发些外链啊
屏蔽一下,过两天就不会抓了
1、如果你的网站URL规划是静态有层级的URL,那么这个目录是要求能打开,且页面下有你的文章; 2、如站点URL是伪静态的,这种就按程序的规划即可; 3、蜘蛛抓取URL,返回码是4xx,一般也不会放出收录,不会产生死链; ps:如果你的URL规划是静态有层级的URL,那么必须保持目录也必须可访问
大佬能帮忙看看吗@推推蛙
那你可以用这个目录做点其他的
让更多人参与回答