例如我网站url是这样的：
***.com/details-1111.html，
可是看日志，发现蜘蛛构造这样的url访问：
***.com/answer/1012，
***.com/answer/9789，
....
我网站并没有这种形式的url呀，蜘蛛怎么会这么做呢？
不太懂
匿名用户
我是提问者，补充一下：
有意思的是，蜘蛛构造的这些url，来自于一个同行网站，那个网站就是这样的url。不知道蜘蛛这是想干啥。
返回的状态码呢？
让更多人参与回答
