搜外网>搜外问答>问答页面

Google、yisou蜘蛛怎么构造访问一些我网站并没有的url?

例如我网站url是这样的:

***.com/details-1111.html,

可是看日志,发现蜘蛛构造这样的url访问:

***.com/answer/1012,

***.com/answer/9789,

....

我网站并没有这种形式的url呀,蜘蛛怎么会这么做呢?

追加问题
    3 人参与回答

不太懂

我是提问者,补充一下:

有意思的是,蜘蛛构造的这些url,来自于一个同行网站,那个网站就是这样的url。不知道蜘蛛这是想干啥。

返回的状态码呢?

SEO培训招生中
189