Google、yisou蜘蛛怎么构造访问一些我网站并没有的url?
例如我网站url是这样的:
***.com/details-1111.html,
可是看日志,发现蜘蛛构造这样的url访问:
***.com/answer/1012,
***.com/answer/9789,
....
我网站并没有这种形式的url呀,蜘蛛怎么会这么做呢?
例如我网站url是这样的:
***.com/details-1111.html,
可是看日志,发现蜘蛛构造这样的url访问:
***.com/answer/1012,
***.com/answer/9789,
....
我网站并没有这种形式的url呀,蜘蛛怎么会这么做呢?