搜狗蜘蛛(Sogou web spider)抓取robots 400问题
站长是https 站长,根据本人排场,搜狗蜘蛛抓取robots.txt的时候,使用url是:
http://www.bangmangma.co:443/robots.txt
因此返回错误是:400 Bad Request The plain HTTP request was sent to HTTPS port
我想知道有大佬知道怎么解决吗,我觉得这是搜狗蜘蛛的问题。
站长是https 站长,根据本人排场,搜狗蜘蛛抓取robots.txt的时候,使用url是:
http://www.bangmangma.co:443/robots.txt
因此返回错误是:400 Bad Request The plain HTTP request was sent to HTTPS port
我想知道有大佬知道怎么解决吗,我觉得这是搜狗蜘蛛的问题。