网站首页只能抓取到TKD,别的抓取不到,模拟蜘蛛抓取网站有什么用?百度蜘蛛模拟正常抓取会根据信息来源?
找bug啊
模拟测试一下看看你网站能不能被蜘蛛正常抓取
测试网站爬行通不通畅吧
可以模拟抓取一下,看看存在哪些问题
主要看百度蜘蛛
让更多人参与回答