搜外网>搜外问答>问答页面

蜘蛛来网站后为什么只抓取首页和css js这些,内页它不香吗,为啥不抓取?

看网站日志里面抓取都是这种情况:
首页 css js 然后走了一会又来了→首页 css js 然后走了一会又来了→首页 css js 然后走了一会又来了....
各种提交啥的也做了,内链结构啥的也没问题,
请问是怎么回事?

追加问题
    3 人参与回答
贾鹏
贾鹏 · 室内甲醛检测与治理信息公益分享

Robots禁止抓取css和JS一下试试

lubex
lubex · 广州绿百草-实验室综合供应商

Robots添加一下禁止抓取css和JS就行了

别的搜索引擎不至于只爬css JS,百度搞不懂,我的站百度也只爬首页不爬内页