搜外网>搜外问答>问答页面

咨询一下,robots这么写?有没有问题

咨询一下路过的大神们,robots这么写?有没有问题? 如果有,第几个需要修改?

  • 1,User-agent: *
    ,2,Disallow: /*.css$
    ,3,Disallow: /*.js$
    ,4,Disallow: /*.php$
    ,5,Disallow: /template
    ,6,Disallow: /*-search-*
    ,7,Disallow: /api

追加问题
    4 人参与回答
杭州继保
杭州继保 · 微机保护行业

看看推推娃的回答

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、Robots封禁了是否还抓取,可以去robots哪里去检测下;
2、一般JS文件抓取也不会轻易被搜索引擎收录放出搜索结果
3、robots封禁那个需要修改,这个看自己的规划,那个不想被蜘蛛去抓取爬行可选择封禁;
ps:css和js这类文件,百度渲染蜘蛛会抓取,一般也不会影响站点优化

我写了/*.JS$百度还是抓我的js