百度蜘蛛（baiduspider）

常州SEO解答：

第一个：论坛  原因:谷歌统计和蜘蛛没有直接关系，想看蜘蛛建议看日志

第二个：不会  原因:建议了解一下蜘蛛的概念，这个不好解释

第三个：访客是访客，不是蜘蛛，看第二条，还是建议先了解百度蜘蛛这个概念，有访客会带来ip、pv等，但不是蜘蛛，反正不是一个概念

第四个：2个都会抓到，原因：静态会抓取索引收录，动态的也会抓取，很可能2个都是收录，甚至2个都有排名出现（概率不高，毕竟一样的）

第五个：方法是不要在网站任何地方出现动态链接，且设置robots  原因：robots设置并不一定有用，我以前有回复过一个类似问题，你可以找下，不仅仅是搜索引擎不遵守robots，你任何地方出现链接也可能导致抓取到

第六个：应该可以模拟，但是不会去模拟  原因：对于搜索引擎来说有什么意义吗？

第七个：应该是一些软件或工具来模拟百度蜘蛛等来源，不是蜘蛛模拟谁

第八个：可以做301跳转、b页面完全不在网站链接中显示、这个页面直接在头部加禁止索引的代码 noindex

第九个：看你具体怎么写的了，一般加密的解析不了，如果是第一种，直接显示和抓取到的都是第一种链接

第十个：只有robots.txt设置，其他的都不行，参考对象“淘宝”，而且就算是robots设置了，你也要在站内每个页面进行设置，且在百度站长工具设置禁止外链，写法 User-Agent: * Disallow:*

上面写了一堆，实际上主要还是和蜘蛛以及爬行、抓取、索引、收录有关，建议这方面的资料多看下。

另外建议加下微信，比较喜欢和这方面有思考的人多交流，共同进步。

哪个大神  来帮忙看看啊  地埋式污水处理设备 www.sdact01.com    百度蜘蛛只抓首页  别的蜘蛛正常啊  这是什么原因啊

蜘蛛爬行不多，可以多发外链吸引蜘蛛。另外问一句，你都是通过什么来判断蜘蛛爬行次数的？是不是百度搜索资源平台中站点信息查看的？

我优化的站目前也是这种情况（www.tyshuibiao.com）

123.125.68.这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
220.181.68.每天这个IP 段只增不减很有可能进沙盒或K站。
220.181.7.、123.125.66. 代表百度蜘蛛IP造访，准备抓取你东西。
121.14.89.这个ip段作为度过新站考察期。
203.208.60.这个ip段出现在新站及站点有不正常现象后。
210.72.225.这个ip段不间断巡逻各站。
125.90.88. 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。
123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
注：以上IP尾数还有很多，但段位一样的123.125.71.段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。
220.181.108.段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!
一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。

1,我感觉你可以单独写个index.html。。。。。一方面增加与其他页面差异化，也可以在首页搞点事情出来，毕竟首页权重高。

2,天朝底下竟然不备案，老铁。你很皮啊

3,域名太新了，刚注册半个月才。别急。

全站挺好的，大问题还是没有的，发发高质量外链慢慢来吧骚年。

把没有反斜杠的301到有反斜杠的URL上面。改成301状态肯定要比404要好很多。

你肯定是有入口，页面上有入口？主动推送？网站地图sitemap？实时推送？

是的，不能太注重百度抓取的细节。你会发现，除了百度，其他的抓取都挺正常的，只有百度不正常。你robots屏蔽是起作用的，偶尔也会不起作用，抓取量大的屏蔽，抓取量小的，不用理！