693
浏览
请教一个社交站点SEO优化及url设置问题 Robots 同IP SEO优化 索引
主站商城A，在做个网站B，B仅做目录页面，将目录页中的产品链接到相应A中的产品页面。社交网站中一个账号只能一个域名，现在注册10个不同的域名，分别做301，这样社交中的链接点击后先到B，客户再点击产品后导到主站A。如果A和B放在同一服务器下……
Robots
中文称：爬虫协议。简单说，robots.txt文件用于告诉搜索引擎哪些页面不被开放、禁止抓取。大多数搜索引擎公司都会自觉遵守该协议内容，一方面可以保护用户隐私数据，另一方面也可以通过此协议控制爬虫抓取范围，从事减少网站带宽。
相关话题
1325
问题
691
浏览
691
浏览
690
浏览
关于nofollow问题 Robots Nofollow 索引
部分网页已经添加了nofollow，而且robots协议里面也禁了，但是搜索引擎还是不停的抓取，有的甚至还收录了，应当如何处理？……
688
浏览
688
浏览
网站tag目录下死链太多怎么办？能直接禁止抓取吗 Robots
网站tag目录下死链太多怎么办？能直接禁止抓取吗tag插件已经卸载，不打算要tag目录了，可以使用 robots.txt 禁止收录 tag目录吗？……
687
浏览
网站首页总间隔一段时间就收录消失，是什么情况？ Robots 友情链接 排名
站首页收录总是隔段时间就消失一回，并没有做改动，也符合搜索算法内容,robots.txt检查没问题，服务器稳定，全站排名稳定，友情链接没问题，只有首页隔段时间就不收录了。。请问，这样是什么原因呢？……
687
浏览
686
浏览
网站robots 文件有必要写吗，我的网站这样写有问题吗？ Robots
网站robots 文件有必要写吗，我的网站这样写有问题吗？
682
浏览
网站未准备好上线之前是否要操作robots封禁蜘蛛？ Robots
准备上线后解除蜘蛛封禁是否来得及，会有影响吗？
680
浏览
robots.txt 设置有必要吗？ Robots 排名 索引
有的网站没设置robote照样排名很好，玩意还有价值吗？robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。http://ww……
680
浏览
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？ Robots 站长工具
建的站在站长工具上检测robots文件显示500错误，这种怎么解决？
677
浏览
水务集团的官方网站，突然就掉了，而且还做了官方认证的。@推推娃 Robots
http://www.cncqsw.com/看着像robots的问题，
676
浏览
这个也没有输入错误，难道是没更新 Robots
<p></p>
674
浏览
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？ Robots 404
看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。……
672
浏览
672
浏览
大佬帮忙看看，网站的robots文件，是不是有错误？ Robots
如题，总感觉网站robots文件抒写不对www.lanjingcs.com
672
浏览
网站地图需不需要在首页给个入口？ Robots 索引
<p>我记得之前看到过 说搜索引擎蜘蛛来访网站，首先是爬robots.txt文件，如果我在robots.txt文件中放了网站地图的入口，是不是就不用在首页给网站地图的链接呀？如果给了链接，算不算作弊呢？</p><……
670
浏览
669
浏览
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页! Robots 百度蜘蛛
急了!为什么百度蜘蛛只访问robots.txt文件,不搜索首页!
669
浏览
robots.txt如何屏蔽垃圾外链网址？内容如何写？ Robots
robots.txt如何屏蔽垃圾外链网址？内容如何写？
665
浏览
660
浏览
Robots这东西站长们还有搞吗 Robots
Robots：可以告诉百度您网站的哪些页面可以被抓取，哪些页面不可以被抓取。我好想都没特意去搞过这东西。……
651
浏览
651
浏览
用公司的老域名建网站都两个月了还是只收录首页而已，其他搜索引擎都很正常！ Robots Site Sitemap 索引
<p>开始以为是robots问题所以把权限都开了，还特意写上允许SITEMAP文件抓取，但是奇怪的是用推送工具推送只能推送首页如图<br>还有一个问题就是sitemap更新不正常等了几天了还是这样的情况，更新过也没有……
649
浏览
大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？ Robots 百度蜘蛛
<p>大佬们帮我看下是不是只有绿标是真百度蜘蛛，红标都是假的冒充百度蜘蛛？这种蜘蛛怎么禁止访问啊，每天来爬取很多次，不知道干嘛的，可以设置robots.txt文件禁止访问嘛？比如这样设置：</p><p>U……
648
浏览
为什么强制HTTPS百度检测不到robots Robots
为什么强制HTTPS百度检测不到robots另外我的网站就是不收录首页；就算收录也是带？的首页
645
浏览
642
浏览
网站收录首页有两个月了，具体是被百度屏蔽域名了吗？ 网站收录 Robots
<p><a href="http://www.sdmynj.com/" target="_blank" data-url="www.sdmynj.com" cla……
642
浏览
robots.txt这段话是什么意思？ Robots
Disallow: /?*utm*
641
浏览
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？ Robots
网站首页、分类等列表页是否有必要用robots.txt禁止收录翻页？？
640
浏览
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？ Robots 百度蜘蛛
robots.txt文件中已经把许多文件禁止了，为什么百度蜘蛛的抓取日志中还有抓取记录？
638
浏览
633
浏览
请问一下使用robots禁止内页的分页影响蜘蛛捉取吗和优化吗 Robots
https://www.sncitie.com/category/ctzs/page/2例如这种我想把分页的禁止蜘蛛去捉取page这个，但我不知道影不影响优化……
628
浏览
网站已提交死链后是否还需要设置robots？ Robots
网站已提交死链后是否还需要设置robots？
626
浏览
如果正确的在robots屏蔽不要被抓取的内容? Robots
比如我们一个域名www.abcde.com，我们想把带？号的url全部禁掉，首页我们不要禁掉，怎么弄？……
