搜外网>搜外问答>问答页面

新的刚上线的网站什么时候弄网站地图和爬虫协议呀 tobots.txt里面是只写User-ag

微信

tobots.txt里面是这样写就行了吗

User-agent: *

Disallow:

举报 本帖由用户发布，如有侵权联系删除 2019-12-03 发布1,141 次浏览

2 人参与回答

Kk：( · 大哥大姐行行好给点ip吧------→→→→→→

是R O B O T S 下面哪个disallow:就是你不想让搜索引擎抓取的文件比如disallow:/skin~~~ 然后下面再带个Sitemap:www.***/

找煤机网 · 找煤机网买卖煤机配件，就上找煤机网

新站上线就应该设置Robots和Sitemap，可以参考我的网站。Sitemap是根据谷歌要求写的，百度通用。

收录宝