3 人参与回答

Disallow:/*

或者直接Disallow:/404/*
具体的你可以看下搜外的Robots.txt的写法,很有参考和借鉴意义

网站优化SEO
网站优化S · 想做水果加盟的可以找我Vnieanqi123456

404文件要蜘蛛抓取干啥?能点开就行啊 直接整个404文档屏蔽了呗

AzZlin
AzZli · 网站营销从业者,2016年入行,seo/SEM工程师,服务器运维,网站搭建,微信推广,阿里巴巴运营,淘宝推广。

加个星号,比如:Disallow:/404/* 这样子全部 带 /404/ 的就都屏蔽了!