WordPress站点设置robots为
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
相同的robots设置,只是链接多个/ ,两个链接直接访问显示效果完全一样,但是百度一个效验为允许,一个效验为不允许,完全不懂为啥
Robots文件限制问题
本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可
cxw
技术宅,最喜瞎折腾.