免费空间
您的位置:首页 > 首页 > 网站建设 >

Htaccess阻止无用的蜘蛛爬取

作者:免费空间 发布时间:2019-05-18
Htaccess阻止无用的蜘蛛爬取

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms) [NC]
RewriteRule ^(.*)$ - [F]
标签: Htaccess 阻止蜘蛛爬取
阅读全文

上一篇:Htaccess强制https跳转地址

下一篇:Htaccess强制/斜杠结尾路径

相关推荐
免费空间声明:
(一) 由于各方面情况的调整与变化,本网所提供的考试信息仅供参考,敬请以权威部门公布的正式信息为准。
(二) 本网注明来源为其他媒体的稿件均为转载稿,免费转载出于非商业性学习目的,版权归原作者所有。如有内容、版权等问题请在30日内与本网联系。联系方式:邮件 jiansou123@126.com
网站地图 | XML地图 | PC版
版权所有 © www.128sj.com 免费空间
本网站所有信息全是来源于互联网
如有侵权请来电咨询!
粤ICP备16040413号-1